Анализ данных. Ахтямов Павел. Spark RDD.
Архив содержит все выполненные части задачи, а также шпаргалку с тем как надо было делать.
Spark RDD.
Описание задания
Цель нашего задания - научиться использовать сложные статистики при помощи Spark RDD.
Это первая часть задания, посвященная изучению Spark.
Процедура сдачи задания:
- Создайте ветку task-spark-rdd в репозитории, задание выполняйте в папке spark-rdd.
- Каждое из подзаданий делайте в подпапках task1, task2.
- После выполнения задания пришлите SSH-ссылку на репозиторий для проверки задания в автоматическом режиме.
- Создайте merge request из ветки task-spark-rdd в ветку main своего репозитория. Merge request не сливайте - он необходим для проведения Code Review задания.
Часть 1 (2 балла)
Для данных о бизнесах выведите топ-10 бизнесов, которые работают большее количество времени в течение недели. При равном количестве минут отсортируйте данные по возрастанию business_id.
Пример вывода:
n_0UpQx1hsNbnPUSlodU8w\t2760
Pns2l4eNsfO8kk83dixA6A\t0
Пример запуска скрипта:
./run.sh <output_folder>
- - это выход, который необходимо записать в HDFS. В <output_folder> мы записываем весь RDD, но при этом на выходе выводим только ТОП-10.
P.S. Вы могли заметить, что задача похожа на MapReduce. Это так! Нам необходимо понять, что код на Spark пишется намного быстрее!
Часть 2 (3 балла)
В базе данных Yelp выделите топ-10 пользователей по следующему критерию:
- топ-5 ревью собрали максимальное количество отзывов вида useful.
Мотивация: необходимо найти influencer-ов, но нам неважно найти тех, чьи отзывы в сумме популярны. Нам важно найти самые "зажигающие" отзывы!
Важно! Мы работаем в этой задаче с подмножеством людей и отзывов.
- Подмножество пользователей располагается в HDFS в папке: /data/yelp/user_sample
- Подмножество отзывов располагается в HDFS в папке /data/yelp/review_sample.
Для каждого из пользователей необходимо вывести количество друзей-друзей в социальной сети.
Формат вывода в выходную папку (id пользователя, сумма по топ-5 useful, количество друзей-друзей):
8g_iMtfSiwikVnbP2etR0A\t2034\t50
Сортировку осуществляем по убыванию критерия: количество друзей-друзей x сумма по top-5 useful.
Данные сохраняем в текстовом формате.
Пример запуска скрипта:
./run.sh <output_folder>
- <output_folder> - это выход, который необходимо записать в HDFS. В <output_folder> мы записываем весь RDD, но при этом на выходе выводим только ТОП-10.
