Практическая работа №2 MapReduce
- Изучите и составьте отчет по использованию YARN.
- Запустите скомпилированный WordCount.jar пакет используя YARN.
- Выведите результаты работы пакета.
- Изучите и составьте отчет по использованию скриптов Python
- Запустите python скрипты mapper.py и reducer.py в виде hadoop-streaming задачи для данных приложенных в архиве.
- Сравните результаты полученные в первой и во второй задаче.
- Ответьте на следующие вопросы:
- Каким образом необходимо изменить код WordCount.java, чтобы скомпилированный пакет можно было запускать с аргументами входная и выходная директория?
- Каким образом необходимо изменить код WordCount.java, чтобы результат подсчета частот ошибочно показывал удвоенные значения. Предложите 2 варианта правок: для этапа Map и для этапа Reduce.