Комментарии 7
Статья хорошая, но к сожалению не актуальная MapReduce безнадежно устарел, в современных кластерах MapReduce2 который работает по верх yarn, я бы эту задачу решал spark и быстрее и проще...
Аналогично. Причем минимум двумя способами — написал бы SQL, или воспользовался бы API Dataset. В нашей практике уже года четыре как никто не пишет MapReduce приложения.
Здраствуйте! Забыл указать цели статьи (исправил). Я писал эту статью для тех, кому эта тема интересна и для тех, от кого требуют базовое теоретическое знание данной темы. Безусловно я согласен с тем, что есть инструменты, улучшающие работу. Спасибо за активность)
А можно вообще ничего не писать - сложить все в S3 и сделать SQL запрос через Athena
Как интересно все это читать после прочтения статьи, которая в ленте тремя постами раньше:
https://habr.com/ru/company/first/blog/720058/
"Огромный рынок"! Петабайты данных...
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
MapReduce: как и зачем?