Как стать автором
Обновить

MapReduce на Go: превратите ваши большие данные в понятную карту и удобный редьюс

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров3.3K
Всего голосов 11: ↑9 и ↓2+12
Комментарии2

Комментарии 2

Странный пример, хотя, может, и в духе Отуса.

reduceTasks в шаффлере (который работает в одной горутине) в итоге получает единственный элемент, из-за чего только один редюсер выполнит свою работу, а остальные будут запущены вхолостую.

Классная статья! Достаточно приятно все описано, с примерами, спасибо большое)

Но как будто бы в описанном в статье коде reducer просто выводит то, что наплодил shuffler. Может я что-то не так понял, но не должен ли он в finalCounts аггрегировать данные, полученные от shuffler-ов? И внешний цикл по числу mapper-ов в shuffler-е выглядит лишним...

Зарегистрируйтесь на Хабре, чтобы оставить комментарий