Комментарии 2
Странный пример, хотя, может, и в духе Отуса.
reduceTasks
в шаффлере (который работает в одной горутине) в итоге получает единственный элемент, из-за чего только один редюсер выполнит свою работу, а остальные будут запущены вхолостую.
Классная статья! Достаточно приятно все описано, с примерами, спасибо большое)
Но как будто бы в описанном в статье коде reducer
просто выводит то, что наплодил shuffler
. Может я что-то не так понял, но не должен ли он в finalCounts
аггрегировать данные, полученные от shuffler
-ов? И внешний цикл по числу mapper
-ов в shuffler
-е выглядит лишним...
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
MapReduce на Go: превратите ваши большие данные в понятную карту и удобный редьюс