Comments 2
Странный пример, хотя, может, и в духе Отуса.
reduceTasks в шаффлере (который работает в одной горутине) в итоге получает единственный элемент, из-за чего только один редюсер выполнит свою работу, а остальные будут запущены вхолостую.
Классная статья! Достаточно приятно все описано, с примерами, спасибо большое)
Но как будто бы в описанном в статье коде reducer просто выводит то, что наплодил shuffler. Может я что-то не так понял, но не должен ли он в finalCounts аггрегировать данные, полученные от shuffler-ов? И внешний цикл по числу mapper-ов в shuffler-е выглядит лишним...
Sign up to leave a comment.
MapReduce на Go: превратите ваши большие данные в понятную карту и удобный редьюс