Comments 3
На мой взгляд, тут можно было бы добавить упоминание об очень похожих операциях над RDD. treeReduce/treeAggregate по сути, очень похожи на UDAF, и основаны на тех же самых фундаментальных вещах — свертке (которая выполняется на партиции), и merge (слияние результатов на двух партициях в один). Но и так очень даже неплохо.
0
Спасибо за комментарий! Я хотел изначально, но потом отказался по двум причинам:
Объем для туториала и так получился не очень маленький
Все же сейчас RDD используется все реже и реже. В своей практике я, пожалую уже года 3-4 его не использовал.
0
Sign up to leave a comment.
Кастомные агрегаторы в Spark SQL