Как стать автором
Обновить

Комментарии 4

Спасибо, хорошее интро. Но немного коробит от постоянного сравнивания Spark с РСУБД. Стоило бы ещё рассказать в каких случаях происходит pushdown предикатов, а когда нет. Хотя бы для основных источников, как orc, parquet, hive.
Спасибо большое за отзыв. В принципе, со всем согласен :)

Насчет уклона — это скорее уже моя проф деформация восприятия технологий.
Насчет pushdown предикатов — возможно, стоило сделать отдельный раздел, информация получается размазалась по статье, например, в «Конвертации типов».
Но согласен, можно написать много больше, постараюсь дать развернутый комментарий на эту тему.
Было бы классно, а то в своё время пришлось потратить много времени на разбор данного вопроса. А так готовая статья на Хабре — красота )
>Join — это необходимое зло, но по возможности стоит их минимизировать и следить за тем, какая реализация используется под капотом.

Именно за этом мы и любим API :) Сделать на нем можно практически все тоже самое, и при этом сочетать гибкость и контроль над реализацией.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.