Spark. План запросов на примерах

[Sanek_new]

Вот почему я не понимаю планы... И не знаю что сделать чтобы начать понимать.

[val6789]

понять и принять

[miksoft]

что сделать чтобы начать

Можно начать с планов в картинках. SparkUI довольно сносно их отображает, если, конечно, запрос не слишком сложный.

[miksoft]

BroadcastExchange – это копирование правого датафрейма на каждый экзекьютор.

Дополню, что предварительно этот датафрейм собирается на драйвере. Соответственно, driver.memory (емнип) должен быть достаточен.