val6789 15 апр в 09:12Spark. План запросов на примерахУровень сложностиСреднийВремя на прочтение7 минКоличество просмотров5.1KSQL*Apache*Big Data*Хранение данных*Data Engineering*FAQВсего голосов 7: ↑7 и ↓0+8Добавить в закладки56Комментарии4
Sanek_new 16 апр в 13:16Вот почему я не понимаю планы... И не знаю что сделать чтобы начать понимать.
miksoft 17 апр в 23:03Комментарий был измененПоказать предыдущий комментарийчто сделать чтобы начать Можно начать с планов в картинках. SparkUI довольно сносно их отображает, если, конечно, запрос не слишком сложный.
miksoft 17 апр в 23:08BroadcastExchange – это копирование правого датафрейма на каждый экзекьютор. Дополню, что предварительно этот датафрейм собирается на драйвере. Соответственно, driver.memory (емнип) должен быть достаточен.
Spark. План запросов на примерах