val6789 15 апр 2024 в 06:12Spark. План запросов на примерахУровень сложностиСреднийВремя на прочтение7 минКоличество просмотров8.2KSQL * Apache * Big Data * Хранение данных * Data Engineering * FAQВсего голосов 7: ↑7 и ↓0+8Добавить в закладки65Комментарии4
Sanek_new 16 апр 2024 в 10:16Вот почему я не понимаю планы... И не знаю что сделать чтобы начать понимать.
miksoft 17 апр 2024 в 20:03Комментарий был измененПоказать предыдущий комментарийчто сделать чтобы начать Можно начать с планов в картинках. SparkUI довольно сносно их отображает, если, конечно, запрос не слишком сложный.
miksoft 17 апр 2024 в 20:08BroadcastExchange – это копирование правого датафрейма на каждый экзекьютор. Дополню, что предварительно этот датафрейм собирается на драйвере. Соответственно, driver.memory (емнип) должен быть достаточен.
Spark. План запросов на примерах