Спиливаем spill-ы

[Geckelberryfinn]

Это относится вообще ко всем видам джойна — всегда джойните к большому DataFrame малый DataFrame.

Или используйте хинт broadcast

[SacredDiablo]

Да, это хороший вариант если размеры таблиц позволяют

[barloc]

Случай 1 меня всегда забавлял. На всех собеседованиях (ну, где я был) всегда спрашивали про том, чем отличается коалесце от репартишна - и ответ про принудительный сброс данных на диск.
Но коалесце никогда не работала и не работает, до сих пор коалесце ломает план и превращает код в нерабочий на сколько-нибудь нормальном размере датасета :(