Pyspark. Анализ больших данных, когда Pandas не достаточно

К сожалению, это не поможет. Только что проверил - out of memory, все равно. Да и смысл статьи немного в другом. Мы могли вылезти за пределы памяти ещё на этапе чтения данных. Тут вопрос, что делать - масштабировать железо или использовать другие технологии