Домашний кластер на Dask

[Pilat]

Можно ли приспособить его к Амазону?

[serhit]

Да, конечно можно. Dask развертывается в контейнерах, есть даже специальная версии планировщика для k8s. В документации есть видео — там примеры приводят как раз для облачного кластера.

[sklavit]

Работал с Dask 2 года назад. Уже тогда это был мега-удобный инструмент для распределенных вычислений: кластер стартует с чистых машин за полчаса и, заметьте, чистый Python. Вот такие вот 2 камня в огород Spark, со всем его хайпом и наворотами.

[serhit]

Да, и вправду Dask очень удобен и начинать работу с ним просто. На официальном сайте Dask есть сравнение Dask vs Spark: https://docs.dask.org/en/latest/spark.html

При всей мощи Spark, Dask — более универсален. Так что, пока — Dask :)