Комментарии 10
Очень интересная статья, спасибо!
Отдельный респект за проведенное расследование с форком :)
Kubernetes executor. 1 таск = 1 под. Мониторинг тривиален.
Обсолютно согласен, это очень простой и приятный вариант, но здесь раскрывается связка Airflow + Celery Executor, которая также является достаточно популярным решением, как минимум наравне с Kubernetes Executor.
Познавательно, но для масштабируемости использовать лучше Kube, KubePodOperator с deferrable=True.
Тогда нагрузка на workers минимальна и можно масштабировать на порядок лучше.
Да, с точки зрения масштабируемости и мониторинга ресурсов работать с k8s реально удобнее, однако это не ключик к успеху, многое зависит от того, кто пишет DAG'и в вашем Airflow и какой у них уровень технических знаний.
Спасибо, заберу в свой проект!
Правда у нас самые ресурсные таски идут через Slurm (с кастомным оператором), там надо будет ещё покопаться в мониторинге
Мониторинг Apache Airflow. Оценка «прожорливости» тасок