Да, с точки зрения масштабируемости и мониторинга ресурсов работать с k8s реально удобнее, однако это не ключик к успеху, многое зависит от того, кто пишет DAG'и в вашем Airflow и какой у них уровень технических знаний.
Обсолютно согласен, это очень простой и приятный вариант, но здесь раскрывается связка Airflow + Celery Executor, которая также является достаточно популярным решением, как минимум наравне с Kubernetes Executor.
Спасибо за приятный комментарий!
Да, с точки зрения масштабируемости и мониторинга ресурсов работать с k8s реально удобнее, однако это не ключик к успеху, многое зависит от того, кто пишет DAG'и в вашем Airflow и какой у них уровень технических знаний.
Спасибо!
Обсолютно согласен, это очень простой и приятный вариант, но здесь раскрывается связка Airflow + Celery Executor, которая также является достаточно популярным решением, как минимум наравне с Kubernetes Executor.