Spark on Kubernetes: наш путь к автоматизации через кастомный оператор Airflow

Подняли стриминг так: в своем кастомном SparkKubernetesOperator подключаемся к watch.Watch().stream()(реализован в библиотеке kubernetes-client) через KubernetesHook. Потоки stdout/stderr сразу отправляем в airflow-логгер, поэтому лог в UI обновляется в реальном времени.