Spark on Kubernetes: наш путь к автоматизации через кастомный оператор Airflow

[tantozgg]

Привет, а как вы реализовали стриминг логов Spark-приложений в интерфейс Airflow?

[tretiakov_dm]

Подняли стриминг так: в своем кастомном SparkKubernetesOperator подключаемся к watch.Watch().stream()(реализован в библиотеке kubernetes-client) через KubernetesHook. Потоки stdout/stderr сразу отправляем в airflow-логгер, поэтому лог в UI обновляется в реальном времени.