Комментарии 8
Спасибо. Было бы интересно ещё почитать про то, как сделать алертинг для дагов в тг, с помощью alertmanager Prometheus.
Большое спасибо за отзыв! Я в скором времени как раз хочу подумтаь, как можно подружить эти два сервиса
Подружить проблем нет, есть statsd и statsd-exporter, а вот как обогащать метрики необходимыми labels, чтобы например в сообщении помимо id завалившегося dag или task был линк на лог, время и т.д., вот с этим у меня как не у программиста проблемы возникли. Есть вариант с созданием своих кастомных метрик с необходимыми labels и отправкой их через StatsClient, но тоже не всё так гладко и понятно. Поэтому если напишите статью на эту тему, с удовольствием бы почитал.
Но вышло так, что нет нотификатора, который отправляет уведомления в Telegram
Так уж вышло что Apache Airflow в основном развивается сообществом и многие из активных контрибьюторов тоже являются пользователями. Поэтому изменения, новый фичи и т.д. чаще всего появляются мере необходимости в повседневных процессах где используется Airflow.
Если есть желание, то всегда можно сделать Pull Request в соответствующий провайдер, в данном случае apache-airflow-providers-telegram, он как и все остальные провайдеры и ядро Airflow живут в монорепе https://github.com/apache/airflow/
Конечно скорее всего потребуется привести его в более стандартный вид для Notifiers которые поддерживаются сообществом, за основу всегда можно взять один из представленных
Немного тестов, документация с простым примером, code review, и после того как попадет в main будет доступен в следующем релизе провайдеров для Airflow (где-то в раз в 2-3 недели происходит)
Ну и напоследок, если все же появится интерес добавить его, то есть Contributors' guide который поможет найти ответы на частые вопросы.
Возможно ли вывести в уведомлении traceback ошибки в случае failure?
Алертинг состояния выполения DAG`ов Apache Airflow в Telegram за 1 минуту