Alerting Apache Airflow, уведомления в телеграм

[trabl]

Я сделал по упомянутой ссылке в статье оповещения, в сообщении так же присутствует ссылка на лог заваленного таска, что очень удобно, так как можно одним кликом перейти и посмотреть ошибку. Так же у меня есть дашборд в grafana, где видно в деталях количество успешных джоб и не успешных, и ещё куча полезной инфы. Я бы хотел увидеть как без дополнительной кастомизации настроить алертинг для airflow с помощью statsd_exporter и alertmanager/Prometheus. У меня так и не получилось выводить в сообщениях например ту же ссылку на лог, поэтому пошёл другим путём.

[tarasovlad]

Но вроде в Airflow есть импортируемый TelegramOperator https://airflow.apache.org/docs/apache-airflow-providers-telegram/stable/operators.html

[goraffin]

Привет! Спасибо за комментарий! Я такой возможности не нашёл во второй версии. Возможно, плохо искал. Я считаю, что в любом случае сделал, как будто бы, более настраиваемый alerting. Попробую протестировать на 2 версии, спасибо, что поделился!

[BigD]

Я бы еще посмотрел на гибкие возможности Apprise. Можно делать интересные схемы уведомлений.

[astentx]

Хранить секреты можно в стандартных connection Airflow: там есть и аудит, и шифрование, и маскирование в логах. Доп параметры типа ID чата можно разместить в extra подключения. Тогда функцию считывания можно упростить, да и управление единообразное.