Мониторинг и логирование DWH, часть 1: уровни контроля, метрики и типовые проблемы

[BogdanPetrov]

Спасибо за статью! Можно добавить, что на каждом этапе обработки данных могут присутствовать ограничения, которые имеет смысл выявить и отслеживать заранее, иначе они начнут проявлять себя различными спецэффектами. Пулы Airflow, лимиты тасок, лимиты на инфраструктуре (например, количество одновременных подключений к кластеру), ограничения сети (можно упереться в пропускную способность оборудования), ограничения на источниках данных и другие.

Также можно отдельно наблюдать за длительностью работы процессов, они могут начать дольше работать по разным причинам и иногда это лучше заметить сразу.