Проблемы мониторинга дата-пайплайнов и как я их решал

[terrapod]

Прикольно, но чем это отличается от того, что из коробки умеют тот же control-m или stonebtnach? Ну для совсем-совсем splunk с дашбордами. Точно так же ранаем "сенсор", а джоб или дашборд от этого краснеют либо зеленеют. Не увидел кейсов, которые нельзя закрыть кликами мышки и парой строк кода в UI означенных инструментов. Разве что цена?Но тем, у кого пайплайнов столько, что в них уже запутываешься, наверное, цена не принципиальна, важнее суппорт 24/7.

[zaitsevio]

Я с ними не работал, бегло посмотрел, и они выглядят как огромные энтерпрайз тулы, на которых надо вендорлочить свою инфраструктуру. Моя апка подключается к чему угодно, хоть к крон-джобе внутри raspberry pi, вообще не нужно ставить никакого софта и менять существующие процессы.

Ну и мониторы могут не только краснеть или зеленеть, можно создать любой статус любого цвета и настроить правила на присваивание этого статуса. Возможно, упомянутые вами софтины тоже такое умеют.

[SLASH_CyberPunk]

Выглядит очень красиво все и даже вроде удобно, но возникает множество тонкостей и вопросов, я правильно понимаю:
1. это не опенсорс?
2. саппорт 24/7 нет? SLA тоже нет?
3. это only облачный сервис?
4. 21 век на дворе, но IaC в каком либо виде отсутствует?
5. Почему не рассмотрели прикрутить свою визуализацию для, например, графаны?
6. Можно ли быть уверенным, что сервис не умрет, если пустить на него нормальную нагрузку и смотреть графики в истории? Что находиться в бекенде для хранения?
7. В целом, хотелось бы увидеть архитектуру приложения, чтобы понимать, какие там могут быть тонкости?

[zaitsevio]

1. Пока что нет, но подумываю об этом.
2. Да, да. Думаю, сапорт 24/7 и SLA — это уже для совсем больших компаний и за большие деньги.
3. Пока да.
4. Хорошая идея, надо прикрутить.
5. Думал выставить экспортер поверх агрегированных данных.
6. Да, графики показывают агрегированную статистику, там постгрес под капотом.
7. Тянет на отдельную статью :)