Что такое Data Observability и с чем ее едят?

[Data4]

А чем это отличается от давно известных инструментов анализа данных, типа Airflow и т.д.?

[kirillkosolapov]

Скорее специализированными алгоритмами обработки данных (временных рядов, распределений). Airflow - это ETL, для широкого стека задач. А в данных решениях более узкоспециализированные продуктовые кейсы решаются. Правда у всех разные, видимо, под Data Observability каждый свое понимает.

[entze]

А где же Elastic?

Elastic Observability - Transform your data into actionable observability

[kirillkosolapov]

Elastic это же про обработку/хранение логов и поиск. Т.е. скорее относится к мониторингу работы инфраструктуры.

[PrinceKorwin]

Кто запрещает хранить в opensearch не только логи?

[kirillkosolapov]

Никто, но причем тут Data Observability. Elastic (он же Opensearch) - это СУБД + поиск, которая заточена на хранение и поиск по текстовым данным. Так можно хоть в PostgreSQL все сохранять и потом обрабатывать. Просто ни то ни то, не специализированные решения для потоковой алгоритмической обработки данных для поиска разных аномалий.

[entze]

Значит вы плохо знакомы с продуктами Elastic. Сбор и анализ данных там есть достаточно давно.