Теперь стало понятнее, что это не замена ETL, а скорее его дополнение. При этом тесты часто нужны не только после выполнения пайплайна, но и прямо внутри ETL — на разных этапах обработки данных. На практике такие проверки чаще всего реализуются средствами самого ETL и обычно в декларативном виде. То есть SQL напрямую почти не пишут (он создаётся один раз — как и сами тесты), а затем просто указывают, к каким таблицам и какие проверки нужно применять.
Получается вы говорите что etl больше не нужен нужно просто считать на сырах дынных, есть идея почему вообще etl делается если можно его не делать? Ваш движок плохие данные тоже исправляет налету? Или работает на идеальных данных?
Теперь стало понятнее, что это не замена ETL, а скорее его дополнение. При этом тесты часто нужны не только после выполнения пайплайна, но и прямо внутри ETL — на разных этапах обработки данных. На практике такие проверки чаще всего реализуются средствами самого ETL и обычно в декларативном виде. То есть SQL напрямую почти не пишут (он создаётся один раз — как и сами тесты), а затем просто указывают, к каким таблицам и какие проверки нужно применять.
Получается вы говорите что etl больше не нужен нужно просто считать на сырах дынных, есть идея почему вообще etl делается если можно его не делать? Ваш движок плохие данные тоже исправляет налету? Или работает на идеальных данных?
Правильно ли я понимаю что расчеты строятся сразу на сырых данных ?
Планирую написать статью - как я автоматизировал чтение телеграм каналов с помощью AI