вы писали что изучение языка это боль и вам не хватает функционала в других приложениях и вот вы реализовали это в своем приложении - вы смогли поднять уровень языка используя свое приложение - если да то на сколько ? - именно результата, я не увидел в этом рассказе я увидел только процесс.
Теперь стало понятнее, что это не замена ETL, а скорее его дополнение. При этом тесты часто нужны не только после выполнения пайплайна, но и прямо внутри ETL — на разных этапах обработки данных. На практике такие проверки чаще всего реализуются средствами самого ETL и обычно в декларативном виде. То есть SQL напрямую почти не пишут (он создаётся один раз — как и сами тесты), а затем просто указывают, к каким таблицам и какие проверки нужно применять.
Получается вы говорите что etl больше не нужен нужно просто считать на сырах дынных, есть идея почему вообще etl делается если можно его не делать? Ваш движок плохие данные тоже исправляет налету? Или работает на идеальных данных?
вы писали что изучение языка это боль и вам не хватает функционала в других приложениях и вот вы реализовали это в своем приложении - вы смогли поднять уровень языка используя свое приложение - если да то на сколько ? - именно результата, я не увидел в этом рассказе я увидел только процесс.
я например думаю написать статью на хабра как будто хочу рассказать, что-то интересное, но на самом деле это будет бесплатное продвижение продукта.
я бы сказал за время анонсов и 10 лет после - ни одна база не прострадала
Теперь стало понятнее, что это не замена ETL, а скорее его дополнение. При этом тесты часто нужны не только после выполнения пайплайна, но и прямо внутри ETL — на разных этапах обработки данных. На практике такие проверки чаще всего реализуются средствами самого ETL и обычно в декларативном виде. То есть SQL напрямую почти не пишут (он создаётся один раз — как и сами тесты), а затем просто указывают, к каким таблицам и какие проверки нужно применять.
Получается вы говорите что etl больше не нужен нужно просто считать на сырах дынных, есть идея почему вообще etl делается если можно его не делать? Ваш движок плохие данные тоже исправляет налету? Или работает на идеальных данных?
Правильно ли я понимаю что расчеты строятся сразу на сырых данных ?
Планирую написать статью - как я автоматизировал чтение телеграм каналов с помощью AI