Комментарии 5
На КДПВ у парня обе руки правые.
Как у вас разделены параллельные CI-прогоны разных MR: у каждого своя схема или сборки в cicd выполняются последовательно? В статье указана одна схема cicd и сборка всего слоя. Если два MR одновременно создают там одноимённые модели с разным набором колонок, downstream-проверка может увидеть таблицу соседней сборки. Даже при --empty это затрагивает именно ту структуру, которую проверяет CI.
Интересно, привязываете ли имя схемы к ID пайплайна и как организована очистка после отменённого запуска.
сборки выполняются последовательно в одной схеме, а так как используем --empty время выполнения всего +-4 минуты, поэтому можем позволить не использовать разделение на схемы.
Интересно, привязываете ли имя схемы к ID пайплайна и как организована очистка после отменённого запуска.
Схему мы не чистим т.к. каждый раз запускаем с флагом --full-refresh
У вас один проект dbt? Есть ли потребность считать модели по разному расписанию, если есть, как реализовали?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Self-Service Data Platform на StarRocks: 3 инженера, 25 аналитиков и 0 тестовых стендов