Следующие слои (bv, marts) пока действительно собираются больше в ручном режиме, но прорабатываем сейчас идеи, как применить инструмент для дальнейшего этапов моделирования
Да, действительно, у нас Datahub является источником всей правды по метаданным. Инжесты в датахаб у нас частично автоматизированы через Dagster, по набору кредов можно подключить за 5 минут, если фактические доступы уже есть
Здесь не обойтись без концептуальной модели, команды MDM, 100500 литров кофе...
типичныя аналитик из команды МДМ строит концептуальную модель
4. На самом деле есть такое желание, но ещё предстоит обсудить это внутри команды :)
Пока что код достаточно сильно завязан именно под нашу инфраструктуру (например на определенном этапе, мы проверяем CDC таблицы в дочерних элементах через Lineage, чтобы записать их в source_model в dbt), но это тоже преодолимо.
Здравствуйте =)
Следующие слои (bv, marts) пока действительно собираются больше в ручном режиме, но прорабатываем сейчас идеи, как применить инструмент для дальнейшего этапов моделирования
Да, действительно, у нас Datahub является источником всей правды по метаданным. Инжесты в датахаб у нас частично автоматизированы через Dagster, по набору кредов можно подключить за 5 минут, если фактические доступы уже есть
Здесь не обойтись без концептуальной модели, команды MDM, 100500 литров кофе...
4. На самом деле есть такое желание, но ещё предстоит обсудить это внутри команды :)
Пока что код достаточно сильно завязан именно под нашу инфраструктуру (например на определенном этапе, мы проверяем CDC таблицы в дочерних элементах через Lineage, чтобы записать их в source_model в dbt), но это тоже преодолимо.