Введение в dbt шаг за шагом

[little-brother]

{%- ... -%} {{- ... -}} Минусы в mustache-шаблонах используются, если требуется удалить пробельные символы слева и/или справа от вставки. Может быть полезно, если вставка внутри текстовой константы.

Запрос на функционал, аналогичный dbt, один из самых популярных для DataGrip.

[p0mami]

Спасибо, буду знать

Мне кажется, что плюсом dbt является возможность интеграции с Airflow/Dagster/Meltano и т.д. Благодаря этому нам во многом удалось автоматизировать elt

[makar_crypt]

Я как раз подобный вопрос задавал на QA habr , мне подойдет dbt ?

https://qna.habr.com/q/1156442

[p0mami]

Привет, если нужно получать эти параметры в realtime, dbt возможно не лучший вариант. Возможно подойдут какие то потоковые решения, например spark

[EvgenyVilkov]

"Нужна база данных, которая поддерживает и хорошо справляется с большим количеством join-ов;"

Уверены что это про GP? :)

[p0mami]

Привет, у нас максимум было 5-8 джоинов таблиц по 10кк строк и гп справлялся. Бывало падало по спил файлам, но это отдельная тема. Но у нас и сам кластер был не большой.

[EvgenyVilkov]

С этим и телефон справиться. Попробуйте 30 джойнов миллиардов так по 5 на в половине таблиц. Вот тут то и начнется бигдата и разочарование от зелёной сливы