Комментарии 5
Airbyte позволяет загружать данные при помощи шести шаблонов загрузки
Вообще я думал любой нормальный тул дает возможность произвольный квери запихать как сорс плюс с использованием переменных. А имея переменные и запрос, зделать себе любой тип инкрементальной загрузки можно минут за 20.
p.s. а вообще накой имея DBT еще и Airbyte ??? У dbt тоже коннекторов много, а иметь вместо 3-х тулов - два всегда лучше
В преднастроенных из коробки коннекторах такой возможности для рассматриваемых источников данных не увидел. Но в статье разобрал именно вариант преднастроенных. В целом, как писал выше ivantgam, действительно можно самостоятельно сконфигурировать собственный коннектор, подсунув ему нужный запрос. Но тогда теряется ценность заявленных коннекторов.
У dbt неплохой набор коннекторов, но там в основном различные СУБД и очень мало каких-то бизнесовых сервисов, которые интересовали в первую очередь. По-крайней мере если говорить о проверенных силами разработчиков dbt.
В ELT EL - это airbyte, a T - это DBT, без EL ты своим DBT где будешь ковырять? В своей собственной базе данных только что. Данные нужно грузить из хадуп, из sql баз данных, из nosql баз данных, из kafka, из плоских файлов разных форматов, их MQ и т.д.
Airbyte хорошо подходит, как универсальный инструмент, если надо онбордить много источников данных. Если кликстрим то я бы писал кастомную оптимизированную загрузку. Мы на него постепенно переезжаем с Fivetran. Естественно по причине стоимости. Скорее всего полностью не переедем никогда, так как у них разный набор коннекторов. Я люблю готовые ELT сервисы за то, что можно очень быстро отдать данные клиету не тратя время на разработку
Как мы не выбрали Airbyte, или почему собирать данные лучше по старинке