Расскажем, как решить задачу кастомной маркетинговой аналитики так, чтобы:

- данные были хорошо документированы;

- данные были доступны бизнес-пользователям в самостоятельном режиме;

- систему можно было легко поддерживать и, при необходимости, быстро подключать других аналитиков к работе.

Создание пайплайнов для трансфера данных — рутинная задача Data-инженеров. Чтобы ее решить, многие копируют код коннекторов из одного проекта в другой. Из-за копипаста общая структура ломается, и в перспективе может возникнуть трудность с поддержкой проекта.

Источников данных много — Яндекс.Директ, Google Analytics и другие. По отдельности они не дают нужной картины, — данные всё равно приходится собирать в один Data Warehouse. Тут на помощь приходит Meltano: он позволяет стандартизировать написание коннекторов к различным источникам данных и быстро перенести все нужные данные.