Комментарии 12
Отличный практический пример. Спасибо за статью. В какой программе строили графы (картинка с Этапа 3)?
https://arrows.app/ Вообще Arrows используется для визуализации labeled property graphs из домена графовых баз данных. Но выяснилось, что для визуализации моделей данных в терминах анкеров/атрибутов/линков тоже отлично подходит.
А, или речь идет о картинке с Lineage? Такие штуки рисует https://getdbt.com/
Спасибо за такой обзор.
а случайно не поделитесь ссылками сбора данных из direct и vkontakte Для meltano или signer ?
Привет! Легко:
- https://github.com/epoch8/tap-yandexdirect
- https://github.com/epoch8/tap-vk
Если будут вопросы – пишите olga@epoch8.co
спасибо огромное, а нет ли случайно в этой цепочке возможности поменять bigquery на clickhouse?
не могу найти signer tap для clickhouse
Ща, погодите, у Singer же архитектура какая:
- есть tap'ы – они для сбора данных из источников
- есть target'ы – они для заливки данных в destination
Ну и соответственно если нужно данные из vk, например, залить в clickhouse, то надо взять tap-vk (например, наш), и target clickhouse. Target clickhouse кажется гуглится – https://www.npmjs.com/package/target-clickhouse например
Или вопрос в другом?
почему пишете что реализация атрибутов независима, когда они все лежат в одной широкой таблице с анкером? В каком смысле независима?
Звучит как комментарий человека, знакомого с концепциями! :)
Мы сначала реализуем каждый атрибут независимо, но потом из независимых атрибутов собираем 1) широкую таблицу на анкер, просто left join‘ом всех атрибутов на анкер 2) широкую таблицу со всеми линками (по возможности).
То есть, когда появляется ещё один атрибут, мы добавляем ещё одну строчку left join’а в таблице анкера.
Это удобно для аналитики, для отображения в Metabase и sql-запросов.
Как настроить сквозную маркетинговую аналитику в режиме self-service (аналитики самообслуживания)