Комментарии 4
Во-первых, в Storage был невыраженный слой плоских данных и вырожденный слой произвольного набора агрегатов. Первому мы дали основной приоритет (сделали условным DDS) с вынесением в него многих плоских витрин из data mart, второй полностью заменили на слой основных переиспользуемых данных — CDM.
Во-первых, в Storage был невыраженный слой плоских данных и вырожденный слой произвольного набора агрегатов. Первому мы дали основной приоритет (сделали условным DDS) с вынесением в него многих плоских витрин из data mart, второй полностью заменили на слой основных переиспользуемых данных — CDM.
В-третьих, с помощью Grafana мы поигрались с очередями запуска слоев и распределением дагов между слоями. Итого получилось пять основных слоев DWH: raw, ushi (DDS), dict, cdm, data mart.
У вас с данными проблемы, eventual consistency какой-то, "во-вторых" потерялось, "во-первых" задублировалось, и как вам важные kpi считать доверяют-то :)))))))))))))
Работа ради работы. Про модель данных и кол-во сущности ни слова. Зато кругом сплош модные технологии.
Как благодаря переезду хранилища данных прокачать стек, архитектуру и скиллы команды