Обновить

Комментарии 2

Классическая ловушка с fan-out, и особенно хорошо, что показан SUM(DISTINCT), который выглядит как исправление, но ломает расчёт при совпадающих суммах. На практике помогает явно фиксировать зерно каждой витрины и агрегировать позиции и оплаты до уровня заказа отдельно, а уже потом соединять. Интересно, добавляете ли вы автоматическую проверку, что сумма после JOIN совпадает с суммой в исходной таблице?

В учебном примере сверка есть в разделе «Что проверять перед выдачей витрины в BI»: сравниваются количество заказов и сумма с базовой таблицей. Сам запуск проверки в пайплайне здесь не реализован.

При автоматизации её можно сделать условием публикации новой версии витрины для BI: сравнивать один срез на согласованный момент загрузки, а при расхождении сохранять предыдущую проверенную версию и уведомлять владельца данных. Кроме общих сумм нужны сверка по ключам и поиск потерянных или лишних заказов: ошибки в итоговой сумме могут компенсироваться.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации