Comments 3
Понятно, что некий руководитель чаптера - уже скорее менеджер, чем технарь. Но все-таки про что здесь написано то.
Все знают, что операции мутаций в кликхаузе дорогие, очень дорогие. И напрямую их в нормальной работе не используют. В итоге какой движок у таблиц то был?
Что за вставка такая и что за scd2? Обычный подход - replacingmergetree с дополнительными колонками версии и актуальности, чтобы работал final в запросе и происходила очистка. Либо без оной и вы получаете вашу так называtмую scd2.
Непонятно чем осуществлялась вставка - встроенным движком и материализацией или консумер написан на стороне.
Статья про выбор архитектуры для применения мутационных операций в системе, которая их плохо поддерживает. Это случай, когда требуется относительно быстрая доставка данных для аналитики или уже не получается выполнить копирование полной переливкой данных. Движок у таблиц — обычный MergeTree.
Вставка напрямую — использование alter и delete в синхронном режиме. Scd2 — slowly changes dimensions type 2 по классической схеме. Без реализации какого-либо мержа; с использованием через запрос, возвращающий последнюю версию записи для каждого уникального ключа. Здесь ключ брали одноколоночный int64. Кстати, интересная мысль: реализовать мерж средствами кликхауса — это отлично решит недостаток схемы с scd2.
Вставка через внешний консьюмер и обращение к Clickhouse через jdbc.
Слишком много слэнга. Ничего не понял.
Как выбрать для своего конвейера данных максимально эффективную архитектуру