Статья про выбор архитектуры для применения мутационных операций в системе, которая их плохо поддерживает. Это случай, когда требуется относительно быстрая доставка данных для аналитики или уже не получается выполнить копирование полной переливкой данных. Движок у таблиц — обычный MergeTree.
Вставка напрямую — использование alter и delete в синхронном режиме. Scd2 — slowly changes dimensions type 2 по классической схеме. Без реализации какого-либо мержа; с использованием через запрос, возвращающий последнюю версию записи для каждого уникального ключа. Здесь ключ брали одноколоночный int64. Кстати, интересная мысль: реализовать мерж средствами кликхауса — это отлично решит недостаток схемы с scd2.
Вставка через внешний консьюмер и обращение к Clickhouse через jdbc.
Информация
В рейтинге
Не участвует
Откуда
Санкт-Петербург, Санкт-Петербург и область, Россия
Статья про выбор архитектуры для применения мутационных операций в системе, которая их плохо поддерживает. Это случай, когда требуется относительно быстрая доставка данных для аналитики или уже не получается выполнить копирование полной переливкой данных. Движок у таблиц — обычный MergeTree.
Вставка напрямую — использование alter и delete в синхронном режиме. Scd2 — slowly changes dimensions type 2 по классической схеме. Без реализации какого-либо мержа; с использованием через запрос, возвращающий последнюю версию записи для каждого уникального ключа. Здесь ключ брали одноколоночный int64. Кстати, интересная мысль: реализовать мерж средствами кликхауса — это отлично решит недостаток схемы с scd2.
Вставка через внешний консьюмер и обращение к Clickhouse через jdbc.