Как стать автором
Обновить

Квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь на сотнях терабайт данных

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров2.7K
Всего голосов 7: ↑7 и ↓0+7
Комментарии6

Комментарии 6

У вас OLTPбаза тоже на монгодб? Обычно же в олтп классическая реляционка, тогда и синхронизацию\реплику делают через передачу транзакционных логов.

да, мы используем MongoDB, т.к. у нас модель доступа key-value в оперативном хранилище

А почему не просто репликация?

Обычную репликацию можно было использовать если бы в качестве аналитического кластера использовалась тоже MongoDB, но у нас в проекте в качестве аналитического кластера используются несколько систем: Elastic + Clickhouse + HDFS для различных задач. Добавил информацию об этом в статью, т.к. этот момент был совершенно неочевиден для читателя. Спасибо, что подсветили этот момент!

Понял! Мне показалось что у вас всюду Монго.

А на MSSQL можно было бы использовать readable replica

Зарегистрируйтесь на Хабре, чтобы оставить комментарий