Рассматривается ли вариант ещё большего сокращения времени за счёт cdc-выгрузки данных Датафлотом из процессинга непосредственно в Tarantool?
Насколько мне известно, есть активности по совместной реализации прямого коннектора между Dataflot и VK. Сообщество Хабр, как полагаете, есть ли востребованность в прямой онлайн репликации данных в режиме близком к реалтайму из логов СУБД в инмемори БД Tarantool?
Начальная синхронизация тоже проводилась Датафлотом. Для "тяжёлых" таблиц, в настройках Dataflot, можно указать необходимое количество параллелей и количество блоков записей на которые нужно разбить таблицу.
Загрузка данных идёт по jdbc "мимо" самого сервера Dataflot, напрямую между БД источника и приёмника.
PS я готовлю ещё несколько, более серьёзных, статей по применению Dataflot, где опишу реальные кейсы с миграцией основных систем, загрузкой в хранилища в исторических форматах, реалтайм (отставание в секунды) стриминге из постгрес в Kafka, загрузках в DataLake...
Нашей приоритетной задачей и был перевод ключевых систем с Oracle на Postgres. Мы смогли мигрировать данные, обеспечить параллельную работу Postgres системы, её непрерывную cdc актуализацию на период тестирования. Это позволило выполнить бесшовный перевод систем с одной СУБД на другую. Более того, на период опытной эксплуатации включили режим обратной репликации из Postgres в Oracle для возможности обратного переключения на случай возникновения нештатной ситуации.
Информация
В рейтинге
Не участвует
Зарегистрирован
Активность
Специализация
Архитектор программного обеспечения, Архитектор баз данных
Рассматривается ли вариант ещё большего сокращения времени за счёт cdc-выгрузки данных Датафлотом из процессинга непосредственно в Tarantool?
Насколько мне известно, есть активности по совместной реализации прямого коннектора между Dataflot и VK. Сообщество Хабр, как полагаете, есть ли востребованность в прямой онлайн репликации данных в режиме близком к реалтайму из логов СУБД в инмемори БД Tarantool?
Начальная синхронизация тоже проводилась Датафлотом. Для "тяжёлых" таблиц, в настройках Dataflot, можно указать необходимое количество параллелей и количество блоков записей на которые нужно разбить таблицу.
Загрузка данных идёт по jdbc "мимо" самого сервера Dataflot, напрямую между БД источника и приёмника.
PS я готовлю ещё несколько, более серьёзных, статей по применению Dataflot, где опишу реальные кейсы с миграцией основных систем, загрузкой в хранилища в исторических форматах, реалтайм (отставание в секунды) стриминге из постгрес в Kafka, загрузках в DataLake...
Нашей приоритетной задачей и был перевод ключевых систем с Oracle на Postgres. Мы смогли мигрировать данные, обеспечить параллельную работу Postgres системы, её непрерывную cdc актуализацию на период тестирования. Это позволило выполнить бесшовный перевод систем с одной СУБД на другую. Более того, на период опытной эксплуатации включили режим обратной репликации из Postgres в Oracle для возможности обратного переключения на случай возникновения нештатной ситуации.