Начальная синхронизация тоже проводилась Датафлотом. Для "тяжёлых" таблиц, в настройках Dataflot, можно указать необходимое количество параллелей и количество блоков записей на которые нужно разбить таблицу.
Загрузка данных идёт по jdbc "мимо" самого сервера Dataflot, напрямую между БД источника и приёмника.
PS я готовлю ещё несколько, более серьёзных, статей по применению Dataflot, где опишу реальные кейсы с миграцией основных систем, загрузкой в хранилища в исторических форматах, реалтайм (отставание в секунды) стриминге из постгрес в Kafka, загрузках в DataLake...
Нашей приоритетной задачей и был перевод ключевых систем с Oracle на Postgres. Мы смогли мигрировать данные, обеспечить параллельную работу Postgres системы, её непрерывную cdc актуализацию на период тестирования. Это позволило выполнить бесшовный перевод систем с одной СУБД на другую. Более того, на период опытной эксплуатации включили режим обратной репликации из Postgres в Oracle для возможности обратного переключения на случай возникновения нештатной ситуации.
Information
Rating
431-st
Registered
Activity
Specialization
Архитектор программного обеспечения, Архитектор баз данных
Начальная синхронизация тоже проводилась Датафлотом. Для "тяжёлых" таблиц, в настройках Dataflot, можно указать необходимое количество параллелей и количество блоков записей на которые нужно разбить таблицу.
Загрузка данных идёт по jdbc "мимо" самого сервера Dataflot, напрямую между БД источника и приёмника.
PS я готовлю ещё несколько, более серьёзных, статей по применению Dataflot, где опишу реальные кейсы с миграцией основных систем, загрузкой в хранилища в исторических форматах, реалтайм (отставание в секунды) стриминге из постгрес в Kafka, загрузках в DataLake...
Нашей приоритетной задачей и был перевод ключевых систем с Oracle на Postgres. Мы смогли мигрировать данные, обеспечить параллельную работу Postgres системы, её непрерывную cdc актуализацию на период тестирования. Это позволило выполнить бесшовный перевод систем с одной СУБД на другую. Более того, на период опытной эксплуатации включили режим обратной репликации из Postgres в Oracle для возможности обратного переключения на случай возникновения нештатной ситуации.