Миграция 500 Гиг из Оракла за 5 часов

На самом деле, еще 9 часов заняла загрузка данных в PostgreSQL, но обо всем по порядку.
Ничто не предвещало грозы — у Заказчика упал сервер и всего-то предполагалось поднять Оракл ;-)

Что я и сделал.

Но ВНЕЗАПНО оказалось, что по договору нужна миграция а дедлайн через 3 дня и все заверте...

Тут стоит упомянуть, что с Постгрес до этого был более чем незнаком, а о процессе миграции знал лишь по публикациям на Хабре.

Я сразу предупредил все стороны, что гарантий своевременности — никаких, но все-же, "МЫ ПРИНИМАЕМ БОЙ!"

Мне была предоставлена виртуалка с Centos 8 и всем, что нужновыходом в интернет и безграничной поддержкой администратора серверов.

Времени на размышления не было, поэтому сразу была загружена последняя(23.0) версия ora2pg.

Действовать решил тоже по инструкции с этого же сайта, но что-то пошло не так:

perl -MCPAN -e 'install DBD::Oracle'
/usr/bin/ld: cannot find -lnsl
collect2: error: ld returned 1 exit status

Советы Гугла не помогли, а часы продолжали неумолимо тикать...

Ничего не оставалось делать, как пойти проторенным путем
Там автор мигрировал с 12-го Оракла софтом Ora2Pg v21.1 в тринадцатый PostgreSQL.

Я лишь немного поменял вводные — CentOS Linux release 7.9 и двенадцатый Постгрес.

Начало было довольно банальным и прошло без проблем(все имена и IP -вымышленные):
192.168.0.8 — Oracle sever
192.168.0.14 — new PostgreSQL server
client — dbname Оракла и имя базы данных Постгреса

Все манипуляции выполняются на последнем:

rpm -ivh oracle-instantclient12.2-basic-12.2.0.1.0-1.x86_64.rpm
rpm -ivh oracle-instantclient12.2-devel-12.2.0.1.0-1.x86_64.rpm
rpm -ivh oracle-instantclient12.2-jdbc-12.2.0.1.0-1.x86_64.rpm
rpm -ivh oracle-instantclient12.2-sqlplus-12.2.0.1.0-1.x86_64.rpm

yum install -y wget

wget https://yum.oracle.com/RPM-GPG-KEY-oracle-ol7 -O /etc/pki/rpm-gpg/RPM-GPG-KEY-oracle

yum install -y perl perl-CPAN perl-DBI perl-Time-HiRes perl-YAML perl-local-lib make gcc

yum install -y perl-App-cpanminus

cpanm CPAN::Config
cpanm CPAN::FirstTime

export LD_LIBRARY_PATH=/usr/lib/oracle/12.2/client64/lib
export ORACLE_HOME=/usr/lib/oracle/12.2/client64

perl -MCPAN -e 'install DBD::Oracle'

tar zxf ora2pg-21.1.tar.gz && cd ora2pg-21.1 && perl Makefile.PL && make && make install

Но мы-же помним, о 500Гигах, а учитывая, что на дисках Винды dbf-файлы занимали вдвое больше, то 3ТБ, были смонтированы в /postgres

Соответственно, нужно сообщить об этом инструменту ora2pg:

ora2pg --project_base /postgres/ora2pg --init_project client WORKDIR /postgres/ora2pg

Строкой выше — первый момент отличающий данную статью от тех, что попались мне на глаза.

COPY ora2pg.conf /postgres/ora2pg/client/config/

cd /postgres/ora2pg/client

Редактируем файл конфигурации — vi ora2pg.conf меняем следующие строки:

ORACLE_HOME     /usr/lib/oracle/12.2/client64

# Set Oracle database connection (datasource, user, password)
ORACLE_DSN      dbi:Oracle:host=192.168.0.8;sid=client;port=1521
ORACLE_USER     system
ORACLE_PWD      systempwd

# Set this to 1 if you connect as simple user 
USER_GRANTS     0

# Export Oracle schema to PostgreSQL schema
EXPORT_SCHEMA   1

# Oracle schema/owner to use
SCHEMA

Теперь самое время проверить соединение с БД Оракл, устанавливаем переменные окружения:

export LD_LIBRARY_PATH=/usr/lib/oracle/12.2/client64/lib
export ORACLE_HOME=/usr/lib/oracle/12.2/client64

И запускаем проверку:

cd /postgres/ora2pg/client
ora2pg -t SHOW_VERSION -c config/ora2pg.conf

Oracle Database 12c Enterprise Edition Release 12.2.0.1.0

Ок, соединение — успешное, можно еще просмотреть список всех таблиц БД:

ora2pg -t SHOW_TABLE -c config/ora2pg.conf

И самое интересное — можно оценить оценить трудозатраты (время миграции):

ora2pg -t SHOW_REPORT --estimate_cost -c config/ora2pg.conf export_schema.sh

В выводе было много текста и среди ниих такая строка :

cost migration units means approximatively 11 man-day(s)

Нет, на это я пойтить не могу!

И даже строки Migration level: C-5
C — Migration with code rewrite and a human-days cost above 5 days
5 = difficult: stored functions and/or triggers with code rewriting
оптимизма не внушали

Если Вас ничего не смущает в полученных цифрах, то можно смело запускать выгрузку данных:

ora2pg -t INSERT -o data.sql -b ./data -c ./config/ora2pg.conf

В результате получаются командные файлы в виде create table — insert для psql

Тестовая выгрузка показала удурчающе низкую скорость создания этих самых инсертов — около 5ГБ/час.

Что-ж читаем опции командной строки, что нам предлагает ora2pg, и оказывается что ВНЕЗАПНО можно параллелить чтение/запись, о чем я у других авторов гайдов по миграции не читал.

Тут как раз в пору заряжать шестиствольный пулеметмногопоточную выгрузку:

ОК, расширяем количество ядер нашей виртуалки с 4 до 16 и после ряда экспериментов выходим на оптимальное соотношение параметров:

nohup ora2pg -j 2 -J 12 -t INSERT -o data.sql -b ./data -c ./config/ora2pg.conf

Тут Оракл вычитывается в 12 потоков, запись идет в два, еще два процесса занимает ora2pg.

И да, это была вторая строка, отличающая данный пост от известных мне мануалов по миграции.

У Вас может быть все по другому — экспериметнируйте!

Каково-же было мое удивление, когда выгрузка по сети закончилась за 5 часов!

Это при том, что локальный бэкап Оракла датапампом идет все 6.

Уже позже я нашел бенчмарки, где автор тоже приходит к большему против записи числу потоков чтения, хотя и не настолько.

Но согласитесь, загрузка CPU, достигающая порой 90% — хоть и косвенный, но показатель оптимальности параметров.

Теперь самое время установить PostgreSQL, если Вы не сделали это ранее, 12 версия была пожеланием разработчиков:

yum install dnf 

dnf module list postgresql

https://www.postgresql.org/

# Install the repository RPM:
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

# Install PostgreSQL:
yum install -y postgresql12-server

Инициализируем БД и добавляем в автостарт:

/usr/pgsql-12/bin/postgresql-12-setup initdb
systemctl enable postgresql-12
systemctl start postgresql-12

Но не все так просто — мы-же помним про пол-Тера информации, это у Джонни-мнемоника адресация выше 320ГБ вызывает OOM

Для того, чтобы избежать сией участи нам нужно немного подправить конфиг, указав на "большой" диск:

vi /var/lib/pgsql/12/data/postgresql.conf

data_directory = '/postgres/pgsql'

Теперь копируем всю структуру в новое место и перезапускаем серверный процесс:

cp /var/lib/pgsql/12/data/* /postgres/pgsql

chown -R postgres /postgres/pgsql

chmod -R 750 /postgres/pgsql

systemctl restart postgresql-12

Но это еще не все — нужно назаначить пароль пользователю БД и создать саму базу:

psql -c "alter user postgres with password 'clientpostgres'" 

vi /var/lib/pgsql/12/data/postgresql.conf

set Listen address to your server IP address or “*” for all interfaces.

vi /var/lib/pgsql/12/data/pg_hba.conf

# Accept from anywhere
host all all 0.0.0.0/0 md5

restart:

systemctl restart postgresql-12

psql -U postgres -h 192.168.0.14 -p 5432 postgres

CREATE DATABASE client;

Момент истины(загрузки данных) стремительно приближался, точно так же, как и дедлайн

Я уже всеми фибрами души чувствовал степень авантюрности своего начинания, но как говорится — глаза-боятся а руки — делают!

Многие советуют запускать скрипт загрузки:

postgres/ora2pg/client/import_all.sh -d client -o postgres -U postgres

Но он ну очень интерактивный и задает много вопросов — в стиле — пересоздавать-ли БД, какие компоненты (таблицы, индексы и т.д. ) загружать.

Будь у меня сервер под боком — я бы так и сделал, но нужно было загрузить только данные таблиц.

А потому, путем чтения мануала и ряда ошибок я таки запустил автозагрузку данных без вопросов со стороны скрипта

nohup /postgres/ora2pg/client/import_all.sh -d client -o postgres -U postgres -a -y -I -P 8

По сути, мы дропаем старую базу постгреса и создаем новую, по умолчанию соглашаясь со всем, что нам предлагает скрипт.

Да, тут тоже фишка в параллельной загрузке 8 таблиц, иначе не знаю, насколько растянулся-бы 9-часовой процесс.

И еще, если придется догружать другие обьекты — то уже без опций -a, -y, -I и ноухапа, с ответом на кучу вопросов.

Собственно, на этом все, и как-бы сказал(а) программист(ка) из "Путешественников":

"… Пожалуйста!, — ведь я спасла Ваши задницы!"