Ведущий разработчик
Перелив данных идет одновременно во все таблицы.
Скорость миграции медленная при больших объёмах данных.
При миграции дополнительно понадобиться сопоставление данных между MSSQL и PostgreSq.
Перенос csv на сервак из за его размера занимал много времени и нужно что бы еще было столько места дополнительно.
Я все же не понял. 1,4 это одна таблица или вся БД?
Всей БД.
Я вот чего не понял. Вы открываете датасет из ms sql. Как вам памяти хватило на 1,4?
При использовании `SqlDataReader` мы не загружаем весь обьем данных в оперативную память сразу.
А разве bcp не умеет форматом даты управлять?
Думаю можно, но на тот момент уже поняли, что из за размера csv и его переноса этот вариант нам не подойдет.
У pg нет команды bulk insert.
По сути ее аналог
COPY {tableNameLower} FROM STDIN (FORMAT BINARY)
Преимущества бинарных форматов становятся очевидными, когда речь идет о больших объемах данных и высоких требованиях к производительности.
Перелив данных идет одновременно во все таблицы.
Скорость миграции медленная при больших объёмах данных.
При миграции дополнительно понадобиться сопоставление данных между MSSQL и PostgreSq.
Перенос csv на сервак из за его размера занимал много времени и нужно что бы еще было столько места дополнительно.
Всей БД.
При использовании `SqlDataReader` мы не загружаем весь обьем данных в оперативную память сразу.
Думаю можно, но на тот момент уже поняли, что из за размера csv и его переноса этот вариант нам не подойдет.
По сути ее аналог
COPY {tableNameLower} FROM STDIN (FORMAT BINARY)Преимущества бинарных форматов становятся очевидными, когда речь идет о больших объемах данных и высоких требованиях к производительности.