Ускоряем загрузку больших объёмов в PostgreSQL, используя COPY from STDIN binary

[ky0]

«Постик» [x]

Серьёзно? :)

[miruzzy]

ну а почему-бы и нет ?)

Когда я начинал учить SQL — мой 'учитель' сказал, чтобы я начинал с 'постика'. Вот так и прижилось название

[ky0]

«С постика на компуктере», что ли? :)

[binakot]

Рекомендую попробовать вот эту тулзу https://github.com/timescale/timescaledb-parallel-copy. Написана на golang, от создателей одного из самых популярных расширений для PostgreSQL — TimescaleDB.

Я на нее переехал со встроенного COPY. Позволяет в несколько потоков грузить данные, мне дало прирост на порядок.

Было бы круто увидеть сравнение по производительности с тем, что рассмотрено в статье.

[miruzzy]

Хорошая идея.
Я подумаю над тем, чтобы добавить многопоточность. А потом можно будет и сравнить.

Спасибо

[teror4uks]

было бы ещё интересно посмотреть на COPY в csv формате на графиках…

[miruzzy]

К сожалению, я не видел смысла делать COPY в CSV и текстовом форматах.
Но в разных ситуациях может быть по разному.
К примеру, если вы будете передавать на сервер много 'мелких' данных — есть смысл использовать текстовой формат для того, чтобы снизить размер буфера ( меньше нагрузка на сеть)

Бинарный формат — он же более универсальный и самый точный ( например для double чисел)

Надеюсь, я достаточно развёрнуто дал ответ.

А по поводу графиков и скорости — думаю, это будет в районе +- 5-20% ( в отличии от COPY binary ). Опять же в зависимости от того, что передаём

[TomskDiver]

Еще бы неплохо сделать подписи к осям на графиках. Ну или написать в описании графиков каких удавов в попугаях измеряете.

[miruzzy]

Вроде писал:
Нижеприведённые графики будут показывать время добавления ( в мс ) следующих 10.000 данных — по оси Y, кол-во добавленных данных — по оси X.

По Х — количество добавленных данных
По Y — время, за которое добавились последние 10.000 записей

[TomskDiver]

Извиняюсь, как-то пропустил это.