И нигде ни слова о том как подсунуть в ammofile генератор ссылок. Ведь бывает же такое (видимо в очень редких исключениях) что веб сервис требует авторизации и access_token который надо получить до начала теста. Ни слова в документации, ни слова в статьях.
Делал похожую задачу, только надо непрерывно перекачивать из mysql в pg порядка 1 млн строк за 20 мин круглые сутки. Реализация на python, используется copy через pipe. Таблицы для приема данных unlogged с использованием партиционирования. Иногда упирался в nvme диски на стороне PG, но это решаемая задача. С производительностью python проблем небыло. Такое решение позволяло так же на лету преобразовывать некоторые таблицы и загружать в нужном виде. Видимо надо тоже написать как нибудь об этом статью, возможно кому то поможет, т.к. применимо для непрерывного трансфера данных между любыми базами.
Проверил на доступном железе скорость работы младшей модели.
Ryzen 6900HX, 64Gb ОЗУ на встроенной графике radeon 690M 20 т/с. На 3090 100 т/с.
И нигде ни слова о том как подсунуть в ammofile генератор ссылок. Ведь бывает же такое (видимо в очень редких исключениях) что веб сервис требует авторизации и access_token который надо получить до начала теста. Ни слова в документации, ни слова в статьях.
Делал похожую задачу, только надо непрерывно перекачивать из mysql в pg порядка 1 млн строк за 20 мин круглые сутки. Реализация на python, используется copy через pipe. Таблицы для приема данных unlogged с использованием партиционирования. Иногда упирался в nvme диски на стороне PG, но это решаемая задача. С производительностью python проблем небыло. Такое решение позволяло так же на лету преобразовывать некоторые таблицы и загружать в нужном виде. Видимо надо тоже написать как нибудь об этом статью, возможно кому то поможет, т.к. применимо для непрерывного трансфера данных между любыми базами.
Windows -> cmd.exe -> wine -> Notepad.exe