Миграция данных: Понятие, виды и примеры на Python

дважды вредный - какой pandas, вы о чём вообще

Трижды. Не бывает миграции одноразовой, практически никогда. Это процесс. И он практически всегда построен на том или ином способе выбрать свежие данные из одной базы, и добавить их в другую. Поэтому нормальные процессы миграции как правило строятся на чем-то типа Golden Gate, ну или применительно к постгресу - debesium. Т.е. что-то что читает WAL, пересылает транзакции в другое место, и там их применяет к другой БД.

А так да, за попытку прочитать все данные из таблицы в память, а потом записать их в другую базу - твердая двойка, даже последний джун должен был подумать о том, что записей в таблице может быть миллион или миллиард, и этот процесс нужно резать на кусочки. Я бы даже на спарке так не стал бы делать (хотя спарк способен такое переварить, если дать нужные ресурсы, но не миллиарды все равно, миллионы в лучшем случае).