Любопытное решение.
Пользуюсь synthesia (https://app.synthesia.io) для генерации движения губ.
Повтор ваших примеров (датасет в 270гб) у себя потребует время.
Насколько production ready получился ваш результат?
Спасибо за комментарий! К сожалению, очень далеко от production ready. Чтобы получить нормальное качество, нужно модель долго дообучать на GPU. Мне не удалось провести эксперименты.
Оживление портрета с помощью Realistic Neural Talking Head Models