Deepfake. Реализация технологии замены лиц в видео. Часть 1

[Stantin]

Как-то неконкретно..

Если бы минимальный пример с датасетом и кодом..

[sergeim52b20]

Датасеты с лицами в 1024*1024:
github.com/NVlabs/ffhq-dataset
github.com/switchablenorms/CelebAMask-HQ
Сейчас используется несколько сеток: генеративная модель(GAN либо AE) для создания отдельных кадров + кодирование внешности + кодирование эмоций + отдельная тема это переход от отдельных кадров к видео. Что именно интересно?

[Stantin]

Наверное интересен весь процесс по шагам и с кодом, а если это слишком много за раз, то его этапы (создание отдельных кадров etc).

[Griboks]

Это всё, конечно, очень интересно… было 10 лет назад. Но вот где главное? Где репозиторий с кодом и датасет известных актрис, таких как Эмма Уотсон, Галь Гадот и т. п.??!

[vassabi]

хмм… да, склеивает хорошо, но почти не повторяет мелкую моторику (легкие покачивания из стороні в сторону — вообще не повторяет. См. второй ролик, третье лицо слева 4-6 секунды — подбородок движется с мелкими поворотами а глаза с носом плавно движутся как будто скользящее среднее и поэтому выглядят маской)

[sergeim52b20]

Есть такое. В следующей сборке поправим.

[lab412]

трэкинг плохой. видно что лицо «плавает» на голове почти во всех примерах
глаза меняют цвет на первом видео — один голубой сначала, а потом становится карим. второй просто карий

в целом для первой беты не плохо. во всех таких проектах всегда всё заканчивается статьёй и кодом который не работает без напильника или вообще не получается запустить. надеюсь у вас дойдёт до чего то финального что можно использовать «обычному» пользователю

[sergeim52b20]

Текущая версия далека от финальной. Будут доработки, и их будет много

[dimka11]

Я правильно понимаю, что кода нет?