Прогресс серьезный, но пока присутствует некоторая неестественность в мимике на результирующей картинке. Как будто парализовало некоторые лицевые мышцы.
> Проблемка с зубами
Да, это тоже портит впечатление, забавно выглядит, как будто зубы во рту свободно болтаются.
> Ну, и движения тела (головы) отделяются от мимики.
Это следующий этап. Пусть пока мимику доведут до совершенства.
И зубы заодно.
Несоответствие исходника и модулятора может компенсироваться, например, докомпиляцией образа (исходника) путем использования видеоматериала из базы данных. «Пробелы» в целевом изображении ("… на исходнике рот закрыт, а у модулятора открыт"...) будут просто заполняться из более раннего видео, если таковое имеется. Потребуется прогнозирование мимики на мгновения вперед, но вряд ли это будет проблемой.
Но вот похоже, что для тех, кто верит «ящику» и уделяет ему свое время, наступают веселые времена…
Нет, мозги пудрить заметно эффективней можно будет за счет сочетания технологии «подмены» и компьютерного анализа целевой аудитории в контексте того, что ей хочется увидеть/услышать — и синтез предпочтительного конечного результата. Причем даже в режиме «прямого эфира» ток-шоу для аудитории в зале (анализируемой) содержание «TV-лапши» может быть одно, а для целевой аудитории телезрителей — несколько другое.
Более того! — корректироваться в зависимости от целевого региона/менталитета, и т.п. особенностей.
Там не только «с зубами проблема», но и «с глазами». В демонстрируемой модели вместо внутренностей рта и глаз стоят простые «заглушки». А главное достижение — возможность в реальном времени захватывать анимацию лица-источника, и соответствующим образом реанимировать лицо-приёмник. Причём, все расчёты делаются по обычному «плоскому» видео (предыдущие подобные модели требовали изображение со «слоем дальности»). У ребят летом выходит статья в ACM Transactions on Graphics, препринт которой уже можно почитать, например, здесь: gvv.mpi-inf.mpg.de/files/TOG2016/PersonalizedFaceRig.pdf (если будет много желающих, могу попробовать сделать небольшой обзор-перевод...)
Пелевин вообще много чего «предсказал» заранее. Применяю кавычки, потому что его идеи распространены и не новы, но именно он описывает их максимально точно.
Так перевод часто портят именно за счет подгонки текста под мимику и разной длины английской и русской фраз. Если можно будет мимику немного расширять и изменять, свободы у переводчиков станет больше.
Перевод обычно портят «актеры», которые не умеют играть и зачитывают текст абы-как. Ну и горе-переводчики, которые не знают не только английского, но и русского.
Ой, ладно Вам, я тут недавно решил пересмотреть сериал в оригинальной озвучке, так один из главных персонажей оказался Стивен, а во всех русских озвучка, он был Майклом(!!!)
Даже интересно, что за сериал такой?
Вообще сериалы обычно не дублируют, почти везде обычный многоголосый перевод, где к мимике никак не привязываются, и там качество перевода зависит, похоже, только от его низкой цены.
Stargate Atlantis
Хотя сейчас проверил еще пару переводов, это только в двух его переименовали
З.Ы. Многие сериалы переведены, я не говорю про что-то новое, а например про StarGate, Star Trek
«Рендер-сервер 100/400. Их «Силикон Графикс» специально для этих целей гонит – хай энд. По американским понятиям в принципе уже старье, но нам хватает. Да и вся Европа на таких пашет. Позволяет просчитывать до ста главных и четырехсот вспомогательных политиков.»
В. Пелевин, Generation П, 1999 г.
Программа Face2Face переносит мимику с одного лица на другое в реальном времени