Программа Face2Face переносит мимику с одного лица на другое в реальном времени



    Если много смотреть телевизор, то создаётся впечатление, будто люди там ненастоящие, а какие-то выдуманные виртуальные персонажи, говорящие головы, будто ими управляют как марионетками. Инновационная разработка учёных из США и Германии делает возможным именно такое дистанционное управление лицами на экранах.

    Программа Face2Face накладывает мимику управляющего «актёра» на любое другое лицо. Это можно делать в прямом эфире и вставлять в видеотрансляцию. Лицо на телеэкране под управлением актёра способно отвечать на вопросы, хмурить брови и т.д.

    Подделка видео всегда считалась относительно трудоёмкой задачей, по сравнению с подделкой фотографий. Если на фото можно в «Фотошопе» довольно быстро стереть человека или удалить часы с руки, то проделать такую операцию на видео гораздо сложнее, а в прямом эфире — вообще невозможно.

    Но похоже, скоро мы вступим в новую эру информационных технологий, когда появятся не только отдельные попытки манипуляции массовым сознанием, но и полноценные клоны, виртуальные люди, которые живут только в телевизоре. Они будут выступать в прямом эфире, отвечать на вопросы, принимать участие ток-шоу или встречаться с избирателями. Но это только на экране, а управление персонажем будет происходить в дистанционном режиме. Такие перспективы открываются, если посмотреть на то, как работает программа Face2Face. В видеоролике лицами президентов разных стран управляют специалисты через стандартную веб-камеру.



    Авторы научной работы (препринт) — исследователи из Стэнфордского университета, института Макса Планка и университета Эрлангена-Нюрнберга.

    Комментарии 46

      +4
      момент на 1:48 многое обьясняет.
        +3
        IBM Watson теперь может стать президентом.
          0
          Более того — сможет водиночку стать всем правительством.
            0
            И хорошо бы.
            Но чтобы верховным правителем Земли, а не лишь одной страны.
          +5
          Прогресс серьезный, но пока присутствует некоторая неестественность в мимике на результирующей картинке. Как будто парализовало некоторые лицевые мышцы.
            +5
            По сравнению с MSQRD выглядит значительно более реалистично.
              –3
              кст. попробуйте Face swap ))) Забавная штука, наподобие программы из поста.
            • НЛО прилетело и опубликовало эту надпись здесь
                0
                > Проблемка с зубами
                Да, это тоже портит впечатление, забавно выглядит, как будто зубы во рту свободно болтаются.
                > Ну, и движения тела (головы) отделяются от мимики.
                Это следующий этап. Пусть пока мимику доведут до совершенства.
                И зубы заодно.
                  0
                  Несоответствие исходника и модулятора может компенсироваться, например, докомпиляцией образа (исходника) путем использования видеоматериала из базы данных. «Пробелы» в целевом изображении ("… на исходнике рот закрыт, а у модулятора открыт"...) будут просто заполняться из более раннего видео, если таковое имеется. Потребуется прогнозирование мимики на мгновения вперед, но вряд ли это будет проблемой.
                  Но вот похоже, что для тех, кто верит «ящику» и уделяет ему свое время, наступают веселые времена…
                  • НЛО прилетело и опубликовало эту надпись здесь
                      0
                      теперь можно будет сделать:

                      Ленин всегда живой.
                      видео, где Вы в чем-то признаетесь
                        0
                        Нет, мозги пудрить заметно эффективней можно будет за счет сочетания технологии «подмены» и компьютерного анализа целевой аудитории в контексте того, что ей хочется увидеть/услышать — и синтез предпочтительного конечного результата. Причем даже в режиме «прямого эфира» ток-шоу для аудитории в зале (анализируемой) содержание «TV-лапши» может быть одно, а для целевой аудитории телезрителей — несколько другое.
                        Более того! — корректироваться в зависимости от целевого региона/менталитета, и т.п. особенностей.
                        • НЛО прилетело и опубликовало эту надпись здесь
                    +2
                    Там не только «с зубами проблема», но и «с глазами». В демонстрируемой модели вместо внутренностей рта и глаз стоят простые «заглушки». А главное достижение — возможность в реальном времени захватывать анимацию лица-источника, и соответствующим образом реанимировать лицо-приёмник. Причём, все расчёты делаются по обычному «плоскому» видео (предыдущие подобные модели требовали изображение со «слоем дальности»). У ребят летом выходит статья в ACM Transactions on Graphics, препринт которой уже можно почитать, например, здесь: gvv.mpi-inf.mpg.de/files/TOG2016/PersonalizedFaceRig.pdf (если будет много желающих, могу попробовать сделать небольшой обзор-перевод...)
                    +16
                    Уже было у Пелевина
                      +1
                      А до этого — у Хайнлайна. Только там лицом управлял ИИ.
                        0
                        Пелевин вообще много чего «предсказал» заранее. Применяю кавычки, потому что его идеи распространены и не новы, но именно он описывает их максимально точно.
                          0
                          Пелевин в тэгах
                          +1
                          Сразу вспомнился «Бегущий человек» с Арнольдом
                            0
                            А мне другое вспомнилось, тоже про управление президентом.

                            Реклама голландской страховой компании

                              0
                              Хорошо, что не заставка Губки Боба с пиратом :)
                            • НЛО прилетело и опубликовало эту надпись здесь
                                0
                                Круто, скоро будут фильмы локализировать не только с надписями, но и сразу с артикуляцией под озвучку.
                                  +19
                                  О боже, это будет худший день в истории кино. Они перевести то нормально не могут. А если ещё и мимика, представить страшно.
                                    –1
                                    Так перевод часто портят именно за счет подгонки текста под мимику и разной длины английской и русской фраз. Если можно будет мимику немного расширять и изменять, свободы у переводчиков станет больше.
                                      +3
                                      Ирония: субтитры тоже портят под мимику :)
                                        +1
                                        И главный герой будет тупить на 30% дольше в критической ситуации, ибо монологЪ!
                                          +1
                                          Перевод обычно портят «актеры», которые не умеют играть и зачитывают текст абы-как. Ну и горе-переводчики, которые не знают не только английского, но и русского.
                                            +1
                                            Ой, ладно Вам, я тут недавно решил пересмотреть сериал в оригинальной озвучке, так один из главных персонажей оказался Стивен, а во всех русских озвучка, он был Майклом(!!!)
                                              0
                                              Даже интересно, что за сериал такой?
                                              Вообще сериалы обычно не дублируют, почти везде обычный многоголосый перевод, где к мимике никак не привязываются, и там качество перевода зависит, похоже, только от его низкой цены.
                                                0
                                                Stargate Atlantis
                                                Хотя сейчас проверил еще пару переводов, это только в двух его переименовали
                                                З.Ы. Многие сериалы переведены, я не говорю про что-то новое, а например про StarGate, Star Trek
                                          +7
                                          Реквестирую ремастеринг фильмов с Сигалом!
                                          • НЛО прилетело и опубликовало эту надпись здесь
                                          0
                                          Вспомнился Бастер Френдли который вел свое шоу «Бастер Френдли и его друзья» 23 часа без перерыва каждый день в течении множества лет.

                                          Но от проблемы с границами и тенями наверное уйдут не сразу.
                                            0
                                            3D маска создана заранее для нескольких видео? А как же iMocap (Точки-маркеры на лице), зря использует Голливуд чтоли?
                                              +6
                                              «Рендер-сервер 100/400. Их «Силикон Графикс» специально для этих целей гонит – хай энд. По американским понятиям в принципе уже старье, но нам хватает. Да и вся Европа на таких пашет. Позволяет просчитывать до ста главных и четырехсот вспомогательных политиков.»
                                              В. Пелевин, Generation П, 1999 г.
                                                –1
                                                Блин мне еще Штамингеру екзамен сдавать (( а он уже планирует планету контролировать
                                                  +2
                                                  Прогресс налицо, в прямом и переносном смысле.
                                                    0
                                                      –1
                                                      где скачать
                                                        0
                                                        Очень полезная технология ;)
                                                        megamozg.ru/company/freshdoc/blog/24904
                                                          0
                                                          События Generation П не за горами?

                                                            –5
                                                            Попробовал программулину, работает!

                                                              +1
                                                              Насколько я понял, её пока нельзя опробовать самому?
                                                                –2
                                                                Шикарно!

                                                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                Самое читаемое