ИИ научился создавать видео с одного кадра. Старые картины теперь можно сделать живыми



    Технология из Гарри Поттера дошла до наших дней. Теперь для создания полноценного видео человека достаточно одной его картинки или фотографии. Исследователи машинного обучения из «Сколково» и центра Samsung AI из Москвы опубликовали свою работу о создании такой системы, вместе с целым рядом видео знаменитостей и предметов искусства, получивших новую жизнь.




    Текст научной работы можно почитать тут. Там всё довольно интересно, с массой формул, но смысл прост: их система руководствуется «ориентирами», достопримечательностями лица, вроде носа, двух глаз, двух бровей, линии подбородка. Так она мгновенно улавливает, что человек собой представляет. И потом может переносить всё остальное (цвет, текстуру лица, усы, щетину и прочее) на любое другое видео человека. Адаптируя старое лицо к новым ситуациям.




    Разумеется, это пока работает только на портретах. Модели нужен только один человек, с лицом, повернутым к нам, чтобы у него было хотя бы видно оба глаза. Тогда система может делать с ним что угодно, передавать ему любую мимику. Достаточно дать ей подходящее видео (с другим человеком с головой примерно в том же положении).


    Ранее ИИ уже научился делать дипфейки, и интернет-пользователи знатно поиздевались над знаменитостями, вставляя их лица в порно и делая мемы с Николасом Кейджем. Но для этого им приходилось тренировать алгоритмы мегабайтами (а лучше – гигабайтами) данных, находить как можно больше изображений и видео с лицами знаменитостей, чтобы выдать более-менее пристойный результат. Сам создатель Deepfakes говорил, что на компиляцию одного короткого ролика у него уходит 8-12 часов. Новая система генерирует результат моментально, а на входе ей достаточно одной картинки.


    С предыдущей системой мы никогда бы не смогли посмотреть на живую Мону Лизу, у нас есть только один её ракурс. Теперь, с алгоритмами, работающими по ориентирам, это становится возможным. Идеала не достичь, но уже что-то близко.


    image

    В работе московских исследователей также используется генеративно-состязательная сеть. Две модели алгоритма сражаются друг с другом. Каждая пытается обмануть оппонента, и доказать ему, что то видео, которое она создает – настоящее. Так достигается определенный уровень реализма: картинка человеческого лица не выпускается «в свет», если модель-критик не уверена в её подлинности более чем на 90%. Как говорят авторы в своей работе, в изображениях регулируются десятки миллионов параметров, но за счет такой системы, работа кипит очень быстро.




    Если картинок несколько, результат улучшается. Опять же, проще всего получается работать со знаменитостями, которые уже сняты со всех возможных ракурсов. Для достижения «идеального реализма» нужны 32 снимка. В этом случае сгенерированные ИИ фото в невысоком разрешении будут неотличимы от настоящих фото человека. Нетренированные люди на этом этапе уже не способны выявить фейк – возможно, шансы остаются у экспертов или у близких родственников «подопытного» со всех этих изображений.


    Если фото или картинка только одна, итог пока не всегда самый лучший. Увидеть артефакты на видео, когда голова находится в движении, можно без особых проблем. Сами исследователи говорят, что их самое слабое место – взгляд. Модель, основанная на ориентирах лица, пока не всегда понимает, как и куда человек должен смотреть.  


    Pochtoy.com
    218,67
    Адрес для ваших покупок в США и пересылки в Россию
    Поделиться публикацией

    Комментарии 91

      +1
      и зачем? новые фильтры для очередной соцсети?
        +18
        Как минимум вижу очевидное применение в кино, чтобы «оживлять» умерших актёров. Или омолодить постаревших. Учитывая, что для алгоритма нужно мало данных — результаты впечатляют.
          +4
          Довольно скоро можно будет создавать мультфильмы, анимируя каждого персонажа из одного-единственного рисунка.
            +2
            А еще позже, рендер фильма по тексту книги.
              0
              А потом игры будут прогаться по сценарию :)
              0
              Я уже давно и много мечтаю об этом. Но тут есть проблема: вы откроете фильм, а там персонаж выглядит совсем не так, как вы представляли. И вообще у него усы (ну а что, автор же не говорил, что усов нет, а сети показалось, что они тут логичны).
              Так что рисовать персонажей руками и анимировать затем их — гораздо лучше.
                0
                Зато можно будет генерировать N вариантов фильма по тому же сюжету.
                И будет рейтинг не только фильмов, а его вариантов.
                Проголосуете за вариант без усов :)
                  0
                  ну а что, автор же не говорил, что усов нет, а сети показалось, что они тут логичны

                  Намекаете на штаны Арагона?


                  А если серьёзно, то такое и с обычными фильмами, снятыми людьми, сплошь и рядом бывает.

                +1
                С современным софтом уже сейчас видеоряд не слишком сложного мультфильма целиком может быть сделан одним человеком за приемлемое время.
                Проблема в звуке. Качественный звук невозможно получить в домашних условиях, особенно если нужно голосов пять разных персонажей — тут нужна студия. С созданием звука всё весьма тухло, равно как и с синтезом речи, тут даже нейросети не очень-то помогают. А уж синтез русскоязычной речи, пригодной для озвучки героев мульфильма, при нашей жизни совершенно точно не будет освоен.
                  0
                  А уж синтез русскоязычной речи, пригодной для озвучки героев мульфильма, при нашей жизни совершенно точно не будет освоен.
                  не верю!
              +6
              Я бы, например, с радостью «оживил» своих родственников, от которых только фотографии остались и которых я даже не видел вживую.
                +26
                А смысл? Это же случайная мимика, а не достоверная.
                  +1
                  лучше, чем ничего)
                    +14
                    Ну, в данном случае, я вижу Мону Лизу, анимированную с маннеризмом кудере. Выглядит как химера. Вы точно хотите такого для ваших родственников? В отношении уже умерших, это по-моему уже какая-то форма некрофилии.
                      –2
                      Кудере? Господи, зачем это здесь?
                        +2
                        По аватарке не понятно? )) И да, пришлось гуглить!
                          +1
                          Мне тоже пришлось загуглить. Крайне-крайне специфическая информация, чтобы предполагать, что она достаточно очевидна, для референции в комментарии.
                            +1
                            Нужна статья на Хабре, чтоб можно было просто дать одну ссылку на любой случай)
                          0
                          Со временем качество будет становиться всё лучше и лучше.
                            0
                            Речь даже не о качестве, а об отсутствии информации, которую невозможно восстановить, только подменить другой.

                            Вы увидите человека в маске указанной фото, с мимикой и движениями другого человека а не того что на фото.
                              +1
                              А, так-то да, не спорю. Но, весьма вероятно, в будущем можно будет вбухивать туда сразу много разных кадров или куски видео. С умершим 100 лет назад предком, от которого одно фото, положим, так не получится, но большинство остальных реквестов вполне.
                                +1
                                Вы увидите человека в маске указанной фото, с мимикой и движениями другого человека а не того что на фото.
                                Ну, память штука такая, вы все равно не помните человека каким он был. Большая ли разница будет от того что на картинке он будет еще немного другим? То есть понятно что для кого-то это будет прямо сразу нет, но для большинства я думаю будет вполне нормально. Суть же будет не в том чтобы узнать человека после того как он умер, суть в том, чтобы его вспоминать и уменьшить боль от утраты — тут уже абсолютная точность не так уж и важна. В конце концов сейчас людям и просто фотографии хватает.
                                  0
                                  Большая ли разница будет от того что на картинке он будет еще немного другим?
                                  Личное дело каждого, конечно. Но для кого-то это очень даже большая разница. Возникает, можно сказать, вопрос об уважении к мертвым. Хотя некоторые, удивительно, и кремирования не допускают. Но. Надо еще понимать как это оживление происходит. Вспоминается 'Отчего это у вас шрам на лбу, потрудитесь объяснить этой даме.' И отношение 'большинства' как-то сразу меняется.
                            –4
                            Кто в курсе, по одному изображению, при условии что мы знаем что на изображении представлено лицо, нельзя составить его трехмерную модель? Я почти уверен что можно. Недостающие полигоны генерируем на основе полученных. И все выйдет в сто раз реалистичней, и полностью управляемо.

                            Но с усопшими, по крайней мере со своими родными, я бы так точно делать не стал. Жутко как то.
                              +1
                              В прошлом году на конференции Яндекса Николай Чинаев из VisionLabs делал доклад по этой теме


                                0
                                В этом году на YAC, риггинг и мокап тела по видео представили
                          +15
                          Скоро у каждой второй бабки в смартфоне будет анимированный давно почивший дедка. Советы будет ей давать, «ну ты старая, таво, не тужи», успокаивать.
                          «Кладбище домашних животных» ещё вспомнилось.
                            +1

                            «Чёрное зеркало», первая серия второго сезона.

                          +6
                          Как зачем?!
                          В исторических фильмах должны быть достоверные лица исторических лиц!
                          image
                          А не левые рожи актёров!
                          image
                            +1
                            Картины в музеях? Дикторы нарисованные для всяких обучающих программ или даже новостей? Анимация, мультики? Просто по приколу?)
                              +7
                              для прона, конечно же!
                              загружаешь фото из соцсети, и вуаля.
                              осталось ещё только с телами разобраться, и довести до совершенства.
                                +1
                                для прона, конечно же!
                                загружаешь фото из соцсети, и вуаля.
                                осталось ещё только с телами разобраться, и довести до совершенства.
                                  +2
                                  Вы о чём? Тут вон Хабр не может простую технологию проверки на дубликат реализовать, а вы как далеко замахнулись.
                                  +2

                                  Человек, похожий на прокурора будет вытворять куда более жуткие вещи. И либо это можно быть фейком, либо преступник будет прикрываться тем, что есть технологии, которые могут реалистично что-то нарисовать и он невиновен.

                                    +2
                                    Рынок давно ждет относительно надежные камеры с цифровой подписью, технически это реально сделать (чтобы взлом был относительно дорогим удовольствием) но потребует как минимум новых стандартов для этого.

                                    Не защитит от манипуляций но сделает их значительно дороже
                                      0

                                      А ещё он сможет нарисовать своё лицо поверх себя, чтобы все признаки фейка были, а сделал всё равно сам

                                        +2
                                        Если он похож на прокурора, то суд все такие видео сразу же признает фейком, не надо даже париться с прорисовкой. Если же он похож на активиста или известного оппозиционера, то как ни прорисовывай, всё равно любая экспертиза с лёгкостью установит, что видео подлинное, и потому является неопровержимым доказательством.
                                      +2
                                      Порно.

                                      Если не ошибаюсь, как раз порноиндустрия начала первыми в эту сторону копать. Скоро можно будет взять девушку, похожую на Монро, снять видео и заменить ее на Монро.
                                      Еще немного продвинется, чтоб результат был более качественный — и это уже можно использовать.

                                      Дальше — больше. Допустим, можно такую идею придумать — каталог заготовленных видео и каталог заготовленных селебрити. И сам выбирай, кто и как будет сегодня тебя развлекать.
                                      Ну а когда сеть реально сможет обучаться по нескольким фото, и результат будет не совсем вырвиглазным — то будет тебе каталог видео и возможность загружать любых девушек. Думаю, школьники не поскупятся, чтоб увидеть старшеклассниц in action.

                                      И, кстати, с точки зрения бизнеса очень удобно — обучение и рендер на удаленном сервере, никакого пиратства.
                                        0
                                        Первое уже практикуют. Где-то видел новость о скандале вокруг видео «с участием» актрис из нашумевшего сериала.
                                      +7
                                      Увидел КДПВ — 4 разных человека, а вот Мона Лиза уже неплохо…
                                        –1
                                        Только страшная.
                                          –4
                                          Симпатичная евреечка.
                                            –4
                                            похожа на похудевшего Путина
                                          0
                                          Следующий шаг — прикрутить тот ИИ, который делает upscale. И добро пожаловать в Зловещую Долину)
                                            +8
                                            Алгоритм «натягивания» фото на живого актера выглядит намного круче.
                                              +2


                                              Но тем не менее DeepFake для работы нужно два здоровых датасета, а алгоритму из статьи лицо «донора» сгодится даже в количестве 1 фотка.

                                              +4

                                              "Из одного кадра", простите. "С одного", это звучит как "с Ростова"

                                                +3
                                                ИМХО это отсылка к «Я угадаю эту мелодию с восьми нот»
                                                Т.е. он делает видео не из этого фото, а на основе всего лишь одного фото.
                                                КМК предлог «с» тут вполне применим с учетом смысла
                                                +9
                                                Вот как в Хогвартсе оно работало…
                                                  +2
                                                  Не так. Там еще и беседовать с портретами можно было по тем вопросам что знал оригинал. До этого пока еще далеко.
                                                    +1
                                                    Гораздо ближе, чем многие думают (яркий пример годовой давности).
                                                      0
                                                      Да ну, это как раз совсем не сложно — нужно только загрузить информацию которой фото может делиться. Разве что лицевая мимика скорее всего пока что будет отставать, но это скорее инженерный сейчас вопрос. Игровым персонажам же научились делать лица которые выглядят правдоподобно, да еще и губы правильно шевелятся при разговоре. Берем такого персонажа с правильными фразами, обучаем на нем описанную сеть — и готово. Ничего непреодолимого уже и не осталось в общем-то. А если еще и изначально брать не персонажа, а специально подготовленную болванку с ключевыми точками, то вообще никаких проблем не должно быть.
                                                        0

                                                        С портретами — да. А вот с живыми газетными снимками, насколько я помню, нет.

                                                          +2
                                                          не только оригинал: во второй, кажется, части, когда разгромили спальню гриффиндора, у дамы с портрета спрашивали что случилось
                                                            +1
                                                            Портреты в той вселенной сильно отличались от живых фотографий, там фактически своя разумная сущность сидела, которая, например, вполне могла из портрета уйти к соседу пообщаться. Я кстати не помню чтобы там именно с фотографиями разговаривали, мне кажется это опять же про портреты было.
                                                        +8
                                                        С Моной Лизой можно любую дичь втирать — никто не проверит. А вот как выглядела Мерлин Монро все прекрасно представляют. Так что совершенно очевидно что результат работы сети даже близко не похож на то, что должно быть.
                                                          –1
                                                          я так понял там изображение как шкурку накладывают на захваченый скелет видео другого человека, т.е. если строение черепа человека на изображении не совпадает со строением черепа человека на видео то получится как получится, т.е. человека на которого натягивают шкурку с изображения нежно еще и специально подбирать, хотя можно трансформировать скелет изображения под скелелет на видео
                                                            +1

                                                            Нет, там не «натягивают» изображение на скелет, а сразу генерируют портрет. Просто объяснение в статье написано как для домохозяек. Лучше оригинальную статью от авторов посмотрите.

                                                            +1

                                                            Несчастную приклеили волосами к стенке так, что временами при разговоре кожа с черепа натягивается. Впрочем, в документальном фильме "Люди в чёрном" была объяснена причина столь непохожей на землян мимике.
                                                            А М.Л. на первом "фото" выглядит страдающей — "Ну сколько можно меня использовать для демонстрации ваших ужасных алгоритмов".

                                                            0
                                                            Сначала вот это пожалуйста image
                                                              +11
                                                              Бильбо одозначно с Леонова рисовали.
                                                                +7
                                                                Там в принципе интересная ситуация. Художник (Михаил Беломлинский) действительно рисовал Бильбо с Леонова, но сделал это, как сейчас говорят, без разрешения правообладателя (самого Леонова). Причем это случилось как раз в момент, когда вся эта тема массово обсуждалась в печати, и даже сам Никулин писал о том, что его образ используют в куклах, пародиях.
                                                                Все благополучно разрешилось по факту — Беломлинский и Леонов встретились на каком-то мероприятии, где художник показал книгу с иллюстрациями. Леонову они очень понравились и вопрос можно было считать исчерпанным.
                                                                В начале видео Леонов сам рассказывает об этой ситуации.
                                                                  +3
                                                                  Можно еще вспомнить про то что первый игровой фильм по Толкину был сделан в СССР:)
                                                                    0
                                                                    Телеспектакль это всё-же не игровой фильм =)
                                                                      0
                                                                      Если объясните в чем принципиальная разница — соглашусь:)
                                                                      +2
                                                                      Да уж, чего один Гэндальф в блестках стоит.
                                                                        0
                                                                        А у Джексона Арагорн в штанах
                                                                +3
                                                                с эстетической точки зрения ожившие картинки выглядят чудовищно… с технической это очень круто

                                                                ну и вообще надо оживлять не шедевры живописи а фотографии реальных людей и сравнивать реальную мимику и то что нейросети нарисовали.
                                                                  +3
                                                                  В СССР тоже существовал проект по реанимации Карла Маркса!

                                                                  image
                                                                    +3
                                                                    Ленина Гайдай побоялся оживлять, то что вечно живо оживиться не может.
                                                                    0
                                                                    Чуть ли не в двухтысячных имел дистриб шароварной проги, которая не то что лица – вообще любое изображение анимировала на мимику. Единственно что нужно было ткнуть вручную мышью «тут глаза, тут рот».
                                                                    Результат был сравнимый.
                                                                      0
                                                                      Подозреваю, речь о «Reallusion CrazyTalk». Живы до сих пор и неплохо развились.
                                                                        0
                                                                        Оно, спасибо.
                                                                        Интересно, какие там у них были нейросети в двухтысячных.
                                                                          0

                                                                          В начале двухтысячных — скорее всего, никакие.

                                                                        0
                                                                        Результат был сравнимый.

                                                                        Это совершенно разные задачи. Я посмотрел видео про эту программу. Насколько я понял, это просто натягивание фото на 3D-модель как текстуры.


                                                                        Здесь же совершенно другое. Вы ничего не натягиваете. Показываете фото, а сеть его трансформирует в соответствии с ключевыми точками лица. Вы не задаёте 3D-модель, вы не выполняете привязку точек, это полностью end-to-end решение в виде одной модели. Более того, модель дорисовывает части изображения, которые не были видны. Например, зубы на анимации с Моной Лизой.


                                                                        Решение, представленное в статье — это не первое решение такого рода, но оно опирается на последние исследования, что позволило добиться высокого качества результата.

                                                                          +1
                                                                          Нет, задача ровно та же: анимировать изображение таким образом, чтобы движение было похоже на человеческую мимику.
                                                                          Раньше для этого нужен был оператор (минимально), теперь задача выполняется полностью автоматически.
                                                                          Но для меня, честно говоря, вопрос, зачем нужна полная автоматизация этой задачи. Ну, кроме «потому что могли» и очередной снапчат. Было бы здорово, например, анимировать выставки – детям могло бы быть интереснее; но оператор понадобится всё равно. И как-то больше видится массовая генерация фейков, и это печально.
                                                                          Ну и качество, ИМХО, таки сравнимое. Прорыва нет.
                                                                            0

                                                                            Если глобально смотреть как на задачу анимации, то да. Но у этих задач разные входные данных, я об этом. Раньше кроме фото требовалась модель, привязка и не было возможности дорисовывать то, что не видно. Сейчас хватает только фото.

                                                                        0
                                                                        del
                                                                          0
                                                                          картины какие страшные стали вдруг image
                                                                            0
                                                                            Так, если ИИ берет ракурсы знаменитостей в сети, потом их анимирует и выкладывает в сеть, потом берет ролики из сети, анимирует и выкладывает, а затем… что же будет через n лет?!
                                                                              0
                                                                              Меня, как «знаменитость», это ну ооочень волнует.
                                                                              0
                                                                              Монализа местами на Укупника стала похожа
                                                                                0
                                                                                  –1
                                                                                  Теперь фанаты «ГомоТрона», смогут переснять последний сезон сами.
                                                                                    +1
                                                                                    Из одного кадра сделать «внятное» видео невозможно. Face landmark уже использовался 8 лет назад RE:Flex for AE — Morph with Auto Align and Smart Blend с привязкой по времени youtu.be/gKnaCqHTQvE?t=176
                                                                                      0
                                                                                      Из одного кадра сделать «внятное» видео невозможно.

                                                                                      Если художнику показать картину, сможет ли он нарисовать то же лицо, но с другого ракурса?


                                                                                      Это вполне решаемая задача, хоть и сложная. Если сложность в том, чтобы восстановить невидимые части портрета, так это не такая большая проблема. Если мы видим человека в профиль, то можно предположить, что на невидимой стороне есть ухо, щека, глаз и т. д. Мы можем ошибиться, конечно. Но тут задача не в том, чтоб восстановить информацию, которой нет, а в том, чтобы создать правдоподобное изображение.


                                                                                      Да, пока что в синтезированных изображениях нет абсолютной достоверности и фотореализма. Но прогресс в этой области значительный.


                                                                                      Или, может, вы имели в виду другие причины, которые делают решение невозможным?


                                                                                      Face landmark уже использовался 8 лет назад RE:Flex for AE — Morph with Auto Align and Smart Blend с привязкой по времени youtu.be/gKnaCqHTQvE?t=176

                                                                                      Это совершенно другая технология, более ограниченная, решающая похожую задачу.

                                                                                        0
                                                                                        Спасибо за обстоятельный ответ. Возникает вопрос — Зачем исследовать/создавать «невнятное» или как Вы выразились, правдоподобное изображение? Какой руководитель, ставит такие задачи, имея огромные вычислительные и человеческие ресурсы? Если, Вам нужно исследовать искусственный интеллект создайте сначала модель человеческого интеллекта. С надеждой на понимание.
                                                                                          0

                                                                                          Так задача же не в исследовании интеллекта. Когда журналисты пишут «ИИ», обычно ИИ (для зануд добавлю — сильного ИИ) и рядом нет. Это задача цифровой обработки изображений.


                                                                                          А применений много — кинематограф или компьютерные игры, например. Или как вспомогательный инструмент для обучения других сетей.

                                                                                            0
                                                                                            Желаю Вам удачи и душевного и материального благополучия.

                                                                                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                    Самое читаемое