Как стать автором
Обновить

ИИ научился создавать видео с одного кадра. Старые картины теперь можно сделать живыми

Время на прочтение2 мин
Количество просмотров53K
Всего голосов 65: ↑63 и ↓2+61
Комментарии91

Комментарии 91

НЛО прилетело и опубликовало эту надпись здесь
Как минимум вижу очевидное применение в кино, чтобы «оживлять» умерших актёров. Или омолодить постаревших. Учитывая, что для алгоритма нужно мало данных — результаты впечатляют.
Довольно скоро можно будет создавать мультфильмы, анимируя каждого персонажа из одного-единственного рисунка.
А еще позже, рендер фильма по тексту книги.
А потом игры будут прогаться по сценарию :)
Я уже давно и много мечтаю об этом. Но тут есть проблема: вы откроете фильм, а там персонаж выглядит совсем не так, как вы представляли. И вообще у него усы (ну а что, автор же не говорил, что усов нет, а сети показалось, что они тут логичны).
Так что рисовать персонажей руками и анимировать затем их — гораздо лучше.
Зато можно будет генерировать N вариантов фильма по тому же сюжету.
И будет рейтинг не только фильмов, а его вариантов.
Проголосуете за вариант без усов :)
ну а что, автор же не говорил, что усов нет, а сети показалось, что они тут логичны

Намекаете на штаны Арагона?


А если серьёзно, то такое и с обычными фильмами, снятыми людьми, сплошь и рядом бывает.

С современным софтом уже сейчас видеоряд не слишком сложного мультфильма целиком может быть сделан одним человеком за приемлемое время.
Проблема в звуке. Качественный звук невозможно получить в домашних условиях, особенно если нужно голосов пять разных персонажей — тут нужна студия. С созданием звука всё весьма тухло, равно как и с синтезом речи, тут даже нейросети не очень-то помогают. А уж синтез русскоязычной речи, пригодной для озвучки героев мульфильма, при нашей жизни совершенно точно не будет освоен.
А уж синтез русскоязычной речи, пригодной для озвучки героев мульфильма, при нашей жизни совершенно точно не будет освоен.
не верю!
Я бы, например, с радостью «оживил» своих родственников, от которых только фотографии остались и которых я даже не видел вживую.
НЛО прилетело и опубликовало эту надпись здесь
лучше, чем ничего)
Ну, в данном случае, я вижу Мону Лизу, анимированную с маннеризмом кудере. Выглядит как химера. Вы точно хотите такого для ваших родственников? В отношении уже умерших, это по-моему уже какая-то форма некрофилии.
Кудере? Господи, зачем это здесь?
По аватарке не понятно? )) И да, пришлось гуглить!
Мне тоже пришлось загуглить. Крайне-крайне специфическая информация, чтобы предполагать, что она достаточно очевидна, для референции в комментарии.
Нужна статья на Хабре, чтоб можно было просто дать одну ссылку на любой случай)
Со временем качество будет становиться всё лучше и лучше.
Речь даже не о качестве, а об отсутствии информации, которую невозможно восстановить, только подменить другой.

Вы увидите человека в маске указанной фото, с мимикой и движениями другого человека а не того что на фото.
А, так-то да, не спорю. Но, весьма вероятно, в будущем можно будет вбухивать туда сразу много разных кадров или куски видео. С умершим 100 лет назад предком, от которого одно фото, положим, так не получится, но большинство остальных реквестов вполне.
Вы увидите человека в маске указанной фото, с мимикой и движениями другого человека а не того что на фото.
Ну, память штука такая, вы все равно не помните человека каким он был. Большая ли разница будет от того что на картинке он будет еще немного другим? То есть понятно что для кого-то это будет прямо сразу нет, но для большинства я думаю будет вполне нормально. Суть же будет не в том чтобы узнать человека после того как он умер, суть в том, чтобы его вспоминать и уменьшить боль от утраты — тут уже абсолютная точность не так уж и важна. В конце концов сейчас людям и просто фотографии хватает.
Большая ли разница будет от того что на картинке он будет еще немного другим?
Личное дело каждого, конечно. Но для кого-то это очень даже большая разница. Возникает, можно сказать, вопрос об уважении к мертвым. Хотя некоторые, удивительно, и кремирования не допускают. Но. Надо еще понимать как это оживление происходит. Вспоминается 'Отчего это у вас шрам на лбу, потрудитесь объяснить этой даме.' И отношение 'большинства' как-то сразу меняется.
Кто в курсе, по одному изображению, при условии что мы знаем что на изображении представлено лицо, нельзя составить его трехмерную модель? Я почти уверен что можно. Недостающие полигоны генерируем на основе полученных. И все выйдет в сто раз реалистичней, и полностью управляемо.

Но с усопшими, по крайней мере со своими родными, я бы так точно делать не стал. Жутко как то.
В прошлом году на конференции Яндекса Николай Чинаев из VisionLabs делал доклад по этой теме


В этом году на YAC, риггинг и мокап тела по видео представили
Скоро у каждой второй бабки в смартфоне будет анимированный давно почивший дедка. Советы будет ей давать, «ну ты старая, таво, не тужи», успокаивать.
«Кладбище домашних животных» ещё вспомнилось.

«Чёрное зеркало», первая серия второго сезона.

Как зачем?!
В исторических фильмах должны быть достоверные лица исторических лиц!
image
А не левые рожи актёров!
image
Картины в музеях? Дикторы нарисованные для всяких обучающих программ или даже новостей? Анимация, мультики? Просто по приколу?)
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Вы о чём? Тут вон Хабр не может простую технологию проверки на дубликат реализовать, а вы как далеко замахнулись.

Человек, похожий на прокурора будет вытворять куда более жуткие вещи. И либо это можно быть фейком, либо преступник будет прикрываться тем, что есть технологии, которые могут реалистично что-то нарисовать и он невиновен.

Рынок давно ждет относительно надежные камеры с цифровой подписью, технически это реально сделать (чтобы взлом был относительно дорогим удовольствием) но потребует как минимум новых стандартов для этого.

Не защитит от манипуляций но сделает их значительно дороже

А ещё он сможет нарисовать своё лицо поверх себя, чтобы все признаки фейка были, а сделал всё равно сам

Если он похож на прокурора, то суд все такие видео сразу же признает фейком, не надо даже париться с прорисовкой. Если же он похож на активиста или известного оппозиционера, то как ни прорисовывай, всё равно любая экспертиза с лёгкостью установит, что видео подлинное, и потому является неопровержимым доказательством.
Порно.

Если не ошибаюсь, как раз порноиндустрия начала первыми в эту сторону копать. Скоро можно будет взять девушку, похожую на Монро, снять видео и заменить ее на Монро.
Еще немного продвинется, чтоб результат был более качественный — и это уже можно использовать.

Дальше — больше. Допустим, можно такую идею придумать — каталог заготовленных видео и каталог заготовленных селебрити. И сам выбирай, кто и как будет сегодня тебя развлекать.
Ну а когда сеть реально сможет обучаться по нескольким фото, и результат будет не совсем вырвиглазным — то будет тебе каталог видео и возможность загружать любых девушек. Думаю, школьники не поскупятся, чтоб увидеть старшеклассниц in action.

И, кстати, с точки зрения бизнеса очень удобно — обучение и рендер на удаленном сервере, никакого пиратства.
Первое уже практикуют. Где-то видел новость о скандале вокруг видео «с участием» актрис из нашумевшего сериала.
Увидел КДПВ — 4 разных человека, а вот Мона Лиза уже неплохо…
Только страшная.
Симпатичная евреечка.
похожа на похудевшего Путина
Следующий шаг — прикрутить тот ИИ, который делает upscale. И добро пожаловать в Зловещую Долину)
Алгоритм «натягивания» фото на живого актера выглядит намного круче.


Но тем не менее DeepFake для работы нужно два здоровых датасета, а алгоритму из статьи лицо «донора» сгодится даже в количестве 1 фотка.

"Из одного кадра", простите. "С одного", это звучит как "с Ростова"

ИМХО это отсылка к «Я угадаю эту мелодию с восьми нот»
Т.е. он делает видео не из этого фото, а на основе всего лишь одного фото.
КМК предлог «с» тут вполне применим с учетом смысла
Вот как в Хогвартсе оно работало…
Не так. Там еще и беседовать с портретами можно было по тем вопросам что знал оригинал. До этого пока еще далеко.
Да ну, это как раз совсем не сложно — нужно только загрузить информацию которой фото может делиться. Разве что лицевая мимика скорее всего пока что будет отставать, но это скорее инженерный сейчас вопрос. Игровым персонажам же научились делать лица которые выглядят правдоподобно, да еще и губы правильно шевелятся при разговоре. Берем такого персонажа с правильными фразами, обучаем на нем описанную сеть — и готово. Ничего непреодолимого уже и не осталось в общем-то. А если еще и изначально брать не персонажа, а специально подготовленную болванку с ключевыми точками, то вообще никаких проблем не должно быть.

С портретами — да. А вот с живыми газетными снимками, насколько я помню, нет.

не только оригинал: во второй, кажется, части, когда разгромили спальню гриффиндора, у дамы с портрета спрашивали что случилось
Портреты в той вселенной сильно отличались от живых фотографий, там фактически своя разумная сущность сидела, которая, например, вполне могла из портрета уйти к соседу пообщаться. Я кстати не помню чтобы там именно с фотографиями разговаривали, мне кажется это опять же про портреты было.
С Моной Лизой можно любую дичь втирать — никто не проверит. А вот как выглядела Мерлин Монро все прекрасно представляют. Так что совершенно очевидно что результат работы сети даже близко не похож на то, что должно быть.
НЛО прилетело и опубликовало эту надпись здесь

Нет, там не «натягивают» изображение на скелет, а сразу генерируют портрет. Просто объяснение в статье написано как для домохозяек. Лучше оригинальную статью от авторов посмотрите.

Несчастную приклеили волосами к стенке так, что временами при разговоре кожа с черепа натягивается. Впрочем, в документальном фильме "Люди в чёрном" была объяснена причина столь непохожей на землян мимике.
А М.Л. на первом "фото" выглядит страдающей — "Ну сколько можно меня использовать для демонстрации ваших ужасных алгоритмов".

Бильбо одозначно с Леонова рисовали.
Там в принципе интересная ситуация. Художник (Михаил Беломлинский) действительно рисовал Бильбо с Леонова, но сделал это, как сейчас говорят, без разрешения правообладателя (самого Леонова). Причем это случилось как раз в момент, когда вся эта тема массово обсуждалась в печати, и даже сам Никулин писал о том, что его образ используют в куклах, пародиях.
Все благополучно разрешилось по факту — Беломлинский и Леонов встретились на каком-то мероприятии, где художник показал книгу с иллюстрациями. Леонову они очень понравились и вопрос можно было считать исчерпанным.
В начале видео Леонов сам рассказывает об этой ситуации.
НЛО прилетело и опубликовало эту надпись здесь
Телеспектакль это всё-же не игровой фильм =)
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
с эстетической точки зрения ожившие картинки выглядят чудовищно… с технической это очень круто

ну и вообще надо оживлять не шедевры живописи а фотографии реальных людей и сравнивать реальную мимику и то что нейросети нарисовали.
НЛО прилетело и опубликовало эту надпись здесь
Чуть ли не в двухтысячных имел дистриб шароварной проги, которая не то что лица – вообще любое изображение анимировала на мимику. Единственно что нужно было ткнуть вручную мышью «тут глаза, тут рот».
Результат был сравнимый.
Подозреваю, речь о «Reallusion CrazyTalk». Живы до сих пор и неплохо развились.
Оно, спасибо.
Интересно, какие там у них были нейросети в двухтысячных.

В начале двухтысячных — скорее всего, никакие.

Результат был сравнимый.

Это совершенно разные задачи. Я посмотрел видео про эту программу. Насколько я понял, это просто натягивание фото на 3D-модель как текстуры.


Здесь же совершенно другое. Вы ничего не натягиваете. Показываете фото, а сеть его трансформирует в соответствии с ключевыми точками лица. Вы не задаёте 3D-модель, вы не выполняете привязку точек, это полностью end-to-end решение в виде одной модели. Более того, модель дорисовывает части изображения, которые не были видны. Например, зубы на анимации с Моной Лизой.


Решение, представленное в статье — это не первое решение такого рода, но оно опирается на последние исследования, что позволило добиться высокого качества результата.

Нет, задача ровно та же: анимировать изображение таким образом, чтобы движение было похоже на человеческую мимику.
Раньше для этого нужен был оператор (минимально), теперь задача выполняется полностью автоматически.
Но для меня, честно говоря, вопрос, зачем нужна полная автоматизация этой задачи. Ну, кроме «потому что могли» и очередной снапчат. Было бы здорово, например, анимировать выставки – детям могло бы быть интереснее; но оператор понадобится всё равно. И как-то больше видится массовая генерация фейков, и это печально.
Ну и качество, ИМХО, таки сравнимое. Прорыва нет.

Если глобально смотреть как на задачу анимации, то да. Но у этих задач разные входные данных, я об этом. Раньше кроме фото требовалась модель, привязка и не было возможности дорисовывать то, что не видно. Сейчас хватает только фото.

картины какие страшные стали вдруг image
Так, если ИИ берет ракурсы знаменитостей в сети, потом их анимирует и выкладывает в сеть, потом берет ролики из сети, анимирует и выкладывает, а затем… что же будет через n лет?!
НЛО прилетело и опубликовало эту надпись здесь
Монализа местами на Укупника стала похожа
Теперь фанаты «ГомоТрона», смогут переснять последний сезон сами.
Из одного кадра сделать «внятное» видео невозможно. Face landmark уже использовался 8 лет назад RE:Flex for AE — Morph with Auto Align and Smart Blend с привязкой по времени youtu.be/gKnaCqHTQvE?t=176
Из одного кадра сделать «внятное» видео невозможно.

Если художнику показать картину, сможет ли он нарисовать то же лицо, но с другого ракурса?


Это вполне решаемая задача, хоть и сложная. Если сложность в том, чтобы восстановить невидимые части портрета, так это не такая большая проблема. Если мы видим человека в профиль, то можно предположить, что на невидимой стороне есть ухо, щека, глаз и т. д. Мы можем ошибиться, конечно. Но тут задача не в том, чтоб восстановить информацию, которой нет, а в том, чтобы создать правдоподобное изображение.


Да, пока что в синтезированных изображениях нет абсолютной достоверности и фотореализма. Но прогресс в этой области значительный.


Или, может, вы имели в виду другие причины, которые делают решение невозможным?


Face landmark уже использовался 8 лет назад RE:Flex for AE — Morph with Auto Align and Smart Blend с привязкой по времени youtu.be/gKnaCqHTQvE?t=176

Это совершенно другая технология, более ограниченная, решающая похожую задачу.

Спасибо за обстоятельный ответ. Возникает вопрос — Зачем исследовать/создавать «невнятное» или как Вы выразились, правдоподобное изображение? Какой руководитель, ставит такие задачи, имея огромные вычислительные и человеческие ресурсы? Если, Вам нужно исследовать искусственный интеллект создайте сначала модель человеческого интеллекта. С надеждой на понимание.

Так задача же не в исследовании интеллекта. Когда журналисты пишут «ИИ», обычно ИИ (для зануд добавлю — сильного ИИ) и рядом нет. Это задача цифровой обработки изображений.


А применений много — кинематограф или компьютерные игры, например. Или как вспомогательный инструмент для обучения других сетей.

Желаю Вам удачи и душевного и материального благополучия.
Нейронки нужны, чтобы мемы делать
Зарегистрируйтесь на Хабре, чтобы оставить комментарий