Эмоции актеру не нужны? В Disney научились корректировать выражение лица человека на видео

[Quiensabe]

Программа не может «усиливать или менять эмоции актера». Она просто позволяет синхронизировать два видео с разными эмоциями, а потом при помощи морфинга получить «что-то среднее». Добавить какие-то эмоции в видео нельзя, программа вообще «не знает», что такое эмоции и как они выражаются.

По сути все это давно было, видеоморфинг применяется много лет. Только раньше подгонять его нужно было вручную, а тут все делается автоматом (вероятно). При этом время подгоняется по аудиодорожке, что конечно удобно, но при сильно различных эмоциях появляются артефакты (заметны в видео). А трекинг точек лица видимо автоматизирован, это конечно удобно.

Если выпустят программу для людей — будет удобный рабочий инструмент, позволяющий сильно ускорить некоторые процессы. Так что ребята молодцы конечно. Но революцией тут не пахнет, увы.

[ramntry]

помощи морфинга получить «что-то среднее»

угу, с произвольной кривой долей двух видеопотоков.

[ozonar]

Ну, например актриса в какой-либо сцене не доиграла, а выяснилось это только на этапе постпродакшена. Её снимают ещё раз с того же ракурса, а после микшируют оригинальный заснятый материал и конкретно её видеозапись.

Таким образом эмоция актёра меняется, не?

[MTonly]

быть может, эти представители мира кино просто что-то знают о будущем кинематографа

В будущем актёров, вероятно, вообще не будет, вместо них будет фотореалистичная трёхмерная графика, а актёры будут использоваться лишь для захвата некоторых движений (motion capture), и то — только на первых порах.

[rPman]

Полагаю уже сейчас фильмы 'в одной комнате', когда все действие происходит в статичном пространстве помещения и основа сценария — болтовня, можно генерировать чуть ли не по тексту книг :)

[esc]

Уже сейчас? Вы хоть голос с эмоциями сгенерить попробуйте;)

[rPman]

Синтезаторы речи, даже те что доступны бесплатно (тот же google который идет с android offline) позволяют синтезировать текст, в т.ч. с некоторой эмоциональной окраской (управление конечно на низком уровне тут задержка, тут тембр поменять), в какой то демошке русского голоса видел даже готовую реализацию (xml в тексте) правда как и все русскоговорящие синтезаторы не на лучшем уровне.

[esc]

На полном серьезе готовы сравнивать эти синтезаторы с игрой актеров? То, что они чуть лучше microsoft sam, не означает, что у человека хотя бы нет дискомфорта при из прослушивании, не говоря уже об эмоциональной игре.

До того, что вы говорите (генерация фильма по тексту книги) сейчас бесконечно далеко. И пока нет предпосылок, что эту задачу в принципе получится решить (чтобы предпосылки появились, надо чтобы ИИ научился понимать смысл текста и суть человеческих эмоций).

[rPman]

Я не хотел чтобы обсуждение двигалось в направлении 'полностью автоматической генерации', а только с позиции — возможности генерировать дешевле, чем нанять актеров, поэтому и написал 'чуть ли не'.

Уже сейчас тело и голову в эпизодах спокойно заменяют компьютерной графикой и motion caption какого-нибудь noname актера. Чем хуже будет являться подмена голоса точно так же или близко по смыслу? Когда на основе одного голоса программно подменяем подкручиваем необходимые параметры? Там оператор ручками подкрутил параметры синтеза, тут надиктовал пару предложений сам,…

[esc]

Полагаю уже сейчас фильмы 'в одной комнате', когда все действие происходит в статичном пространстве помещения и основа сценария — болтовня, можно генерировать чуть ли не по тексту книг :)

Немного отличается от того, что вы утверждаете сейчас.

[beliakov]

Пусть даже не пробуют провернуть этот трюк с Чаком. Чак настолько крутой актер, что способен испытывать все эмоции одновременно.

[zim32]

Заголовок не соответствует видео. Как я понял программа лишь позволяет подкорректировать часть неудачной реплики персонажа используя его удачный дубль, делая это незаметно для смотрящего.