Интересную презентацию подготовили для Европейской конференции по компьютерному зрению (ECCV-2014) исследователи из Вашингтонского университета. Это технология покадровой реконструкции 3D-модели на видео.
Используя видеоролик с YouTube, программа автоматически строит 3D-модели высокой степени детализации для каждого кадра.
Это очень впечатляющий результат, учитывая сложность задачи, ведь мимика человеческого лица очень сложна. Для распознавания эмоций важно видеть точное положение глаз, изгиб бровей, морщинки. Малейшая погрешность в такой 3D-модели сильно бросается в глаза.
Подавляющее большинство других программ для 3D-трекинга и оцифровки лица используют метод плавных модификаций (blend shapes), когда форма объекта изменяется, «перетекая» из одного состояния в другое. У метода плавных деформаций недостаток как раз в потере мелких деталей, которые так важны для восприятия лица. Авторы нового алгоритма отказались от такого подхода.
С другой стороны, хотя в покадровой реконструкции каждая модель существует «отдельно» друг от друга, но при воспроизведении на 30/60 кадрах в секунду результат должен быть более реалистичный, чем в случае с плавной модификацией.
И ещё. В отличие от других подобных технологий, здесь не требуется участие человека в тестовой видеосъёмке. Вместо этого используется большой архив его фотографий в разных условиях освещения и позах, с применением метода оптического потока (3D optical flow). Автор научной работы говорят, что в наше время на каждого человека собран большой архив фотографий.
Программа успешно проявила себя в условиях разной освещённости и на разных выражениях лица.
Работа представлена на Европейской конференции по компьютерному зрению, которая прошла 6-12 сентября в Цюрихе.
Научная статья
Сопровождающий материал
Технологию можно использовать в кинематографе, 3D-печати, компьютерных играх и виртуальной реальности, может быть, для восстановления точного внешнего вида и мимики умершего человека по его фотографиям и видеозаписям.
Ну, а самым непосредственным приложением технологии кажется создание более реалистичных 3D-кинофильмов и анимация мимики персонажей в компьютерных играх.
Используя видеоролик с YouTube, программа автоматически строит 3D-модели высокой степени детализации для каждого кадра.
Это очень впечатляющий результат, учитывая сложность задачи, ведь мимика человеческого лица очень сложна. Для распознавания эмоций важно видеть точное положение глаз, изгиб бровей, морщинки. Малейшая погрешность в такой 3D-модели сильно бросается в глаза.
Подавляющее большинство других программ для 3D-трекинга и оцифровки лица используют метод плавных модификаций (blend shapes), когда форма объекта изменяется, «перетекая» из одного состояния в другое. У метода плавных деформаций недостаток как раз в потере мелких деталей, которые так важны для восприятия лица. Авторы нового алгоритма отказались от такого подхода.
С другой стороны, хотя в покадровой реконструкции каждая модель существует «отдельно» друг от друга, но при воспроизведении на 30/60 кадрах в секунду результат должен быть более реалистичный, чем в случае с плавной модификацией.
И ещё. В отличие от других подобных технологий, здесь не требуется участие человека в тестовой видеосъёмке. Вместо этого используется большой архив его фотографий в разных условиях освещения и позах, с применением метода оптического потока (3D optical flow). Автор научной работы говорят, что в наше время на каждого человека собран большой архив фотографий.
Программа успешно проявила себя в условиях разной освещённости и на разных выражениях лица.
Работа представлена на Европейской конференции по компьютерному зрению, которая прошла 6-12 сентября в Цюрихе.
Научная статья
Сопровождающий материал
Технологию можно использовать в кинематографе, 3D-печати, компьютерных играх и виртуальной реальности, может быть, для восстановления точного внешнего вида и мимики умершего человека по его фотографиям и видеозаписям.
Ну, а самым непосредственным приложением технологии кажется создание более реалистичных 3D-кинофильмов и анимация мимики персонажей в компьютерных играх.
