Как стать автором
Обновить

ИИ обучили выполнять 3D-захват движения с помощью любой камеры

Работа с видео *Работа с 3D-графикой *Алгоритмы *Разработка под AR и VR *Искусственный интеллект
image

Исследователи из Института Макса Планка и Facebook Reality Labs утверждают, что они разработали алгоритм машинного обучения — PhysCap — для 3D-захвата движения. Алгоритм работает с любой зеркальной камерой, скорость съемки которой составляет 25 кадров в секунду.

Как утверждают исследователи, PhysCap осуществляет качественный захват движения с учетом всех физических показателей. До этого попытки создать систему motion capture варьировались от костюма стоимостью $2500 до платформы, которая использует глубинный сенсор Kinect от Microsoft. Однако даже лучшие системы оценки позы человека не позволяют создать плавную анимацию.

image

PhysCap же захватывает физически и анатомически правильные позы. Алгоритм оценивает 3D-позы тела кинематическим способом с помощью сверточной нейронной сети. На втором этапе положение тела и состояние движения для каждого кадра видео предсказывает другая сверточная сеть. На заключительном этапе оценки поза воспроизводятся как можно точнее, чтобы учесть такие вещи, как гравитация, размещение ног и другие факторы.


В ходе эксперимента исследователи протестировали PhysCap на камере Sony DSC-RX0 и ПК с 32 ГБ оперативной памяти, видеокартой GeForce RTX 2070 и восьмиядерным процессором Ryzen7, который они использовали для захвата и обработки шести последовательностей движения в сценах, разыгрываемых двумя исполнителями. Команда обнаружила, что PhysCap хорошо работает на сценах с разным фоном, но иногда неправильно интерпретирует скорость движения ног.

Чтобы устранить эти барьеры в работе, команда планирует исследовать модели взаимодействия рук и ног человека в сидячей и полулежачей позах. Исследователи говорят, что PhysCap подходит для анимации виртуальных персонажей без какой-либо дальнейшей постобработки.
См. также: «Разница между фальшивыми и истинными смещениями в 3D-графике
Теги: 3d-графикаmotion captureалгоритмы
Хабы: Работа с видео Работа с 3D-графикой Алгоритмы Разработка под AR и VR Искусственный интеллект
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 3
Комментарии Комментарии 3

Похожие публикации

Лучшие публикации за сутки