Перед одной из команд — создателей магического шоу мирового уровня — компанией Клипс Медиа Групп была поставлена задача создать больших аватаров, которые бы повторяли движения актеров на сцене. Для этого нужно было заснять движения актеров (или по-другому замокапить – от англ. — motion capture), как это делают в фильмах, и далее передать аниматору, который нарисует 3D персонажей и заставит их повторять движениях актеров. В этой давно известной и, казалось бы, понятной задаче было одно НО, и это – условия в которых должен был осуществляться захват движений… Только представьте: Ночь. Съемочный павильон.
Предфинальная репетиция. Тонны света и работающей аппаратуры + сцена трансформер + параллельные (одновременные!) репетиции танцевальных, музыкальных, иллюзионных групп.
И среди всего этого потока аппаратуры и людей нужно было заснять движения главных героев шоу, которые перемещались не только в плоскости, но еще и парили над сценой!
Для решения такой нетривиальной мокапной задачи использование стандартной оптической системы захвата движений оказалось невозможным в связи со съемочными условиями: световая аппаратура, дым, сцена трансформер, ограничения по срокам разворачивания системы в съёмочном павильоне. Использование инерциальных систем захвата тоже оказались под вопросом: сложные сценические костюмы героев, большое количество работающей аппаратуры и металлических конструкций, дрейф нуля (который еще более заметен если мокапиться более 1 актера).
Если не подходят стандартные решения – значит нужно искать не стандартные и конечно же инновационные решения – ведь шоу использует передовые технологии для наиболее полного погружения зрителя в магическую обстановку шоу «ДОЗОР» [1]!
И вот, вызов приняла наша команда СКМ Трекинг!
Немного о нас
«Ты помнишь, как все начиналось…»
Студенты Надежда Куковякина и Дмитрий Царегородцев с кафедры Радиотехнических систем НИУ «МЭИ» под началом научного руководителя к.т.н. Романа Сергеевича Куликова решили создать инновационный проект СКМ Трекинг. В этом проекте удачно совмещаются наше профильное образование, мировой растущий тренд технологий виртуальной реальности и удачная рыночная ниша. Запасные направления: спортивная телематика, промышленная безопасность персонала, медицинская реабилитация.
В основу проекта легли студенческие научные работы. Нам повезло попасть в нашу первую акселерационную программу «Касперский Старт», где мы узнали, как искать клиентов, проводить с ними интервью, тестировать гипотезы о продукте, формировать бизнес-план и финансовую модель. Кроме того, за время акселерации мы доделали ранний прототип и подтвердили у потенциальных клиентов (не только российских) что наша система нужна рынку. Еще более воодушевленные идеей создания системы захвата движений мы продолжили работу над проектом: получили грант программы УМНИК (Фонд содействия инновациям), привлекли инвестиции в рамках акселерационной программы с французскими корнями NUMA Moscow (ныне Winno Moscow), которые позволили получить поддержку Moscow Seed Fund. На полученные средства мы закупили лучшую элементную базу и разработали минимально жизнеспособный продукт, провели оплаченные пилотные проекты и посетили ряд отраслевых мероприятий в России и за рубежом. Помимо инвестиций и грантов финансовую поддержку мы получили, участвуя в конкурсах проектов, таких как «Инновационная Радиоэлектроника» (ЦНИИ Электроника) и «Первая китайско-российская премия индустриальных инноваций».
Сейчас в команде СКМ Трекинг 5 человек. Достижения: минимально жизнеспособный продукт, пилотное тестирование с анимационной студией, первая продажа в рамках шоу «ДОЗОР. True Magic Show», первые инвестиции, в октябре этого года стали резидентами Сколково.
Немного о нашей системе
Так почему же все-таки мы? Все дело в нашей системе захвата движений.
Наша гибридная система захвата движений состоит из аппаратной части – радио-инерциальных модулей и ПО — алгоритмы комплексной фильтрации на базе моделей движения (глубокая математика).
За счет того, что наша система основана на нетрадиционных для мокапа радио датчиках да еще и с добавлением инерциальных модулей мы смогли справиться с экстремальными условиями, в которых нужно было захватить движения. С помощью радио мы получаем координаты/траекторию, а инерциалка отвечает за углы поворота (rotation). Программное обеспечение позволяет повысить точность «сырых» данных системы, что и позволяет использовать ее для захвата движений.
Как мы это делали
Для начала мы провели у себя на полигоне тесты: имитировали движения боксеров и импортировали данные о движении с системы в среду для анимации (это была Maya Autodesk). Этот тест позволил убедиться нашим заказчикам — Клипс Медиа Групп (и нам, конечно) что мы готовы принять мокапный шоу вызов. После того как мы договорились о деталях работы и «пожали руки» началось самое интересное.
Мы попали в сказку, а именно в павильон, где происходили репетиции шоу!
Теплый майский вечер… Мы собрали себя, систему, зарядили аккумуляторы и поехали в съемочный павильон. Нас встретила команда компании Клипс Медиа Групп, одной из задач которой был тот самый мокап. Нас привели в павильон, ввели в курс дела, рассказали, где и когда можно расположить систему, познакомили с актерами. Звучит это возможно не так сказочно, как это было для нас. Но на всем протяжении вечера и немного ночи, которую мы находились на бэкстейдже шоу с наших лиц не сходили улыбки, мы с жадностью наблюдали за процессом, делились впечатлениями и не могли поверить, что оказались «по ту сторону экрана».
Итак, вернемся к нашему захвату. Нам обозначили точки, где можно было расположить стойки с якорями — неподвижные модули, которые располагаются по периметру рабочей зоны и относительно которых определяют свое положение маркеры – модули, которые крепятся на актера.
Так как актеры должна были летать над сценой мы «нарастили» 2х метровые штативы таким обзором, что высота расположения якорей оказалась около 4 метров. Стойки в количестве 4 штук разместили по углам прямоугольника, внутри которого производился захват. Протестировали работу системы – девчонки взяли модули в руки и прошлись по «рабочей зоне» и за ее пределами.
Дело в том, что в отличии от камер «угол обзора» наших модулей (диаграмма направленности радиоантенны) практически 360 градусов, а это значит, что слежение за маркерами продолжается даже за пределами рабочей зоны.
Когда все было настроено (с учетом наших открытых ртов и завороженных взглядов на параллельно идущие репетиции — прошло минут 40) мы получили разрешение размещать на актеров наши маркеры. Актеры отрабатывали движения сразу в сценических костюмах. Казалось бы, костюмы должны внести некоторые сложности для расположения маркеров, но для нас они оказались очень удачными! Модули мы закрепили аккуратно малярным скотчем (скотч – наше всё!), а аккумуляторы отлично разместились в «кармашках», которые образовались в конструкции костюма. Далее актеры отыгрывали сцену боя, а наша система ловила их движения.
После того как все необходимое было отснято мы собрали нашу систему, поблагодарили актеров и команду, которая принимала участие в мокапе, еще немного поглядели на самых стойких участников шоу кто остался в ночи в павильоне и продолжал работу, и счастливые поехали домой.
Дело оставалось за малым – обработать полученные данные с помощью нашего ПО, загрузить их в среду для анимации и отправить аниматору. Аниматор берет полученные данные о движении и волшебным образом заставляет двигаться 3D персонажей подобно тому, как это делают актеры.
Что же видит зритель?
Парящих над сценой светлого и темного мага и огромных аватаров-дублеров высотой порядка 8 метров, которые повторяли их движения. Не забудьте добавить битву светлых и темных армий на самой сцене, музыку и другие спецэффекты (о которых можно написать отдельную статью, а то и не одну).
Подводя итог, это был отличный опыт, который помог нам протестировать нашу систему в реальных условиях, а шоу – решить нетривиальную задачу по захвату движений.
Участие в этом шоу было одним из самых ярких впечатлений уходящего 2019 года для нашей команды!
Ссылки:
