Лично у меня опыт только с готовыми устройствами: WiiMote, WiiMotionPlus, Sony Move. Когда изучал как обрабатывать данные с датчиков, натыкался на большое количество статей и видео, где народ собирает сам. Но это всё были западные случаи. На сколько легко купить комплектующие у нас — не знаю.
То, о чем Вы пишите, обычно делают не при помощи датчиков, а при помощи обработки видео. Это широкоизвестная задача восстановления движения камеры по видео, снятому этой камерой. Большинство голливудских спецэффектов делается именно так. Про это кратко написано в разделе «True Optical: one moving camera» части 3.
Это стенограмма, т.е. текс, записанный по видео доклада. Значит такая бедная и примитивная у меня речь… Стас, писавший стенограмму, и так говорит, что 90% слов-паразитов («ну», «вот» и т.п.) убрал. Дальше решили не причесывать, чтобы было похоже на запись живого выступления. Поэтому некоторые несуразности остались.
Понял. Спасибо за дельное замечание. Отказался от горизонтальных таблиц с картинками (делал для компактности материала) в пользу вертикального расположения. Теперь должно быть приемлемо во всех браузерах и разрешениях.
Можно подумать, что у «не-программистов» жизнь содержательнее:
«Меня втолкнут в крохотную клетушку с компьютерным терминалом. На экране будут два графика – «USD/EUR» и «EUR/USD» – такие же, как на форексе. По бокам от монитора будут лежать две банкноты, подаренные мне правительствами США и Объединенной Европы – сто долларов и сто евро. Мои деньги. Я сяду за терминал («все садятся сами», сказал следователь), – а дальше начнется моя вечная мука.
Когда вверх пойдет доллар, я буду глядеть на «EUR/USD» и страшно кричать, видя, как падают в цене мои евро. А когда вверх пойдет евро, я будут глядеть на «USD/EUR» и страшно кричать, видя, как падают в цене мои доллары. Я буду глядеть то налево, то направо, и все время кричать.»
Действительно, в отличие от ZCam, Kinect не использует принцип time-of-light, а базируется всё на той же доброй стереометрии, только вместо двух камер используется источник структурированной подсветки и камера. Поэтому в нем три «дырки» :) А именно: источник структурированной подсветки в ИК-диапазоне, видеокамера (чтобы давать обычную RGB-картинку) и ИК-сенсор (чтобы определять положение пятен подсветки).
Кстати, как это не странно, но даже не смотря на такой подход народ умудряется использовать несколько Kinect-ов сразу. Казалось бы, они должны между собой интерферировать, но на самом деле это проявляется не так уж и сильно: http://www.youtube.com/watch?v=5-w7UXCAUJE
P.S. На этой wiki-страничке можно найти самые разнообразные и интересные видео по тому, что народ делает при помощи Kinect: http://openkinect.org/wiki/Gallery
В формуле оконного преобразования Фурье опечатки: должно быть везде тау вместо x, раз уж интегрирование идет по тау, т.е. f(x) -> f(tau) и exp(-i*x*w) -> exp(-i*tau*w).
К сожалению, даже маркерный Full Body MoCap пока не дорос до того, чтобы отследить состояние отдельных мышц (например, напряжен бицепс или нет). Это сейчас делают только для лица, но это отдельный софт (я о нем написал ниже в комментариях).
Безусловно в результате переноса может получиться неправдападобный результат: например, борец сумо, бегающий как спринтер. Поэтому желательно, чтобы актер и 3d-модель персонажа были сопоставимых комплекций. Но в кино, играх, 3d-мультфильмах, это, действительно далеко не всегда соблюдается.
Всё же это вспомогательная технология, которая не призвана заменить актеров, а призвана облегчить труд 3d-аниматоров. Это как результат цифровой фотографии да еще обработанной в PhotoShop-е сравнивать с картиной художника…
На выходе маркерных систем захвата движений ровно те же самые данные, а именно анимация скелета (положение в пространстве центральной кости и углы вращения всех остальных). Здесь нет никакой разницы используются ли маркеры или нет.
Что же касается скульптур, то это вопрос модели персонажа, к которой будет применена анимация. Модели делают совсем в других программных продуктах. Так что аналогия со скульптурами не совсем корректна — скульптуры статичны, а в MoCap-е вся соль в передаче реалистичности движения, т.е. динамики.
Могу подвинуться, если надо :) Программный комитет все еще в поисках новых талантов. Так что давайте больше заявок с интересными докладами — тогда и я смогу послушать кого-нить кроме себя…
Хорошая демка возможностей Kinekt. Именно её до этого я не видел. Спасибо за наводку!
У Kinekt-а есть свои ограничения: во-первых, он ориентирован на распознавание, так сказать, трехмерных жестов для игр, а не на точный захват движений во всех подробностях и тонкостях; во-вторых, у него очень маленький Capture Volume (объем, в котором актер может двигаться), так что, чтобы снять ходьбу или бег, придется использовать соответствующий тренажер; в-третьих, пока это всё исключительно для игр и до конца не понятно, можно ли это будет приспособить для задач более широкого круга. При этом всем у него масса достоинств, включая невысокую цену и исключительную простоту использования.
В любом случае, эта Kinekt только в плюс индустрии Motion Capture, так как и популяризирует её, и наглядно показывает, что это может быть доступно почти всем. А то сейчас очень тяжело пробить стереотип, что MoCap — это очень дорого и геморройно, так как до этого были только дорогие решения типа Vicon, где цена стартует с 60 тыс. долларов.
Возвращаясь к вопросу :) В iPi DMC тоже можно отслеживать нескольких актеров, если они не в тесном контакте друг с другом. Т.е. бальные танцы — нет, а бесконтактный спаринг — да.
Действительно, распознавание движений производится на основе «встроенного» в программу скелета (приближенного к анатомическому, но с некоторыми упрощениями). Дальше можно загрузить другой скелет (человекоподобный, т.е. с двумя ногами, двумя руками) — будет выполнен автоматический перенос движений (motion transfer) со скелета на скелет, так что результирующая анимация будет уже с требуемым вам персонажем и его пропорциями.
На данный момент с мимикой никак. Мы планируем её сделать, но в виде отдельного софта и не раньше чем через год. Все дело в том, что разрешения камер не хватает, чтобы выполнить и захват движения всего тела, и различить мимику актера. Как правило, используют дополнительные камеры, вывешенные на кранштейне перед лицом актера: как при съемках Аватара.
В прошлом году было бесплатно. Есть видео и презентации: например, в этом отчете. Есть надежда, что в этом году тоже получится организовать видео-съемку.
То, о чем Вы пишите, обычно делают не при помощи датчиков, а при помощи обработки видео. Это широкоизвестная задача восстановления движения камеры по видео, снятому этой камерой. Большинство голливудских спецэффектов делается именно так. Про это кратко написано в разделе «True Optical: one moving camera» части 3.
«Меня втолкнут в крохотную клетушку с компьютерным терминалом. На экране будут два графика – «USD/EUR» и «EUR/USD» – такие же, как на форексе. По бокам от монитора будут лежать две банкноты, подаренные мне правительствами США и Объединенной Европы – сто долларов и сто евро. Мои деньги. Я сяду за терминал («все садятся сами», сказал следователь), – а дальше начнется моя вечная мука.
Когда вверх пойдет доллар, я буду глядеть на «EUR/USD» и страшно кричать, видя, как падают в цене мои евро. А когда вверх пойдет евро, я будут глядеть на «USD/EUR» и страшно кричать, видя, как падают в цене мои доллары. Я буду глядеть то налево, то направо, и все время кричать.»
© Пелевин
Вот на этом видео хороша видна структура ИК-подсветки: http://www.youtube.com/watch?v=nvvQJxgykcU
Дальше работает триангуляция и ровно из-за этого на карте глубины образуются своеобразные «тени»: http://media.zero997.com/kinect_shadow.pdf
Кстати, как это не странно, но даже не смотря на такой подход народ умудряется использовать несколько Kinect-ов сразу. Казалось бы, они должны между собой интерферировать, но на самом деле это проявляется не так уж и сильно: http://www.youtube.com/watch?v=5-w7UXCAUJE
P.S. На этой wiki-страничке можно найти самые разнообразные и интересные видео по тому, что народ делает при помощи Kinect: http://openkinect.org/wiki/Gallery
Всё же это вспомогательная технология, которая не призвана заменить актеров, а призвана облегчить труд 3d-аниматоров. Это как результат цифровой фотографии да еще обработанной в PhotoShop-е сравнивать с картиной художника…
Что же касается скульптур, то это вопрос модели персонажа, к которой будет применена анимация. Модели делают совсем в других программных продуктах. Так что аналогия со скульптурами не совсем корректна — скульптуры статичны, а в MoCap-е вся соль в передаче реалистичности движения, т.е. динамики.
У Kinekt-а есть свои ограничения: во-первых, он ориентирован на распознавание, так сказать, трехмерных жестов для игр, а не на точный захват движений во всех подробностях и тонкостях; во-вторых, у него очень маленький Capture Volume (объем, в котором актер может двигаться), так что, чтобы снять ходьбу или бег, придется использовать соответствующий тренажер; в-третьих, пока это всё исключительно для игр и до конца не понятно, можно ли это будет приспособить для задач более широкого круга. При этом всем у него масса достоинств, включая невысокую цену и исключительную простоту использования.
В любом случае, эта Kinekt только в плюс индустрии Motion Capture, так как и популяризирует её, и наглядно показывает, что это может быть доступно почти всем. А то сейчас очень тяжело пробить стереотип, что MoCap — это очень дорого и геморройно, так как до этого были только дорогие решения типа Vicon, где цена стартует с 60 тыс. долларов.
Возвращаясь к вопросу :) В iPi DMC тоже можно отслеживать нескольких актеров, если они не в тесном контакте друг с другом. Т.е. бальные танцы — нет, а бесконтактный спаринг — да.
Если кому прямо сейчас нужен безмаркерный захват лицевой анимации, то советуем посмотреть в сторону Di-O-Matic Maskarad и Image Metrics Faceware.