Pull to refresh

Unreal выпустила приложение для iPhone, которое захватывает мимику лица для Unreal Engine

Development for iOS *AR and VR

Студия Unreal выпустила приложение для iOS, которое считывает лицевую мимику пользователя и анимирует её на персонаже для Unreal Engine в режиме реального времени. Оно получило название Live Link Face; по словам разработчиков, приложение предназначено как для профессиональных съёмок методом motion capture, так и для любительских, например, для стриминга, сообщается на сайте Unreal. 

Читать дальше →
Total votes 7: ↑6 and ↓1 +5
Views 7.4K
Comments 6

ИИ обучили выполнять 3D-захват движения с помощью любой камеры

Working with video *Working with 3D-graphics *Algorithms *Development for AR and VR *Artificial Intelligence
image

Исследователи из Института Макса Планка и Facebook Reality Labs утверждают, что они разработали алгоритм машинного обучения — PhysCap — для 3D-захвата движения. Алгоритм работает с любой зеркальной камерой, скорость съемки которой составляет 25 кадров в секунду.
Total votes 13: ↑13 and ↓0 +13
Views 4.1K
Comments 3

Shoot3D — мокап. Тайна пляшущих человечков

Lumber room
Случайно наткнулся на революционную технологию захвата движения (Motion Capture) которая IMHO является прорывом в будущее. Это технология безмаркерного захвата движения позволяет имея две обычных вебкамеры вводить в компьютер движения человека.
Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views 702
Comments 14

Псевдо сенсорная технология или сам себе дирижер

Lumber room
Сенсорными технологиями уже никого не удивишь.
Совершенно случайно наткнулcя на видео ролик в Youtube: Beta Testing Sensorless Motion Capture Technology.



С помощью технологии захвата движения оператор переносится в 3d среду где ему и предстоит общение с виртуальными, сенсорными музыкальными инструментами. Технология очень схожа с project NATAL от Microsoft.
Читать дальше →
Total votes 14: ↑9 and ↓5 +4
Views 309
Comments 4

Слежение за объектом по его цвету с использованием Aforge.NET

.NET *
Здравствуйте. Частая фраза: «мой первый пост» :). В нем хочу вам рассказать о своем небольшом проекте по отслеживанию объекта по его цвету. Сейчас это имеет довольно широкую область применения, например те же джойстики от Wii и Playstation 3. Основой для работы послужила разработка Андрея Кириллова Aforge.NET – довольно мощная штука для самопальной обработки изображений.
Код не претендует на «истину в последней инстанции», многое было упрощено (в одном месте, в некотором смысле даже допущено дублирование – для быстрого доступа к пикселам я создал свой класс, хотя аналогичные наработки были и в Aforge). Но тем не менее, код работает, отслеживает объект, выдает информацию о местоположении, позволяет динамически вычислять оттенок объекта (на случай изменения освещения).

Для заинтересовавшихся — прошу под кат.
Читать дальше →
Total votes 58: ↑48 and ↓10 +38
Views 20K
Comments 12

Программа конференции Application Developer Days 2010

Self Promo
Application Developer DaysНаконец, произошло то, чего от нас требовали больше месяца — опубликована предварительная программа конференции Application Developer Days 2010! Да, мы были виноваты, но нас частично оправдывает то, что все это время мы приглашали очень интересных и очень занятых людей. Они согласились, мы с радостью докладываем об этом.

Итак, вот некоторые из тех, кто будет выступать на конференции.
Читать дальше →
Total votes 24: ↑20 and ↓4 +16
Views 409
Comments 27

Визуализация эмоций в 3D-играх

Working with 3D-graphics *
image
Компания Rockstar Games, получила всемирную известность благодаря своей серии видео-игр Grand Theft Auto, в которой каждый мог на время очутиться хоть и на виртуальных, но таких близких к реальности, полных насилия улицах. В новом грядущем проекте Rockstar, LA Noire, важную роль будут играть человеческие лица. Австралийские разработчики игры, Team Bondi, использовали передовые технологии захвата изображения лиц и мимики, которые позволили перенести в виртуальное пространство широчайший диапазон тонких эмоций, сыгранных реальными актерами. В большинстве игр до этого момента, такие крупные высокодетализированные планы персонажей использовались лишь в межуровневых видеороликах, специально срежиссированных и демонстрировались для большего погружения в сюжет игры, связывая интерактивные ее части.
Читать дальше →
Total votes 38: ↑36 and ↓2 +34
Views 3.1K
Comments 26

Создаем систему видеонаблюдения с помощью motion

Configuring Linux *
Sandbox
В этой статье я хочу рассказать о настройке и использовании домашней системы слежения. Вы сможете сделать за любой территорией, попадающей в поле зрения вышей веб-камеры, отправлять себе сообщение при обнаружении активности в этой области, делать снимки, транслировать изображение по сети (можно прикрутить авторизацию для доступа видео с вашей веб-камеры и смотреть удаленно, если у вас есть статический ip) вообще что захотите — полный контроль и свобода выбора, что в общем характерно для ос gnu/linux и подобных (в дальнейшем речь пойдет именно о linux).
Читать дальше →
Total votes 58: ↑54 and ↓4 +50
Views 106K
Comments 24

Cascadeur — можно ли заменить каскадеров?

Nekki corporate blog Working with 3D-graphics *
Когда-то казалось, что трюки в кино будут делать без каскадеров и можно будет реализовать практически любые задумки. Но это до сих пор не так. Для компьютерной анимации почти всегда используется захват движений каскадеров с помощью технологии motion capture.

При этом даже в самых продвинутых блокбастерах, чтобы сделать анимацию, превосходящую возможности каскадеров, при съемке motion capture используют тросы, батуты и другие ухищрения. Неужели возможности анимации ограничены этим?

Мы хотим рассказать о Cascadeur — нашей программе для создания 3d-анимации. Главная идея состоит в том, чтобы аниматоры могли учитывать законы физики при работе над анимацией. Физика позволяет делать анимацию реалистичнее без помощи motion capture. В перспективе, если можно обойтись без каскадеров, то можно попытаться их и превзойти — делать движения и трюки, которые не под силу ни одному каскадеру в мире. По крайней мере мы ставим себе такую цель.

image

Читать дальше →
Total votes 70: ↑68 and ↓2 +66
Views 22K
Comments 39

Cascadeur — зачем аниматорам физика?

Nekki corporate blog Working with 3D-graphics *
В предыдущем посте “Cascadeur — можно ли заменить каскадеров?” мы обещали подробнее рассказать про концепцию программы и про инструменты, позволяющие аниматорам создавать физически корректные движения персонажей.

image
Читать дальше →
Total votes 62: ↑61 and ↓1 +60
Views 24K
Comments 25

Экспорт MoCap данных в Unity3d

Unity3D *
Sandbox
В этой статье я расскажу как анимировать персонажа с помощью MoCap данных, полученных с использованием ipi mocap studio и 2х сенсоров Kinect.
Для этого понадобятся:
1-2 сенсора Kinect
iPi Studio, iPi Recorder
Autodesk Motionbuilder 2013 лучше, но я использую 2012, т.к. 2013 у меня не работает

Часть 1. Получение MoCap данных


Калибрация

Устанавливаем iPi Studio и iPi Recorder, подключаем Kinect. Более подробно об этом можно прочитать на wiki ipisoft инструкция для старой версии программы, в последней версии настройка происходит немного иначе.

Для того чтобы получать MoCap данные с 2х сенсоров, необходимо записать видео для калибрации.

Сенсоры могут быть расположены в 2х конфигурациях:
Читать дальше →
Total votes 19: ↑17 and ↓2 +15
Views 17K
Comments 12

Unity3D + Kinect, или анимации на коленке

KamaGames Studio corporate blog Game development *Unity3D *
Вступление

Здравствуй, уважаемый читатель. Прежде чем начать, мне хотелось бы немного рассказать о цели и формате моей статьи. Обычно с такими заголовками статьи носят обозревательный характер, в них описываются технические стороны реализации того или иного решения или приводится инструкция по эксплуатации и т.д. Выводы же читатель делает самостоятельно. Прежде чем написать эту статью, я провел небольшую исследовательскую работу на предмет аналогов. И нашел несколько статей как на самом хабре, так и массу видео материалов на ютубе. Поэтому я решил не писать очередной обзор технологии, а поделиться впечатлениями, рассказать о граблях, на которые мы наступили, и привести немного “кухонной” аналитики.
Цель этой статьи – помочь вам определиться, использовать или нет данный метод. В первую очередь она рассчитана на технических специалистов, хотя и не пестрит техническими деталями. Но так же будет полезна и всем остальным – арт-специалистам, менеджерам проектов да и просто всем, кто, так или иначе, связан с разработкой игр. Возможно, ссылка на данную статью поможет выбить бюджет у начальства и ускорить разработку/повысить качество вашей будущей игры. Итак, приступим.
Читать дальше →
Total votes 16: ↑12 and ↓4 +8
Views 27K
Comments 2

Автоматическое выделение меток

Image processing *
Tutorial
В машинном зрении и робототехнике есть забавный класс задачек: обнаружение заранее известных меток. Сюда можно отнести всё: QR-коды, Augmented Reality ( AR, дополненная реальность), задачи позиционирования объектов (motion capture, определение местоположения), детектирование объектов по меткам, классификация объектов в робототехнике (например при автоматической сортировке), помощь автоматическим системам в позиционировании (роботизированные захваты), трекинг объектов, и.т.д.



В статье описаны основные методы захвата меток, их возможности, границы применимости.
Читать дальше →
Total votes 52: ↑51 and ↓1 +50
Views 22K
Comments 8

Последняя часть пазла полной виртуальной реальности

Game development *
image

Вчера на кикстартере началась кампания по сбору средств для Control VR — последней не достающей части для костюма виртуальной реальности, а именно высокоточного отслеживания движения рук, кистей и пальцев.

Ссылка на Kickstarter
Читать дальше →
Total votes 7: ↑5 and ↓2 +3
Views 19K
Comments 14

Perception Neuron: Motion Capture в каждый дом

Interfaces *
Двое суток осталось до окончания кампании на Kickstarter по сбору средств на «Project PERCEPTION NEURON: Motion Capture, VR and VFX». Недавно на Хабре о ней уже проскакивала миниатюрная заметка. Считаю, что это устройство заслуживает большего внимания, тем более, что с момента старта кампании выяснилось довольно много интересных подробностей и добавились новые фичи.


Читать дальше →
Total votes 17: ↑16 and ↓1 +15
Views 23K
Comments 4

Motion Capture: про движение

Plarium corporate blog Working with video *Popular science Video equipment Games and game consoles
Технология Motion Capture уже давно вошла в категорию must have для разработчиков как ААА-тайтлов, так и мобильных проектов. Она позволяет сделать движения персонажей по-настоящему реалистичными и поставить практически любые сцены. В этой статье поговорим об истории становления Motion Capture, преимуществах и недостатках технологии, и ее использовании в продвижении игр.


Читать дальше →
Total votes 12: ↑12 and ↓0 +12
Views 20K
Comments 9

Моя версия костюма отслеживания движений

Developing for Arduino *AR and VR Wearable electronics DIY
🔥 Technotext 2020

Предыстория


Много времени утекло с того момента, как я стал начинающим «ардуинщиком». После заказа «стартового набора» из поднебесной и поморгал светодиодами, и покрутил сервоприводами, и даже собрал простенькую платформу Гью-Стюарта из кусков упаковочного полиэтилена, скрепок, кнопок и копеечных сервоприводов SG90.

image

Прошу прощения за качество фото — другого не сохранилось, как и самой платформы — дети сломали.

С этой платформы и началась, может быть даже кому-то интересная история. Управлять платформой с помощью клавиатуры или джойстиком интересно, но управлять ею датчиком положения в пространстве — интереснее вдвойне. Пробуя корректно заставить работать очень известный датчик от TDK — InvenSense MPU-9250, вспомнилась статья уважаемого ObelardO — «Как я делал костюм захвата движений» и затаилась идея в голове повторить этот опыт.

Что из этого получилось, можно увидеть и прочесть под катом.
Total votes 32: ↑32 and ↓0 +32
Views 10K
Comments 52

60 минут в завтра: «Мировой опыт создания голограмм – стоит ли оживлять мертвых знаменитостей?»

AR and VR The future is here
Привет, Гиктаймс!

Мы с вами живем в удивительное время. Новые Горизонты бороздят просторы солнечной системы, по Земле катаются автомобили-роботы, а музыкальным лейблам уже даже не нужны живые артисты для того, чтобы зарабатывать деньги и выдавать слушателям продукт – музыкальный или визуальный. И если с первым все понятно: старые записи, черновики легендарных музыкантов и просто неизданные в нужное время материалы могут работать на имя исполнителей еще очень долгое время, то с визуальной составляющей мы попытаемся разобраться. Кому, зачем и в каком виде понадобилось подменять себя на сцене голографической проекцией, и есть ли у этого вида искусства перспективы в музыкальном?

image
Читать дальше →
Total votes 16: ↑14 and ↓2 +12
Views 13K
Comments 24

Беспроводной VR и захват движения на оборудовании HTC Vive

Gadgets Computer hardware AR and VR Games and game consoles
Tutorial

Предисловие


Раньше я уже писал о своем проекте impulse — костюме захвата движений на базе инерциальных сенсоров. Прежде всего, хочу поблагодарить всех, кто оставил свой отзыв, так или иначе, помог проекту. Должен сказать, что особого развития проект не получил, проблема дрейфов не была решена 9-осевыми датчиками, но компенсации с помощью цифрового компаса значительно помогли, также использование простого оптического трекинга (например 2 светодиодных маркера на голове) позволяет получить среднее значения дрейфа. Но сегодня не об этом. Я хочу рассказать об относительно недорогом способе захвата движения для систем виртуальной реальности на базе HTC Vive без колхоза и паяльника, а также о том, как избавиться от провода, который неизбежно соединяет голову и компьютер, что создает множество неудобств. Еще расскажу, как удалось добиться области трекинга в ~80 метров кв.
Total votes 13: ↑13 and ↓0 +13
Views 18K
Comments 38

Замокапить в «экстремальных» условиях или как мы принимали участие в шоу «ДОЗОР»

Computer Animation *Start-up development Development for AR and VR *AR and VR
Sandbox

Перед одной из команд — создателей магического шоу мирового уровня — компанией Клипс Медиа Групп была поставлена задача создать больших аватаров, которые бы повторяли движения актеров на сцене. Для этого нужно было заснять движения актеров (или по-другому замокапить – от англ. — motion capture), как это делают в фильмах, и далее передать аниматору, который нарисует 3D персонажей и заставит их повторять движениях актеров. В этой давно известной и, казалось бы, понятной задаче было одно НО, и это – условия в которых должен был осуществляться захват движений… Только представьте: Ночь. Съемочный павильон.


Предфинальная репетиция. Тонны света и работающей аппаратуры + сцена трансформер + параллельные (одновременные!) репетиции танцевальных, музыкальных, иллюзионных групп.
И среди всего этого потока аппаратуры и людей нужно было заснять движения главных героев шоу, которые перемещались не только в плоскости, но еще и парили над сценой!

Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 1.8K
Comments 2
1