Компания 3DiVi недавно представила свой проект VicoVR на краудфандинговой площадке IndieGoGo, где планирует собрать $75 000.
На мои вопросы отвечал технический директор компании 3DiVi, Андрей Валик.
VicoVR — это сенсор для мобильной виртуальной реальности. Можно сказать, что это 3D сенсор со встроенной обработкой карты глубины, который передает уже готовые данные по Bluetooth в смартфон или любое другое устройство, тем самым перенося ваше тело в виртуальную реальность.
Расскажите подробнее о продукте
В hardware-части сенсор состоит из 3D сенсора (мы используем OEM-модуль Orbbec) и контроллера для обработки карты глубины, получаемой с сенсора, и передачи данных на смартфон.
ПО состоит из двух частей:
firmware, которая работает на контроллере сенсора. Здесь основная ценность — ПО, которое содержит наше middleware по обработке карты глубины, выделению сегментов людей, дальнейшее выделение скелетов и распознавание жестов. Разработкой middleware мы занимаемся уже больше четырех лет.
Клиентская часть, которая работает на смартфоне, фактически принимает данные и передает в верхнее приложение.
Таким образом, мы убрали тяжеловесную обработку карты глубины из смартфона, освободив все его ресурсы для работы с VR. Мы много работали и продолжаем работать над уменьшением задержки при обработке и передаче данных. Большая работа проделана по оптимизации и компрессии данных при передаче по Bluetooth.
Какие цели ставили перед собой, запуская краудфандинговую кампанию?
Мы ставили перед собой 2 цели:
- прощупать рынок и выяснить заинтересованность людей в подобном решении для Mobile VR.
- набрать пред-заказы и собрать средства для запуска производства сенсоров.
В чем отличие от Microsoft Kinect?
Физический принцип работы сенсора тот же самый, но при этом вся обработка карты глубины перенесена в сам сенсор. Таким образом, мы освобождаем хост-устройство от обработок карты глубины и распознавания жестов, оставляя все ресурсы для конечного приложения. Кроме этого у нас беспроводной интерфейс для связи с хост-устройством.
Также мы делали упор на оптимизацию нашего middleware для ARM-платформ, которые более энергоэффективны, чем десктопные решения, дешевле и компактнее, что позволяет нам обрабатывать данные в реалтайме на встроенном контроллере. Более того, Microsoft не позиционирует Kinect как сенсор для VR-приложений.
А почему решили сконцентрироваться на мобильной виртуальной реальности?
Мы видим будущее в мобильной виртуальной реальности, а не в десктопных VR-решениях.
Преимущества платформы мобильного VR перед тяжеловесными десктопными VR-решениями следующие:
- дешевизна
- отсутствие проводов
- постоянное обновление смартфонов и постепенное приближение их возможностей к десктопным решениям
- увеличение доли рынка мобильных игровых приложений
В данный момент компания Google выпустила анонс программной платформы для мобильной виртуальной реальности Daydream. Данная платформа будет выпущена осенью этого года и фактически это будет очередное обновление андроида для смартфонов, которые поддержат эту платформу.
Эта платформа приблизит качество мобильной виртуальной реальности к качеству десктопных решений в плане минимизации задержек и комфорта. VicoVR будет отличным дополнением к Daydream…
Всю разработку сами вели или обращались к сторонним компаниям?
Дизайн корпуса сенсора для нас разработала компания Innozen Design, а остальное все сами.
По железу мы получили поддержку от Samsung — их заинтересовал наш проект и в итоге мы сделали контроллер на процессоре Exynos.
Производство и сборка где будут происходить?
Производство и сборка будут в Китае и Тайване. Финальная сборка, тестирование и упаковка будут проходить в компании Foxconn, в Тайване. Данная компания консолидирует у себя производство большинства 3D сенсоров, присутствующих на рынке. Для начинающих проектов, подобных нашему, первые пробные партии они производят в Тайване на головном предприятии, затем по мере увеличения объема производства переводят его в другие страны.
Печатные платы производятся, монтируются и тестируются тоже в Тайване у партнеров Foxconn. Корпусные детали производятся в Китае.
Расскажите про первые прототипы
Начинали мы с прототипов с использованием сенсоров Asus Xtion и отладочных плат Odroid U3, первая демонстрация была сделана на выставке MWC в марте 2015-го года. После этого мы начали разработку своего контроллера. В октябре 2015 запустили первую ревизию прототипа уже на нашем контроллере. Пока еще без корпуса, в виде отдельной платы
В декабре изготовили корпуса и вторую ревизию контроллера, собрали первый образец и демонстрировали его на CES 2016. В данный момент тестируется третья ревизия контроллера с сопроцессором для авторизации подключения к iOS, судя по всему это финальная ревизия, которая пойдет в массовое производство, если не возникнут проблемы с сертификациями по электромагнитной совместимости.
Корпусов у нас изготовлено две модели, одна из сплава цинка и алюминия, вторая содержит частично пластиковые элементы для удешевления. В данный момент тестируем обе.
С какими сложностями сталкивались в процессе проектирования? Что претерпело значительные изменения?
Сложности были и есть всякие, это хорошо когда они есть, иначе было бы скучно жить :) Самая первая сложность, с которой столкнулись — поиск российских производителей, которые могут изготовить печатную плату такой сложности, как наша.
Технологическая сложность платы обусловлена применяемыми компонентами — это микросхемы в BGA корпусе: PMIC с шагом выводов 0,4мм и SoC (Samsung Exynos) с шагом 0,5мм. Эти корпуса предполагают использование HDI (High Density Interconnection) PCB — печатных плат с высокой плотностью межсоединений.
В рамках этой технологии применяются «глухие» (blind) и «скрытые» (buried) переходные отверстия. Их особенность заключается в том, что они выполняются не сквозь всю печатную плату, а только на глубину нескольких слоев. «Глухие» отверстия связывают один из внешних слоев с внутренними (выполняются лазером), а «скрытые» — связывают топологию между внутренними слоями, выхода на внешние слои они не имеют (в зависимости от диаметра и глубины, выполняются либо лазером, либо традиционным сверлением).
Данные виды отверстий вводят ограничение на толщину диэлектриков — глубина отверстия не может превышать его диаметр. Толщина диэлектрика между слоями металлизации в свою очередь влияет на конфигурацию высокоскоростных трасс (в нашем случае это DDR3). При тонком диэлектрике эти трассы должны иметь малую ширину (в нашем случае до 79мкм) для обеспечения требуе��ого импеданса. Также малая ширина проводников требуется для вывода связей между контактными площадками Exynos — у нас это 65мкм. Зазоры между элементами топологии в зоне трассировки Exynos и оперативной памяти самые жесткие и составляют до 65мкм.
Для HDI-плат характерно введение нескольких циклов металлизации отверстий, заполнение полостей микроотверстий (для выполнения т.н. stacked via — составные переходные отверстия). Все это, в совокупности с малыми размерами топологии, требует более жестких допусков на взаимное расположение слоев, процессы прессования тонких диэлектрических материалов, процессы химического травления и осаждения меди на фольгу, нанесения финишного покрытия на контактные площадки.
Один из производителей в РФ сначала согласился выполнить необходимые работы, но потом стал выдвигать требования по переделке печатной платы для уменьшения сложности, мы сделали несколько итераций, которые заняли в итоге практически 2 месяца, и в результате решили обратиться напрямую к китайским производителям. Первый прототип платы был сделан в Китае, а затем Foxconn порекомендовал нам своего партнера для производства печатных плат в Тайване.
Монтаж печатных плат для прототипов и тестирования во время разработки мы делаем в Челябинске на Технокоме.
Затем были проблемы с покупкой комплектовки для прототипов. Например некоторые компоненты, которые были рекомендованы в девките от Самсунга, просто не поставляются в Россию.
Отдельная песня с растаможкой и комплектовкой. Например, партию сенсоров Orbbec мы практически месяц растаможивали.
Следующую подобную железную разработку мы скорее всего поедем делать в Китай, там можно сократить срок разработки примерно в два раза, несмотря на текущую “тенденцию” к импортозамещению и переводу производств в Россию.
В итоге сначала подняли U-Boot во внутренней памяти процессора, потом недели две заводили DDR, пока не наткнулись в описании в три с половиной тысячи страниц на легкое упоминание о специальных регистрах защиты памяти, и методом научного тыка нашли нужную конфигурацию :)
Дальше загрузили ядро и собрали минимальный дистрибутив на основе убунты.
Потом была долгая борьба с bluetooth-wifi-контроллером и его firmware.
В данный момент все насущные проблемы железного характера решены, мы демонстрируем сенсоры на различных выставках. Разработка идет в области оптимизации софта под наше железо.
Расскажите про начинку, какой процессор используете и т.д.?
- Процессор используется Samsung Exynos HEXA 5260 SCP-вариант, то есть без установленной на нем DDR памяти.
- RAM тоже Самсунг DDR3 dual channel 1GB
- EMMC тоже Самсунг 4GB
- Bluetooth-WiFi модуль AP6210.
Как дизайн разрабатывали?
За разработкой дизайна сначала обратились к одной российской компании, получили эскизы, и как-то не зацепило.
Потом нам порекомендовали компанию Innozen Design, получили от них эскизы трех вариантов и большинству понравилась концепция Power Crystal.
Сейчас конкретно над чем работаете?
��ейчас работаем над оптимизацией софта. Чтобы максимально загрузить ресурсы процессора и сократить время обработки. Кроме этого постоянно ведутся работы по улучшению качества скелетизации.
Отдельного внимания заслуживает разработка приложений и подходов к управлению в виртуальной реальности. В данный момент разработано более 10-ти приложений под наш сенсор и мобильную VR, часть делаем сами, часть наши партнеры. Приходится искать удобные, интуитивно понятные и простые способы взаимодействия с VR.
Основная проблема, с которой сталкиваются пользователи — тошнота, сейчас часто можно встретить термин Virtual reality sickness. Происходит это из-за несогласованности перемещений в VR с перемещениями в реале, вернее даже не перемещений, а ускорений, которые действуют на вестибулярный аппарат человека.
Многие пишут, что на это сильно влияет задержка передачи движений и перемещений на экран VR-шлема. Мы уже почти два года разрабатываем и тестируем различные приложения для VR с активными перемещениями, которые отслеживаются нашим сенсором и пришли к выводу что перемещений в VR существует 2 типа:
Вращение головой. По нашему опыту, они должны отрабатываться быстро, с минимальной задержкой, что в принципе решается тем, что они обрабатываются в смартфоне на основании его датчиков или на основании датчиков шлема, например в GearVR. Еще уменьшить данную задержку позволит недавно анонсированная платформа Google Daydream. Именно эта задержка очень критично влияет на комфорт в VR, потому что тут всегда есть ускорения и без них не обойтись.
Линейные перемещения. Данные перемещения не сильно критичны при условии что зачастую ускорения либо отсутствуют, либо они согласованы с действиями человека. Есть два варианта избежать дискомфортных ощущений в VR по время линейных перемещений:
Исключение ускорений. Исключить ускорения возможно — например игры типа раннеров с перемещением в одном направлении с постоянной скоростью или просто игры на месте без перемещений, или использование телепортации для перемещений в VR.
Согласованность перемещений человека в реале и в VR. Если мозг человека получает от органов зрения и от вестибулярного аппарата противоречивую информацию, то возникает тошнота и дискомфортные ощущения. По нашему опыту, если перемещения в реальности (приходящие от вестибулярного аппарата) согласованы с перемещениями в VR (приходящие от органов зрения), то мозг легко компенсирует задержку между ними и неприятных ощущений не возникает. Таким образом, главное как можно качественнее передать перемещения из реального мира в виртуальный, пусть и с небольшой задержкой. И максимально исключить не прогнозируемые ускорения в VR.
Перед нами на постоянной основе стоит задача улучшать качество распознавания скелета для уменьшения ошибок при передаче.
Какие дальнейшие планы?
Ближайшие планы — набрать достаточное количество предзаказов на краудфандинговой кампании и запустить производство. До конца года все довольно плотно расписано
1. EVT(Engineering Validation Test) 03/2016 — 05/2016, мы уже в самом конце этой фазы.
— тестирование и коррекция PCB
— изготовление пресс-форм
— разработка стендов тестирования для производства
— сборка 15ти EVT-сэмплов для тестирования
— производство девкитов для разработчиков
2. DVT(Design Validation Test) 05/2016 — 07/2016
— коррекция PCB
— коррекция пресс-форм
— изготовление 20ти DTV-сэмплов
— начала процедур сертификации, FCC, CE, Laser
3. Product Validation Test 07/2016 — 09/2016
— сборка и тестирование 100 PVT-сэмплов
— завершение сертификации, FCC, CE, Laser
4. MP — 11/2016, the first volume 5000pcs.
запуск производства первой партии размером 5000 штук
В конце этого года уже необходимо будет начинать разработку следующего поколения контроллера с использованием нового процессора и нового сенсора. У нас есть предложения от компании Asus — использовать их новый модуль 3D сенсора в будущем, и Samsung выдвинул предложения по новым линейкам процессоров.Также мы с нетерпением ждем выхода платформы Google Daydream для портирования нашего SDK и приложений.
