В конце августа исполнительный директор Intel Пэт Гелсингер заявил, что в рамках процесса реструктуризации компании она будет отказываться от развития непрофильных технологий, в число которых попал, в том числе, RealSense. Это дало основание многочисленным СМИ «похоронить» технологию, и даже мы попали в их число, однако быстро одумались. Копнув поглубже и расспросив экспертов Intel, мы готовы предложить вашему вниманию иную трактовку происходящего.
В этом посте — рассказ о вчерашнем и сегодняшнем дне RealSense, а также о ее планах по выживанию в эпоху перемен.
Чтобы показать контекст происходящего, приведем слова Гелсингера целиком.
Я хочу инвестировать в те области, которые поддерживают основные бизнесы компании: дата-центры, пользовательские компьютеры, графику, производство чипов и беспилотное управление. Если технология подходит для какого-то из этих шести направлений, я буду в нее инвестировать. Если нет, то не буду. Что же касается RealSense, то здесь получено ряд хороших результатов, которые мы могли бы использовать, но для основных направлений они не подходят.С одной стороны, сказано предельно ясно. С другой — имеется нестыковочка: дело в том, что под «беспилотным управлением» (autonomous driving) в компании понимаются не только автономные автомобили (которыми занимается an Intel Company — Mobileye), но и робототехника, в которой давно и успешно применяются камеры RealSense. Получается, что технологии все-таки найдется место в новой системе ценностей компании?
Впрочем, давайте не забегать вперед. Начнем с начала.
Intel RealSense — вчера
Первое упоминание технологии относится к октябрю 2012 года — именно тогда на сайте Intel появилась первая бета-версия Intel Perceptual Computing SDK. А уже в январе 2013, буквально вместе со второй бетой, у нас в блоге появилась статья о ней. Нам (блогу) повезло, что технология развивалась, в том числе, силами московской команды Intel, и источники знаний были совсем близко.
Описание Intel Perceptual Computing SDK
Что такое Perceptual Computing? Это новая технология, которая позволит пользователю взаимодействовать со своим мобильным устройством посредством голоса, рук, лица, т.е. более естественных для человека способов взаимодействия.
Первая версия PerC SDK поддерживала следующие возможности:
Первая версия PerC SDK поддерживала следующие возможности:
- Распознавание жестов, положения рук, пальцев, уровень открытости ладони
- Отслеживание положения лица, определение контрольных точек (губы, нос, глаза), идентификация («узнавание») лица
- Отслеживание положения 2-х и 3-х мерных объектов
Первоначально Intel использовала оборудование третьих фирм, таких как Creative, позже перешла на собственное.
Буквально сразу же компания включила PerC/RealSense в число своих приоритетов и уже в 2013 году провела конкурс среди разработчиков с впечатляющим призовым фондом в один миллион долларов.
Принцип действия камер RealSense
Принцип действия 3D-камер состоит в формировании карты глубин, получаемой с помощью 3 основных технологий – Time of Flight, Coded light и стерео-видение. Обогащенная данными о глубине RGB-картинка может использоваться для манипуляций с изображенными объектами и их анализа (например, сегментации фона или переноса точки фокусировки, измерения объёмов, рисования 3D моделей и т.д.),
RGB-фото и карта глубины для него
RGB-фото и карта глубины для него
2014 год ознаменовался сменой названия на современный RealSense, очередным конкурсом для разработчиков и стартом череды хакатонов, митапов и прочих мероприятий, которых в ближайшие годы будет проведено видимо-невидимо. В продвижение технологии действительно было вложено немало сил и средств.
В 2015 появились две камеры RealSense, которые сейчас можно назвать «классическими»: задняя R200 и передняя F200. Это был, пожалуй, золотой век RealSense: энергично обновлялся SDK, выходили новые драйвера, демонстрировались прототипы «железа», RealSense планировалось внедрить в смартфоны и ноутбуки. Мы в промышленном масштабе выпускали туториалы для разработчиков, о нюансах программирования под RealSense нам тогда хорошо рассказал один из первопроходцев-пионеров.
Intel RealSense — сегодня
Если считать «условным сегодня» отрезок времени вглубь на год-два, то этот период времени также нельзя считать для RealSense застойным или кризисным — как говорится, ничто не предвещало беды. Да, мероприятий стало меньше — это характерно сейчас не только для RealSense. А вот новые камеры продолжали выходить регулярно.
Intel RealSense 435i со встроенным инерционным датчиком IMU (Inertial Measurement Unit) для использования в движущихся устройствах.
Intel RealSense Tracking Camera T265 — принципиально новое устройство без ИК-системы, оснащенное двумя сверх широкоугольными объективами типа «рыбий глаз», 6-осевым инерционным датчиком IMU и специализированным VPU (Visual Processing Unit) Intel Movidius Myriad 2 в качестве центрального вычислителя.
Intel RealSense LiDAR L515 — первый LIDAR в линейке RealSense, использующий технологию зеркального сканирования MEMS разработки Intel.
Intel RealSense Depth Camera D455 — классическая камера глубины, улучшенная и исправленная, вышедшая буквально полгода назад.
Как видим, в нынешнем портфолио Intel RealSense имеется достаточное количество камер на все случаи жизни, различных по принципу действия.
Более того, пару месяцев назад, в августе 2021 компания Xiaomi выпустила робособаку CyberDog — четвероногую платформу с открытым кодом и Intel RealSense D450 в качестве органов зрения.
Intel RealSense — завтра?
Что же изменилось на стыке между сегодня и завтра? Выскажем наше личное мнение.
Основным предназначением RealSense было добавление третьего измерения в повседневную практику взаимодействия пользователей с компьютером, а также участие в создании и потреблении 3D контента. Вообще, попытки внедрения цифрового 3D-опыта в жизнь масс предпринимаются различными компаниями в различных областях, например, VR-шлемах, еще с прошлого века. Но все они, увы, оказываются не супер-успешными. То есть, ярко взлетев, спустя пару лет, в лучшем случае, занимают свою узкую нишу, а в худшем — вообще исчезают (на самом деле впадают в спячку, чтобы потом возродиться на новом витке развития технологий). Вот несколько примеров: Вы часто пользуетесь Windows Aero Glass 3D интерфейсом? Вы давно смотрели 3D фильм на TV или в кино? Вы слышали, что Microsoft недавно решил удалить отображение папки 3D-объектов из Проводника Windows 10? А в самой этой папке у вас было что-нибудь?
3D модель vikky13, созданная в 2015 году с помощью камеры Intel RealSense компанией Itseez3D.
Почему так происходит? Дело тут и в человеческой природе и в уровне развития техники. Играет роль как неидеальность создаваемого/распознаваемого 3D, что приводит к физическому и психологическому дискомфорту пользователей, так и отсутствие реальной массовой необходимости, оправдывающей покупку и использование соответствующей техники. То есть, можно сказать, что третье измерение в компьютерной жизни пользователей пока, увы, отрезается бритвой Оккама.
А с другой стороны, даже в тех случаях, когда данные о глубине могли бы добавить реальную ценность распространенному пользовательскому опыту, технологии, подобные RealSense вытесняются… программными решениями. В том числе и созданными Intel. Достижения последних лет в глубоком машинном обучении и компьютерном зрении позволяют эффективно «создавать глубину» по изображениям с обычных двумерных камер. То есть, для замены фона при видеозвонках или обеспечения дополнительной надежности распознавании лица сейчас широко используются нейросети, а не 3D-камеры.
Но далеко не во всех сценариях нейросети способны полноценно заменить 3D-камеры: дроны, роботы, биометрия работают намного точнее и быстрее именно на глубинных камерах. Как заметил наш CEO, в рамках проекта RealSense было сделано слишком много хороших наработок, чтобы просто ставить на нем крест. RealSense будет развиваться, видоизменяясь, чтобы соответствовать поставленным перед компанией задачам. Этот процесс будет постепенным, чтобы пройти безболезненно для многочисленных клиентов, использующих технологию и покупающих камеры RealSense.
На самом деле Intel не закрывает RealSense, его наработки будут и далее использоваться в фокусном для компании направлении – робототехнике и дронах. Стереокамеры, как наиболее успешный и востребованный продукт, продолжат существовать и развиваться (ожидается, что появятся и новые модели), но дальнейшие новинки стоит ожидать именно в области робототехники. При этом нет никаких ограничений по применению камер и в других сценариях с использованием собственных или партнёрских наработок.
Значит и в блоге Intel тема RealSense еще не исчерпана.
Мы благодарим Антона Карпова, руководителя направления Intel RealSense в России и странах СНГ, за помощь в создании статьи.
