У Google есть много проваленных проектов вроде соцсети Google+. Даже говорят, что у компании есть этакое «кладбище», которое регулярно пополняется. В 2023 году в полку, как говорится, прибыло — Google официально закрыл свой проект по очкам дополненной реальности Google Glass (точнее, ее корпоративную версию Enterprise Edition) почти через 10 лет после старта продаж.
Сейчас для техногиков есть и другие варианты: например, Ray-Ban Meta (признана в России экстремистской организацией и запрещена) и Amazon Echo Frames, а также на подходе множество новых моделей от хорошо известных Xiaomi, HTC, Huawei. И конечно же вышедшие недавно очки Apple Vision Pro.
Но давайте посмотрим, в чем вообще проблема умных очков: почему даже Google потерпел фиаско. Да и что-то не видно толпы людей в подобных гаджетах, хотя технология уже неплохо развита.
Как работают умные очки
Кратко пройдемся по тому, как они работают, какие бывают виды и технологии. Если вы хорошо знаете эту индустрию, переходите к следующему разделу. Здесь мы расскажем базу простыми словами.
Вообще умные очки — общий собирательный термин. Под этим можно понимать все, что позволяет человеку взаимодействовать с цифровым миром, а не просто стильно выглядеть или различать предметы вдали или вблизи. Например, с помощью такого устройства можно читать сообщения, просматривать календарь или прокладывать маршрут, не доставая телефон.
Внутри умных очков есть дисплей, процессор и датчики, а также камера, микрофон, динамики и все в таком духе. Всего можно выделить два больших класса этих очков: на основе VR — виртуальной реальности, или AR — дополненной реальности.
VR-очки — это когда вы не взаимодействуете с окружающим миром, а «отрезаны» от него и словно смотрите кино перед глазами. Изображение транслируется с какого-то устройства-источника — смартфона, игровой приставки или компьютера. Картинка передается отдельно для каждого глаза, что создает ощущение объемного пространства.
Очки оснащены всевозможными датчиками: например, они улавливают положение головы, движение глаз и рук и так далее. Информация передается процессору, который использует ее для соответствующей настройки изображений, отображаемых на экране.
Форм-факторы и подвиды VR-очков бывают разные. Это может быть массивный шлем, плотно закрывающий глаза для полного погружения, например, как PS VR. Либо обычные непрозрачные очки (внешне напоминающие солнцезащитные), в которых вы наблюдаете персональный экран, эквивалентный огромной «плазме» или монитору на расстоянии в несколько метров. С ним можно взаимодействовать по-разному: либо использовать внешний контроллер, либо управлять визуалом при помощи движения рук.
Однако такие варианты с персональным экраном предназначены только для статичного использования: пройтись в них по улице проблематично и опасно. Поэтому многие производители делают очки комбинированными: в обычном режиме они прозрачны, но по команде затемняются, и вы можете наслаждаться большим изображением перед глазами. Ровно так и работают Apple Vision Pro — в двух режимах.
У большинства же людей умные очки ассоциируются, скорее, с дополненной реальностью — так называемым AR (Augmented Reality). Это когда цифровые элементы накладываются поверх реального мира, который человек видит через прозрачное стекло очков. Давайте посмотрим чуть подробнее, как это работает.
Первое важное для AR — это вывод изображения перед глазами пользователя так, чтобы оно не перекрывало окружающую обстановку. Для этого используют несколько технологий.
Самая старая — как раз технология на базе принципа HUD-проекции изображения. В основе лежит переотражение изображения от источника проекции к сетчатке глаза через полупрозрачную призму. Это создает эффект четкого изображения, которое находится не на расстоянии 2-3 см, а нескольких метров. При этом внешний свет проходит через призму, и человек видит окружающую обстановку.
Кроме того, есть AR-очки на базе волноводов. Самые популярные — с двумя дифракционными наклонными решетками. В них свет направляется не на полупрозрачную призму, а проходит более сложный путь:
попадает от источника на первую входную решетку и как бы перенаправляется внутрь линзы;
проходит в толще прозрачной линзы за счет эффекта полного внутреннего отражения;
попадает на вторую выходную решетку и формирует изображение перед человеческим глазом.
Кроме дифракционных, существуют и другие методы. В них свет также распространяется по волноводу, но достигает человеческого глаза за счет других элементов. Например, в поляризованных используются многослойные поляризованные отражатели, а в голографическом — три оптических элемента для RGB света. Другой пример — «виртуальный ретинальный монитор», в котором изображение формируется прямо на сетчатке за счет маломощного лазера. Если кому-то интересно, все использующиеся технологии хорошо описаны в этой статье, а больше матчасти можно найти здесь.
Как изображение выводится в умных очках на базе AR мы разобрались. Но как устройство распознает окружающую обстановку и накладывает нужную информацию? Для этого в умных очках встроена камера — видеопоток преобразуется и поступает в процессор для обработки. А дальше в реальном времени система распознает окружающие объекты по определенным признакам — маркерам. Например, на основе контраста цветов и геометрической формы можно отличить цветок от журнала или собаки, сравнивая с референсами.
Дополнительно чтобы система могла ориентироваться в пространстве, используется технологию SLAM — simultaneous localization and mapping (одновременная локализация и построение карты). Картинка раскладывается на геометрические фигуры с точками-узлами, фиксируя их расположение относительно устройства.
Давайте теперь посмотрим, какие основные элементы есть в AR-очках на примере модели Vuzix Blade.
Батарея — самая тяжелая часть очков, как и в смартфонах. Обычно она крепится за дужками и обеспечивает несколько часов автономной работы.
Стереодинамики — расположены по бокам головы. В некоторых моделях (например, Google Glass) используется эффект костной проводимости. В других — обычные динамики или даже наушники.
Процессорная часть — там происходит вся обработка видеопотока и формируется сигнал для вывода на дисплей, а также внутри располагаются датчики вроде гироскопа и акселерометра. Зачастую процессоры те же, что и в смартфонах.
Тачпад и микрофон с шумоподавлением — для взаимодействия с устройством используется два основных метода: привычное движение пальцев или голосовое управление.
Камера — главный элемент обратной связи, без которого никакой полноценный AR был бы невозможен.
Кроме AR, есть более продвинутые технологии: MR (Mixed Reality, смешанная реальность) и XR (Extended Reality, расширенная реальность). Суть примерно такая же, но в них у пользователя появляется больше возможностей за счет совмещения дополненной и виртуальной реальности. Например, можно накладывать цифровые объекты и взаимодействовать с ними так, словно они находятся в реальном мире.
Теперь давайте посмотрим, откуда же появились умные очки и как мы пришли к текущему уровню технологии.
Как появились умные очки
В 1584 году Джамбаттиста делла Порта публикует книгу под названием «Magia Naturalis». В ней он представляет концепцию комнаты, в которой стекло установлено таким образом, что оно отражает свет от объектов и создает иллюзию, будто эти объекты находятся где-то в другом месте. По сути это — самое раннее описание дополненной реальности. А принцип отражения от полупрозрачного зеркала — один из популярных методов, который применяется в таких популярных моделях умных очков, как Google Glass.
В 1862 году Джон Генри Пеппер и Генри Диркс, работники театра и изобретатели по совместительству, создают технику иллюзии (проекции), названную «призраком Пеппера» для более эффектных постановок.
Основная хитрость здесь в том, что на сцене построены две комнаты: одна видна зрителям, а другая (называемая синей комнатой) скрыта. Для создания иллюзии вы устанавливаете большое стекло в главной комнате под углом 45 градусов, которое способно отражать вид синей комнаты в сторону аудитории, чтобы проецировать «плавающие» призрачные объекты на пространство двухместной комнаты.
Следующий шаг в появлении AR-технологии — это установка HUD в 1958 году на британском самолете-штурмовике Blackburn Buccaneer. Самолет был разработан для полетов на небольшой высоте и на высокой скорости. У пилота не было времени оторвать взгляд от приборов на бомбовый прицел. Поэтому именно в нем впервые применили технологию — получился «умный прицел», на котором отображалась высота, скорость полета и, собственно, сама разметка для наведения на цель.
Это уже был большой и важный шаг вперед: на проектор, свет которого перенаправлялся на прозрачную линзу, сигнал поступал с прообраза бортового компьютера, формирующего сигнал через электронно-лучевую трубку.
В 1960 году Мортен Хейлинг запатентовал стереоскопический HMD (Head Mounted Display) — Telesphere Mask, первый в своем роде. Ни одного рабочего прототипа он не сделал, зато сумел создать Sensorama. Напольное громоздкое устройство обеспечивало полное погружение зрителя: вентиляторы, подача запахов, стереозвук и подвижное кресло. Трехмерная картинка имитировала поездку на мотоцикле: зритель чувствовал горячий воздух на своем лице, вибрацию сиденья, аромат бензина и закусочных.
1968 год — именно тогда появилась установка Sword of Damocles («Дамоклов меч»). Ее создали профессор Гарварда Айван Сазерленд и его студент Боб Спролл. Тяжелая установка надевалась на голову, но из-за огромного веса крепилась к потолку. С компьютера на стереоскопический дисплей передавалось каркасное трехмерное изображение комнат, крайне примитивное. Перспектива наблюдения за объектами менялась в зависимости от движений головы пользователя. Поэтому внутри механизма использовалась система отслеживания взгляда, как в современных моделях.
В 1960-х и 1970-х годах ВВС США разрабатывают несколько версий нашлемных дисплеев (HMD) в самолетах для проецирования данных перед глазами пилотов. Они становятся все более совершенными.
В 1982 году Стив Манн создает EyeTap — устройство, уже очень похожее на современные очки дополненной реальности. Комплект состоял из компьютера, находящегося в рюкзаке и подключённого к камере в очках. Напротив одного глаза располагалось наклонное полупрозрачное зеркало с серебрением. Специальный оптический блок Aremac обрабатывал сигнал с камеры и накладывал поверх реальной картинки изображение с текстом.
С появлением очков Манна идея дополненной реальности перекочевала и в Голливуд: например, она реализуется в фильмах «Терминатор» (1984) и «Робокоп» (1987).
В 1992 году Том Коделл из Боинг придумывает термин «дополненная реальность». Это произошло в процессе работы над HMD для помощи рабочим при сборке деталей самолетов. Идея была такой: человек видит перед глазами сборочный чертеж, при этом его руки свободны, и ему не надо переводить взгляд в сторону.
Спустя год Стив Файнер из Колумбийского университета продемонстрировал систему KARMA (Knowledge-based Augmented Reality for Maintenance Assistance, или «Интерактивный помощник по обслуживанию»). С помощью шлема дополненной реальности можно было увидеть интерактивную инструкцию по обслуживанию принтера.
В 1994 году Azuma разрабатывает дисплей со стабилизацией изображения и впервые реализует технологию отслеживания на основе маркеров.
Спустя год Рональд Азума, инженер из Intel, публикует программную статью «Обзор дополненной реальности», в которой описывает не только существующие разработки, но и варианты развития технологии. Статья стала самой цитируемой в области дополненной реальности, а также самой популярной среди всех статей журнала MIT Press всех времен.
К концу 90-х годов возможности микропроцессоров дошли до того момента, когда можно было реализовать одновременно и компактное, и функциональное устройство. Начался настоящий бум стартапов в этой области.
В 1998-м году в НФЛ начали использовать дополненную реальность: наносить линии на поле с отметкой пройденного расстояния в ярдах, а также «следить» за игроками и отображать важную статистическую информацию.
В 1999 году Хироказу Като публикует открытую библиотеку для создания программ на основе AR-технологии. Он назвал ее ARToolKit, и она даже есть на Гитхабе. Этот код позволял накладывать виртуальное изображение поверх реального по маркерам за счет распознавания ориентации и положения камеры.
В 2000-х годах мир сходил с ума по смартфонам: компании сосредоточили больше усилий именно на них, а не фантастических гаджетах. Например, команда под руководством Маркуса Кахари внедрила в телефон Nokia технологию дополненной реальности, основанную на данных с камеры, GPS и компаса.
Но на самом деле в недрах технологического гиганта Google уже активно шла разработка устройства, которое должно было совершить технологическую революцию. В 2013 году компания представила умные очки Google Glass. Правда, они мало подходили к определению дополненной реальности — поскольку с ней практически не было взаимодействия.
Зато очки умели снимать фото, видео с помощью камеры 5 Мп отправлять все это в облако. Устройство управлялось голосом и выглядело невероятно футуристично. При массе 40 г литий-ионная батарея в 570 мАч держала заряд несколько часов. Подключение к интернету было возможно через Wi-Fi, связь со смартфоном устанавливалась по Bluetooth. Еще в них была реализована навигация — и все это за какие-то скромные 1500 долларов.
Вышедшие в 2014 году, они провалились в продажах через год — не только из-за цены, но и из-за многочисленных проблем с конфиденциальностью безопасностью. После этого Google переориентировалась на бизнес-применение и разработала версию Enterprise Edition, которую свернули буквально в прошлом году.
Microsoft тоже не собиралась отставать и в 2016 году представила устройство Hololens, сразу ориентированное на корпоративное применение в медицине или на производстве — об этом ниже. При цене от 3000 до 5000 долларов, в зависимости от версии, пользователь получал массу крутых преимущества. Благодаря 4-м камерам по 2,4 Мп каждая, продвинутому IMU-блоку и голографическому процессору HPU получились настоящие очки смешанной реальности, которым не требовалось подключение к внешнему устройству.
Они уже позволяли распознавать движение рук и взаимодействие с виртуальными объектами, перемещение голограмм за движением глаз, а также огромное количество дополнительных приложений на платформе Windows Mixed Reality (WMR) под ОС Windows 10. Подробнее можно посмотреть в этом обзорном видео. Правда, это был совершенно другой подход, и за функционал и мощь нужно было платить весом — порядка 600 грамм, при этом время работы составляло всего 2-3 часа.
В том же 2016 году появились потрясающие VR-решения, с которых начался настоящий прорыв в игровой индустрии. Появились потрясающие:
Oculus Rift для потребителей. По цене всего 600 долларов партия была раскуплена за 14 минут по предзаказам, а через год они стоили уже 400 долларов и стали дико популярными.
PlayStation VR — флагманский продукт Sony для их консолей по цене всего 399 долларов. Конкурирует с Oculus Rift.
В 2017 году выходит следующая веха — Magic Leap One, которую разрабатывали более 7 лет с привлечением 500 млн долларов инвестиций от Google, Qualcomm и других.
Гарнитура смешанной реальности оснащена 8 Гб оперативной памяти и имеет дисплей 1280 x 960 с частотой обновления 120 Гц. Обработку сигнала от камер слежения за окружающей обстановкой и глазами обеспечивает графический блок Nvidia Pascal с 256 ядрами CUDA. Угол обзора — всего 50 градусов, а движение рук отслеживается при помощи контроллера 6DoF.
Очки весят 315 грамм и обеспечивают 3 часа работы при цене на старте продаж 2300 долларов.
Конечно, появлялось еще множество решений. Например, от тех же Vuzix, которые мы упоминали ранее. Но все-таки именно решения от Google, Microsoft, Sony, Oculus и Magic Leap стали самыми значимыми для развития технологии.
В чем проблема умных очков
Дальше давайте немного порассуждаем. Вообще умные очки — это круто. Представьте: вы идете по улице и вдруг видите какое-то старое здание. Вместо того чтобы доставать смартфон и гуглить, достаточно просто спросить у устройства: «...., что это здание?». Вся информация появится перед глазами.
Нужно прочитать важное сообщение или увидеть, кто звонит, не отвлекаясь от дороги? Пожалуйста, AR-очки помогут. Потерялись в незнакомом городе? Устройство покажет, куда двигаться в реальном времени. Не уверены, что мебель подойдет под ваш интерьер? Так ее легко примерить из каталога без лишних дизайн-проектов даже без использования смартфона.
Кроме бытового удобства (ну и игр, о которых нужна отдельная статья), гаджет также полезен для множества рабочих применений:
Медицина. Хирург проводит операцию и склонился над пациентом, руки заняты. А у него перед глазами карта пациента с МРТ заключением — удобно. Дополнительно изображение через облако может транслироваться другим врачам, и консилиум сможет принять оперативное решение в реальном времени.
Производство. Рабочий вручную собирает двигатель: много деталей, запутанная сборка. Ну, или просто обучается. В MR-очках система сама сможет разместить нужные узлы на реальном объекте и показать, как и в каком порядке нужно производить сборку.
Проведение презентаций. Спикер на конференции не растеряется перед толпой зрителей, ведь у него перед глазами суфлер с текстом, который никто больше не видит.
Военное применение. Солдат выполняет боевую задачу — у него перед глазами тактическая карта, система захвата и распознавания цели, встроенный бинокль и многое другое. Вот так эту систему разрабатывают для армии США.
Звучит интересно, но почему же мы до сих пор не видим тысячи людей с надетыми умными очками, спускаясь в метро? Зато смартфоны стоимостью десятки тысяч рублей в руках каждого — не сказать, что iPhone дешевле AR-очков.
В чем может быть причина? Давайте порассуждаем.
Важно: если автор что-то забыл из проблем с умными очками, обязательно поделитесь в комментариях.
Причина 1 — вес
Смартфон обычно весит 150-200 грамм. Положили в карман или сумку и забыли. Если он зазвонит или придет сообщение, то вы услышите звонок в наушниках или почувствуете вибрацию.
А вот с очками критичен каждый грамм, потому что он приходится на достаточно чувствительную часть человеческого тела: нос и уши. В этом плане такой гаджет, как умные часы, легко выигрывает в плане удобства: на запястье вес ощущается намного меньше.
Серьезно снизить вес можно только за счет батареи — самой тяжелой части. А значит, снижается время автономной работы и возможности по максимальному энергопотреблению и частично функционалу. Тем же умным часам не требуется обрабатывать видеопоток данных или преобразовывать изображение через дифракционный волновод.
Причина 2 — Эргономика и дизайн
Кто носит очки, тот знает, как важны эргономика и удобство. Можно перебрать не один десяток моделей оправ, прежде чем найдешь что-то подходящее. Как унифицировать оправы, чтобы они идеально сели? Все-таки это не умные часы — затянул ремешок, насколько нужно, и забыл.
Да и внешний вид для такого аксессуара, как очки, тоже важен — думаю, тут бессмысленно спорить. И далеко не все современные гаджеты выглядят презентабельно, несмотря на хороший функционал.
Причина 3 — Безопасность
Для работы дополненной реальности нужна постоянно включенная камера. Она будет снимать лица окружающих людей, а изображение «по традиции» может (а точнее — наверняка будет) копироваться в какой-нибудь облачный сервис. Кто и как может воспользоваться этими данными? По чьему запросу их могут предоставить? Что с юридическим аспектом?
А представьте, если вам на эти очки будет приходить реклама условной букмекерский конторы, когда данные утекут в сеть? Или если хакеры получат доступ к ним и будут в реальном времени изучать, например, обстановку вашего дома?
Причина 4 — Влияние на здоровье
Спорный момент, но все-таки некоторые исследования показывают, что умные очки негативно влияют на зрение. Это звучит достаточно логично: ведь по сути у вас перед глазами постоянно два монитора буквально на расстоянии нескольких сантиметров.
Другая проблема — пешеход или водитель могут отвлечься на какое-то сообщение в очках и не заметить опасную ситуацию на дороге. Конечно, и на смартфоны некоторые особенно одаренные постоянно отвлекаются. Но в случае умных очков источник проблем постоянно у вас буквально на носу.
Ну и наконец для людей с плохим зрением, которые носят обычные очки, нужны подходящие корректирующие линзы, чтобы они смогли использовать AR-гаджеты. Некоторые производители вроде Apple предлагают такую возможность за дополнительную плату.
Причина 5 — Соотношение цены и удобства
Пожалуй, самый важный пункт. Сейчас производители ищут компромисс между функционалом, удобством, внешним видом, временем автономной работы и вменяемой стоимостью. И многие пошли по пути упрощения.
Тот же Ray-Ban Meta Smart Glasses или Amazon Echo Frames весят 50 грамм и стоят примерно 300 долларов. Но это по сути просто голосовые помощники и не лучшие плееры в аккуратной оправе. А более полнофункциональные модели вроде Vuzix Blade весят под 100 грамм и стоят больше 1000 долларов.
Какое будущее у умных очков
Кажется, что пока компании не смогут устранить все эти базовые проблемы, массового распространения умных очков ждать не стоит. После провала Google Glass в 2015 году большая часть игроков сосредоточилась на бизнес-секторе — там большой вес и стоимость никого не смущают.
В последнее время такие производители, как Ray-Ban в коллаборации с Meta (признана в РФ экстремистской организацией и запрещена) и Amazon пробуют зайти на рынок с очками по 300 долларов. Легкими, стильными, но имеющему мало чего общего с дополненной или смешанной реальностью. Но и тут массового ажиотажа не видно — рынок AR-очков не впечатляет. Это с учетом того, что 80% приходится на бизнес-сектор, а не потребительский.
Сейчас многие техногиганты из Китая вроде Xiaomi, HTC и Huawei представили свои наработки на MWC 2023. И кажется, они как раз стремятся найти баланс между функциональностью, дизайном и эргономикой. Но получится ли у них? Посмотрим.
Пока что интересным применением видится «персональный экран» (перед глазами проекция ТВ размером на всю стену), совмещенный с функциями VR/AR/MR по желанию пользователя. По этому пути как раз идут Apple со своим Vision Pro: но хочется, чтобы все это было намного более компактным и стоило не 3500 долларов. Собственно, по этой причине все мы спокойно и обходимся пока привычными смартфонами.
А что вы думаете об умных очках? При каких условиях носили бы их? Делитесь в комментариях.
НЛО прилетело и оставило здесь промокод для читателей нашего блога:
-15% на заказ любого VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.
