Дополненная реальность (augmented reality, AR) — это технологии, которые сводятся к обширному цифровому аннотированию окружающего мира, в первую очередь — урбанизированных территорий с хорошим мобильным интернетом. Краткий обзор технологий, значительно выигравших от внедрения дополненной реальности, приведён в этом переводе, опубликованном на Хабре в корпоративном блоге компании RuVDS. Однако до сих пор непонятно, каким станет общедоступный интерфейс, который позволил бы результативно пользоваться дополненной реальностью и легко выходить из неё. Инвазивные технологии с вживлением электродов в мозг пока преимущественно остаются фантастикой, а такие устройства как «Google Glass» слишком громоздкие и дорогие, поэтому ожидаемо проваливаются на рынке. Но, возможно, подходящий интерфейс уже найден, и им станут умные контактные линзы, разработанные компанией Mojo Vision в начале 2020-х.
Как поумнели контактные линзы
Первые контактные линзы для коррекции астигматизма изготовил из пластика в 1887 году немецкий офтальмолог Адольф Гастон Ойген Фик. Вот как они выглядели:
Толщина этих линз составляла 3 мм, а у современных аналогов она уменьшилась до 0,06-0,1 мм, однако контактные линзы до сих пор делаются из полимеров, прилегающих к склере с применением физраствора. Если брать толщину 3 мм за максимальную, в начале 2020-х успехи микроэлектроники уже позволяют выполнить в виде такой линзы сложное устройство с собственным управляющим контуром, миниатюрными антеннами и встроенными оптоэлектронными компонентами.
Умная контактная линза — это совершенно новый пользовательский интерфейс, расширяющий возможности человеко-компьютерных взаимодействий не меньше, чем в своё время расширил сенсорный дисплей.
Здесь мы сталкиваемся с интересной инерцией мышления. Оборудование для входа в смешанную или дополненную реальность до сих пор понимается как подобие VR-шлема — таков, например, шлем Vision от компании Vivo или медицинские шлемы дополненной реальности от Apple, о которых рассказано на Хабре в переводе «Доктор в XR-очках: могут ли технологии расширенной реальности совершить революцию в медицине?» от уважаемого Антона Кабанова @imhotep1985. Но на самом деле для расширения реальности нужен только дисплей, обеспечивающий точное наложение метаинформации на окружающее пространство, и на данном этапе развития технологий для этого вполне достаточно контактной линзы.
Основные функции умной контактной линзы заключаются в отслеживании взгляда, выстраивании дополнении реальности, улучшении зрения и тераностике (решении диагностических и терапевтических задач). Вероятно, они могут найти применение в спорте и при выполнении кропотливой тонкой работы, требующей концентрации и внимания к деталям.
Основная электронная начинка контактной линзы — это сотни светодиодов, которые выводят прямо перед зрачком информацию для чтения или просмотра — например, текст, графики или фотографии. Аппаратная часть такого прибора состоит из полупрозрачных материалов, поэтому человек вполне может ориентироваться в помещении, полагаясь на собственное зрение — не спотыкаться и не наталкиваться на стены.
Техническая составляющая и варианты применения
При современном уровне миниатюризации умная линза может одновременно действовать как традиционная (корректировать зрение) и включать датчики, которые будут отслеживать медицинскую информацию о состоянии глаза и передавать её на сервер для анализа. В таком качестве умная линза становится одним из компонентов Интернета Вещей.
Типичная умная линза является многослойной и схематически устроена так:
Чтобы линза была полезна, не обязательно оборудовать её таким множеством фич, что она станет сближаться по возможностям со смартфоном. Чем хуже зрение пользователя, тем более бесхитростная линза может серьёзно улучшить ему восприятие мира и качество жизни. Например, если с линзы можно управлять несколькими пикселями на экране компьютера, то обездвиженный пользователь сможет управлять курсором при помощи одних лишь движений глаз, тем более, если он хорошо видит и уже имеет опыт обращения с GUI. Другие варианты применения — аннотирование окружающего пространства (комнаты, улицы) пояснительными надписями, перевод надписей и вывесок, визуальные подсказки, упрощающие ориентирование. В настоящее время в контактную линзу уже можно встроить микропроцессор, но вычислительные возможности такого устройства остаются зачаточными, а браузера (насколько мне удалось выяснить), пока не существует. Одни из самых многообещающих вариантов применения непосредственно связаны с лечением и профилактикой глазных болезней, в частности, глаукомы. Умная линза может измерять внутриглазное давление, следить за его изменениями и предупреждать или отдалять потерю зрения.
Также можно купировать глаукому, если линза будет механически воздействовать на форму самой ракушки, чтобы стимулировать отток лишней внутриглазной жидкости.
В отличие от умных очков линза обходится без камеры, а отслеживает движение глаза по движению самого глазного яблока, на котором находится. Она фиксирует движение примерно по тому же принципу, по которому работает шагомер в смартфоне или умных часах, и в принципе более точно улавливает направление взгляда. Компания Mojo Vision не стала пытаться встроить в линзу компьютер и реализовала его в виде отдельного устройства (в терминологии Mojo Vision – «реле», relay), которое принимает сигнал с линзы и носится на шее.
В современных линзах Mojo Lens установлен крошечный процессор Arm Cortex M0, обрабатывающий поток зашифрованных данных, поступающих на линзу и с линзы. На шейном компьютере работают приложения, интерпретируется поступающая с линзы информация, а также с периодичностью 10 миллисекунд корректируется с учётом движения картинка, которую видит пользователь. Поскольку область обзора невелика (на линзе умещается 300 пикселей), быстро ходить в таких линзах нельзя, чтобы не дезориентироваться. Вот как выглядит прототип линзы, сконструированный в 2020 году.
Качество картинки
Отдельная проблема связана с фокусным расстоянием человеческого глаза — как пользователь увидит то, что отображает линза? Здоровый глаз может чётко рассмотреть объекты, расположенные не менее чем в 10 см от роговицы. Отдельный светодиод даст в поле зрения просто яркое расплывчатое пятно. Готовая технология – использовать не одну линзу, а несколько более мелких, накладываемых друг на друга как кольца в детской пирамидке. Такие наборы линз уже используются в косметической хирургии для фокусировки лазера, а также в фотолитографии для вычерчивания узоров на фоторезисторах. В случае с контактной линзой можно разбить пиксельную картинку на участки и присвоить каждую группу отдельной микролинзе, и расстояние между ними может составлять не более 360 мкм. В таком случае изображение будет выглядеть для пользователя зависшим в воздухе, но при этом достаточно чётким.
Другой способ добиться резкости изображений — использовать сканирующий микролазер или решётку таких микролазеров. Лучи от лазера рассеиваются значительно слабее, чем от светодиодов, поэтому и картинка будет гораздо резче. Линзу можно было бы составить из нескольких секций, подобно витражу или фасеточному глазу, так, чтобы секции были подвижными, и каждая проецировала на сетчатку свой цвет из гаммы RGB. В таком случае разрешение картинки зависело бы, прежде всего, от толщины луча, при этом сами источники лазера потребовалось бы сделать настолько малыми, что их размеры приближались бы к нанометровым. С другой стороны, фасеточная конструкция позволила бы обойтись без массива микролинз, а значит, была бы гораздо тоньше.
В любом случае, площадь дисплея должна быть сравнима с диаметром зрачка, и поэтому всю оптоэлектронику пришлось бы располагать на площади около 1,2 мм. В настоящее время уже существуют светодиодные чипы диаметром 300 мкм, причём, светоизлучающая зона на каждом таком чипе представляет собой кольцо диаметром 60 мкм. Для того, чтобы на линзе удалось разместить решётку из 3600 пикселей, диаметр каждого из них, равно как и расстояние между отдельными пикселями, не должны превышать 10 мкм. Эта задача выглядит решаемой.
Кроме того, требуется не допустить соскальзывания линзы относительно зрачка и избежать раздражения глаза. Роговица глаза отличается высочайшей плотностью нервных окончаний и примерно в 300 — 600 раз чувствительнее кожи. Отчасти поэтому практически невозможно протянуть к умной линзе провода и подключить даже к самым миниатюрным батареям. В лучшем случае батареи будет хватать примерно на сутки, и её придётся каждую ночь перезаряжать.
Питание и софт
В 2024 году группа учёных из университета штата Юта под руководством Эрфана Пуршабана предложила устройство, извлекающее энергию из слезы, омывающей линзу, а также из моргательных движений человека. Поскольку слеза — это солёный раствор, она в данном случае используется в качестве электролита. Сама линза является гибкой и состоит из силикона, но на ней команда закрепила восемь фотоэлементов диаметром 1,5 на 1,5 мм и толщиной 0,1 мм, которые действуют в качестве солнечных панелей. Система улавливает как электрический, так и солнечный свет, генерируемого ею электричества достаточно для функционирования линзы, а столь слабый ток не опасен для глаза.
Как уже успели понять читатели, умные контактные линзы ценны не только как интерфейс дополненной реальности, но и как диагностический инструмент. Одни из самых простых сенсоров, которые в них можно встроить уже сегодня, позволяют измерять уровень глюкозы и незаменимы для диабетиков. Контактная линза постоянно омывается слезой, поэтому такой анализ ведётся в режиме реального времени незаметно для пользователя. Уровень биомаркеров, замеряемых в слёзной жидкости, коррелирует с их уровнем в кровотоке. Кроме глюкозы таким образом можно следить за холестерином, калием, натрием и мгновенно отправлять данные лечащему врачу или на мобильный телефон.
На момент подготовки статьи контактные линзы Mojo Vision ещё не транслируют данные из приложений с мобильного телефона, так как беспроводная связь слишком неустойчивая. Однако пользователи, тестировавшие прототип, описывают неплохой набор приложений, которые разработаны для шейного компьютера и выводятся на линзу как на дисплей. Иконки приложений располагаются полукругом, и, чтобы открыть приложение, на его ярлыке нужно на несколько секунд задержать взгляд. В частности, предлагается приложение, выводящее таблицу с расписанием ближайших авиарейсов и напоминающее, с какого выхода будет посадка на рейс. Другое приложение позволяет просматривать фитнес-данные в виде диаграмм, похожих на картинку умных часов. Чтобы закрыть приложение, нужно расфокусировать взгляд или «посмотреть в потолок», немного закатив глаз.
Перспективы развития умных линз
Все вышеперечисленные технические изыски — лишь первые модели из нарождающейся отрасли, пока страдающие от множества недостатков. Но конструирование умных линз — это возможность уйти от использования громоздких дорогих шлемов и очков, а производство сенсоров для них пока согласуется как с продолжающейся миниатюризацией техники, так и с развитием Интернета вещей. По-видимому, если такие линзы пойдут в серийное производство, то найдут применение, прежде всего, в медицине. Наряду с упомянутыми выше возможностями лечения глаукомы и различной диагностикой, умная линза может приостановить наступление слепоты, поскольку действует как камера высокого разрешения, а также может направлять сигнал в те области сетчатки, которые смогут составить картинку там, где глаз способен увидеть лишь расплывчатые пятна. Развитие этой технологии позволило бы здоровым пользователям видеть в темноте, в дыму, либо в инфракрасном и даже ультрафиолетовом спектре. В дальнейшем умные линзы можно было бы подключать к наушникам, чтобы компьютер транслировал непонятную информацию (например, перевод надписей) в режиме экранного диктора. Наконец, линзы могут значительно улучшить фокусировку взгляда, что позволило бы управлять гаджетами или дисплеями на большом расстоянии — таком, с которого можно рассмотреть контролы открытого приложения, передвигать на экране ползунки и окна, нажимать экранные кнопки одним движением глаз. Наконец, умные линзы могут обеспечить человеку недостижимую ранее остроту зрения и скорость реакции, упростить удалённое управление дронами и роботами, а также открыть принципиально новые возможности, если человек научится сканировать QR-коды так, как читает открытую книгу.
