Исследование, опубликованное в журнале Nature Machine Intelligence, представляет носимую систему, предназначенную для помощи в навигации слепым и слабовидящим людям. Система использует алгоритмы искусственного интеллекта (ИИ) для анализа окружающей среды и отправки сигналов пользователю при приближении к препятствию или объекту.

Носимые электронные системы визуальной помощи предлагают многообещающую альтернативу медицинским процедурам и имплантируемым протезам для слепых и слабовидящих. Эти устройства преобразуют визуальную информацию из окружающей среды в другие сенсорные сигналы для помощи в повседневных задачах. Однако современные системы сложны в использовании, что препятствует их широкому распространению.

Лэйлэй Гу и его коллеги представили носимую систему визуальной помощи, которая может предоставлять направление движения с помощью голосовых команд. Авторы разработали алгоритм ИИ, обрабатывающий видео с камеры устройства для определения безопасного маршрута для пользователя.

Сигналы об окружающей среде перед пользователем могут передаваться через наушники с костной проводимостью. Также были созданы эластичные искусственные "кожи" для ношения на запястьях, которые передают вибрационные сигналы для указания направления движения и избегания боковых препятствий.

Авторы протестировали устройство с гуманоидными роботами, а также со слепыми и слабовидящими участниками в виртуальной и реальной средах. Они наблюдали значительное улучшение навигации и после-навигационных задач среди участников, таких как способность избегать препятствий при прохождении лабиринта и возможность дотянуться и схватить объект.

Инженеры «оживляют» язык жестов, используя ИИ для перевода в режиме реального времени