Умная белая трость. Часть 1

В статье рассматриваются вопросы, касающиеся разработки устройства навигации для незрячих людей.  Материал представлен в двух частях. В первой части приведен обзор коммерческих и экспериментальных разработок. Во второй части речь пойдет о моих разработках.

По данным Международного агентства по профилактике слепоты, сегодня примерно 284 миллиона жителей Земли имеют те или иные нарушения зрения, около 39 миллионов из них полностью его лишены. 

Чтобы немного погрузить читателя в проблему, упомяну результаты исследований, проведенные в Москве в форме опроса в 2020–2021 гг.

Ориентация как процесс, в котором незрячие горожане задействуют разные навыки и комбинируют несколько способов действий, редко становится предметом изучения (Williams et al. 2013). Основное внимание ана­литеков сосредоточено на конкретных способах перемещения, таких как передвижение с помощью GPS (Kuriakose et al. 2020), с собакой - поводырем (Lloyd et al. 2008; Craigon et al. 2017) или с ультразвуковой тростью (Sen et al. 2018).

 Рассказывая о своих повседневных маршрутах, участники опроса упоминали различные навыки ориентации, связанные со считыванием и моде­лированием пространства при помощи тактильной, вестибулярной и звуковой чувствительности, светоощущения, обоняния и интуиции, научение которым происходило самостоятельно или при помощи специалистов, нередко в специальных учреждениях.

Первым способом ориентации в городе является тактильное считывание пространства, когда незрячий человек касается окружающих объектов специальной тростью или частями тела и использует эту информацию для составления маршрута. Пользуясь тростью, незрячий человек совершает поступательные движения, очерчивая пространство впереди себя – с отрывом трости от поверхности или без, в зависимости от подвижности наконечника. Опрашиваемые описывали подобный способ использования трости как конвенционально правильный – именно ему обучают на специализированных курсах по ориентированию в пространстве. Однако реальная практика использования трости может варьироваться, поскольку специальное обучение часто оказывается недоступным и незрячие горожане учатся пользоваться тростью самостоятельно.

Трость позволяет незрячему чувствовать границу между различными частями улицы – например между пешеходной и проезжей частью, или между тротуаром и газоном. Граница может определяться как изменение относительного уровня разных частей дороги или как изменение покрытия, включая специальную тактильную плитку, дающую различную фоновую вибрацию на трость: «Обычно они так расположены – какая-то дорожка, и, например, справа газон. И просто ты идёшь по дорожке, ну, как я делаю, я просто тростью захожу то на газон, то с него. Чуть-чуть, туда-сюда. То же самое по бор­дюру» (Егор).

Понимание границ между частями улицы создаёт представление о перспективе и сменах направления улицы. Кроме фоновых различий в вибрации, трость позволяет различать объекты, находящиеся на пути идущего. Различение объекта связано с резким изменением фонового уровня вибрации – прерывания её резким ударом, или исчезновением ви­брации из-за отсутствия препятствия: «Мы ориентируемся, вот, мусорница какая-то, врезался в нее, вот и замечательно, значит, через какое-то время нужно поворачивать … или столбики, которые не позволяют машинам въезжать на тротуары. Вот это очень удобно» (Геннадий).

Такое столкновение с объектом служит ориентиром для смены траектории движения и корректировки маршрута или для локальной корректировки в рамках заданной траектории:” Идешь-идешь, раз, тебе попадается машина, потом идешь, у тебя есть участок, где настежь открыта дверь в магазине, у которой все время стоят грузовики, в которые грузят продукты, и ты идешь и врезаешься в эту дверь или грузовик. Нужно его обойти (Мария).”

Аналогичным образом в практику тактильного ориентирования встраиваются объекты меньшего размера, расположенные обычно в закрытых помещениях и воспринимаемые с помощью прикосновений рук. Например, выполненные шрифтом Брайля указатели или прочие элементы. Так, описывая маршруты внутри университета, одна из участниц опроса рассказала о доске с прикрепленными на ней объявлениями как об ориентире по дороге к аудитории: «На четвертом этаже, чтобы дойти до преподавательской, можно коснуться гвоздей, которые там висят с бумажками» (Анастасия).

Вторым способом ориентирования в пространстве является вестибулярная чувствительность. Вестибулярные ориентиры состоят из рефлексии незрячим человеком своих ощущений, вызванных сменой направления, наклоном поверхности или резкими перепадами высот. Так, признаком окончания маршрута может стать замеченное информантом углубление в тро­туаре: «Потом, когда бордюр заканчивался, там было такое небольшое углубление, которое я ногами чувствовала, бежала обратно» (Анастасия).

Вестибулярные ориентиры могут свидетельствовать как о правильности, так и об ошибочности направления, в котором двигается незрячий человек. Например, увеличенное расстояние между платформой и выходом из вагона электрички означает, что опрашиваемы пропустил нужную ему станцию.

Третий способ ориентирования в пространстве связан с навыком, названным информантами «эхолокация». Эхолокация предполагает чувствительность к аудиальной среде города. Используя ее, незрячие люди составляют представление об окружающем пространстве, основываясь на расположении и специфике раздающихся в нём звуков. Незрячие горожане могут ориентироваться как на особый аудиальный фон, присущий определенным локациям, например, шум дороги или гул электростанции, так и на отдельные звуки, включая созданные в рамках программы адап­тации города аудиальные сигналы светофоров. В частности, ориентиром могут служить различные музыкальные жанры, играющие в расположен­ных на пути магазинах: «Музыка в ЦУМе играет, там обычно джаз какой-то, а дальше какие-то магазинчики, там обычно классическая музыка, чаще всего Чайковский играл» (Геннадий).

К ориентирующим фоновым характеристикам можно отнести разницу акустики в различных помещениях или между помещением и открытым пространством. Эхолокация оказывается особенно полезным инструментом для оценки перспективы и направления движения.

По сравнению с другими модальностями, например тактильной, слух позволяет незрячим пешеходам ориентироваться на больших расстояниях. Потоки людей и машин, пере­мещающиеся параллельно с идущим незрячим, неизбежно оставляют ауди­альный след, повторяющий контуры, направления и повороты улиц и прочих маршрутов.

Таким образом, предстоящий поворот можно услышать быстрее по звуку проезжающих и заворачивающих машин, или проходящих людей, чем почувствовать тростью. Помимо звуков, которыми наполнена окружающая среда, ориентирующим может быть отражение звука, издаваемого самим идущим.

Такой способ ориентации особенно эффективно помогает в закрытых пространствах, заменяя тактильное ориентирование: “Я могу щёлкать пальцами и у меня отражается небольшая картинка – вот машина стоит припаркованная, если рядом кусты – я тоже пойму, если рядом забор – я это тоже пойму … с 5 лет мы с мамой начали называть окружающие предметы, и мама подумала, что мы видим. Но, понятное дело, это невозможно, и врачи сказали, что это не может быть … Мы ходили на прогулку, мама говорила, давайте посмотрим, что рядом – и мы с сестрой называли предметы … Даже когда в музыкальную школу ездила – там я очень быстро сориентировалась и ходила без трости» (Мария).

Практика освоения маршрута связана с запоминанием или «картогра­фированием» наиболее устойчивых объектов среды и их ситуативной верификацией при помощи попеременного включения упомянутых навыков.

Вернемся к техническим аспектам создания устройств для ориентировки и/или навигации незрячих пешеходов. В настоящее время современные варианты «белой» трости используют сонар и спутниковые системы позиционирования, ИИ и видеокамеры, однако они не могут заменить традиционную белую трость.

 Основываясь на информации от незрячих и испытаниях собственных разработок, изложу собственное видение данной проблемы и сформулирую требования к подобным навигационным устройствам.

Условно устройства навигации можно разделить на три группы: дальняя, средняя и ближняя.

Первая группа предназначена для определения положения человека либо пункта движения в масштабах страны, города, улицы, дома. В таких устройствах используется GPS, интернет, распознавание образов и их вербальное описание. Для этих устройств характерно большой объем передаваемой человеку информации и, как следствие этого, относительно большое время ее получения. Поэтому эти устройства позволяют ориентироваться глобально, но не могут помочь незрячему в локальном перемещении.

 Вторая группа устройств предназначена для определения направления локального движения, определение положения незрячего относительно окружающих его препятствий, желательно с распознаванием относительной скорости и направления движения.  Дальность действия таких система составляет от пяти метров до нескольких десятков метров.

Третья группа устройств предназначена для определения безопасного маршрута движения человека, предотвращения столкновений, указания стороны обхода препятствий и контроля рельефа поверхности движения.   Эти устройства фактически должны реализовать функции белой трости, обеспечить высокую скорость передачи информации человеку и не создавать для него усложнения процесса движения.  

Исходя из специфики навигации незрячего человека, результатов опроса и результатов испытания можно сформулировать общие требования к таким устройствам навигации:  

1)    Малый вес;

2)    Малые  размеры;

3)    Малая  цена;

4)    Свободные руки;

5)    Свободные уши;

6)    Высокая скорость получения информации человеком.

Теперь рассмотрим существующие решения, которые можно найти в интернете. 

 1)  Студент Василеиос Цормпацудис (Vasileios Tsormpatzoudis 2016) из Манчестерского университета создал прототип ультразвукового наконечника для трости, который позволяет слепым и слабовидящим определять препятствия на расстоянии до полуметра. Краткое описание устройства и необходимые для изготовления файлы опубликованы на форуме компании National Instruments.

Устройство под названием mySmartCane представляет собой сферический наконечник трости с ультразвуковым датчиком расстояния. Датчик подключен к вычислительной платформе NI myRIO, которая переводит показания датчика в звуковой сигнал, подаваемый в наушники пользователя.

myRIO реализованы некоторые простые математические вычисления для формирования и обработки сигнала. Например, чтобы повысить точность недорогого ультразвукового датчика, применен  алгоритм усреднения  который вычисляет  среднее «расстояние до объекта» за последние 10 выборок. Это значение расстояния до объекта используется для генерации серии слышимых «щебетаний», частота которых зависит от обнаруженного расстояния.  

Кроме того, код сравнивает расстояние до объекта с настраиваемым пользователем пределом «максимального расстояния». По умолчанию максимальное расстояние составляет 50 см, поскольку средний шаг человека равен 35 см, и следовательно, все, что больше 50, немного избыточно.

 2)    Sunu Band: «умные» часы для слепых людей (2017. Цена 45 тысяч руб.)

Ультразвуковой сонар . Гаджет создает вибрацию, которая сильнее либо слабее в зависимости от того, насколько близка или далеко объект.

3)    Экспериментальный проект Microsoft (2018) реализован под руководством Майка Синклера. https://www.microsoft.com/en-us/research/publication/enabling-people-visual-impairments-navigate-virtual-reality-haptic-auditory-cane-simulation-2/

Кроме традиционного шлема, в набор входит пояс с металлическим стержнем, который управляет специальной тростью. При помощи этого устройства незрячие смогут ощущать факт столкновения с различными предметами.

Пользователь может передвигать свободно тростью, которая оснащена специальными датчиками и тормозной системой. В момент столкновения трости с виртуальным предметом незрячий человек ощущает вибрацию, а движение трости автоматически останавливается. При этом система издает звук, который характерен исключительно для тех или иных реальных предметов.

 4)    Команда студентов из американского Техасского университета A&M разработали "умную" трость, которая способна помогать незрячим людям избегать препятствия (2018). Устройство, получившее название The Navigational & Object Visual Assistant (NOVA) и существующее пока в виде прототипа, способно испускать ультразвуковой сигнал по направлению движения пользователя и вибрировать, если обнаруживает что-то на пути.

 

Ультразвуковой сенсор подключен к моторчикам, которые вибрируют, причем чем сильнее сигнал от ультразвукового датчика, тем сильнее вибрация. Сенсор можно настроить таким образом, чтобы он сосредоточился на обнаружении объектов, находящихся выше пояса человека, т.е. на том, что очень сложно заметить с помощью обычной белой трости.

5)    Умная  белая трость разработанная в Стэнфордском университете в США (techxplore.com 2021, Себестоимость 36 тысяч руб.) помогает незрячим людям безопасно и эффективно ориентироваться в окружающей среде.  Используя технологии автономных транспортных средств, исследовательская группа создала трость, которая помогает людям обнаруживать и идентифицировать препятствия, легко передвигаться вокруг этих объектов и следовать маршрутам как в помещении, так и на улице. Информацию о своей разработке ученые опубликовали в журнале Science Robotics.  Это не первое такое устройство. Ранее разработанные сенсорные трости могут быть тяжелыми и дорогими - весом до 20 кг и стоимостью около 6 000 долларов. 

Трость весит  три килограмма, может быть собрана в домашних условиях из готовых деталей и бесплатного программного обеспечения с открытым исходным кодом и обходится пользователю в 400 долларов. Исследователи предоставляют открытый доступ к каждому аспекту проекта.

Трость оснащена лидаром, который обычно используют в беспилотных автомобилях, а также датчиками GPS, акселерометром, магнитометром и гироскопом. Вся эта начинка отслеживает положение, скорость и направление пользователя.

 На конце трости установлено небольшое колесо с датчиком, которое помогает не терять связь с поверхностью. Трость использует алгоритмы поиска пути на основе SLAM — метода одновременной локализации и построения карты — и на основе полученных данных  принимает решение, куда пойти пользователю.

Во всех экспериментах данная  трость увеличивала скорость ходьбы незрячих участников на 18 ± 7% и участников с ослабленным зрением на 35 ± 12% по сравнению с белой тростью. Увеличение скорости ходьбы может быть связано с точным управлением, снижением когнитивной нагрузки, меньшим количеством контактов с окружающей средой и большей уверенностью участников. Вращающийся наконечник трости может направлять пользователя для поворота в нужной точке на нужное количество градусов.

6)    Разработчик старпата, Куршат Джейлан, сам страдающий нарушениями зрения, хотел помочь другим людям с подобной проблемой.

Так появилась новая умная трость WeWalk. Трость с поддержкой GPS и голосовым помощником может сообщить пользователям о том, что происходит вокруг них, например, они проходят мимо McDonald's или находятся у выхода из метро. Ультразвуковой датчик обнаруживает объекты на уровне тела и головы и подаёт предупреждающую вибрацию в ладонь.

 7)     Устройство «Робин» Московской некоммерческой Лаборатории «Сенсор-Тех» (Сколково,2021, цена от 150 тысяч руб., вес 0.5 кг, размер 14x8x8 см3)

В рекламе сказано: Используя технологии ИИ, « Робин» распознает более 50 предметов, среди которых: предметы мебели; бытовая техника; еда и продукты; гигиенические предметы; животные и др. Расстояние до предметов «Робин» определяет ультразвуковым сонаром и говорит об этом владельцу в наушник либо вибратором.

Мнение незрячего человека о данном устройстве (2023) (рекомендую посмотреть):

В этом ролике   человек рассказывает и показывает, почему такие "крутые" устройства мало пригодны в реальной жизни незрячих людей.

Приведенные выше устройства в основном относятся ко второй группе навигационных устройств и обладают следующими существенными характеристиками: Вес от 0.5 до 3 кг, цена от 40 до 150 тысяч рублей. Для определения расстояния используется ультразвуковой датчик.  Для связи с человеком используется либо голос, либо вибрации. Традиционная белая трость выполняет роль устройства навигации третьего типа.