1. Необходимость и постановка задачи
Статья написана, прежде всего, для людей, которым трудно или невозможно работать на компьютере общепринятым способом: нажимая кнопки на клавиатуре и двигая мышь. Постараюсь рассказать, как была сделана система, которая позволяет управлять компьютером при помощи одного только взгляда. Сразу оговорюсь, что приведённое решение может плохо работать, если человек носит астигматические очки/очки с линзами разных диоптрий.
Итак, есть только глаза и компьютер. Ничего другого использовать нельзя, — ни педалей, ни поворота головы, ни преобразования речи в текст.
2. Выбор из существующих решений
Поиск в интернете по ключевым словам «Eye Gaze Tracking» и «Assisitive Technology» даёт множество ссылок, после копания в которых прихожу к выводам:
- Готовые устройства существуют, но стоят удивительных денег; на территории России их никто не продаёт, не обслуживает; программное обеспечение не предусматривает работу с русским языком (в частности, нет клавиатуры с кириллицей).
- Есть программное обеспечение с открытым исходным кодом, нацеленное на создание самодельных систем. Испытания со своей камерой не дают приемлемого качества работы.
- Есть возможность купить устройства для разработчиков (developer edition) по сходной цене в компаниях Tobii и TheEyeTribe. Но по схеме «утром — деньги, вечером — стулья», то есть предзаказ можно оформить осенью 2013 года, а получить устройство — в начале 2014 года.
Для справки, в разделе «5. Другие способы, которые я не попробовал» привожу описание разных устройств, о которых я набрал информацию.
Неожиданно в середине декабря компания Tobii меняет концепцию, переходит на разработку нового устройства EyeX, а своё старое устройство REX рассылает разработчикам по цене, в три раза ниже первоначальной и прямо сейчас, уверяя, что написанный для REX код будет работать и с EyeX.
Долго думать не стал, заказал REX, на основе которого и сделана система.
[исправление от 22.08.2017] В настоящий момент появились более современные айтрекеры, которые также могут быть использованы (см. ниже)
3. Детали реализации
3.1. Аппаратная часть
3.1.1. Вариант первый: Tobii Eye Tracker 4C
Наиболее актуальная на лето 2017 года модель недорогого айтрекера.
Рекомендую именно это устройство. По сравнению с моделью EyeX:
- продаётся в России (около 11 500 рублей)
- не требует порта USB 3.0, достаточно USB 2.0
- меньше светит в глаза красными лампочками
- меньше грузит процессор
- провод USB жёстко заделан в корпусе, а не вываливается из mini-USB разъёма
- железо поновее
3.1.2. Вариант второй: Tobii EyeX
Предыдущая модель от Tobii. Сейчас ещё можно купить, но только если с деньгами совсем туго. Приготовьтесь глазеть на красные лампочки. Тем не менее, очень достойный аппарат для своего времени.
Внимание! Для работы EyeX требуется USB3! Если в вашем компьютере нет портов USB3, устройство работать не будет!
Заказать устройство можно на сайте Tobii.
Доставляют UPS'ом из Швеции.
3.1.3. Другие поддерживаемые устройства
Tobii REX – больше не продаётся, но была очень хорошая машинка с двумя камерами.
TheEyeTribe – больше не продаётся. Так себе железка. Хотя и сделала прорыв в области малобюджетных айтрекеров, заставив Tobii существенно снизить цены.
GazePoint GP3 – весьма дорогой прибор, в то же время уступающий более дешёвым приборам от Tobii.
3.2 Программное обеспечение
В комплекте с устройствами идут только демонстрационные программы, призванные показать, на что способно устройство, и средства для написания своих собственных программ (SDK). Документация, которая идёт с SDK, можно сказать, никакая. Но есть примеры на С++ и С#, изучив которые, можно понять, как и что надо делать.
При попытке использовать программное обеспечение от других, более дорогих моделей Tobii, именуемое Tobii Gaze Interaction, ничего не получилось. Но понравилась идея, там реализованная.
Итак, программное обеспечение пришлось писать самому.
Была написана программа, которая позволяет имитировать глазами действия мышью: левый, правый, двойной щелчок, drag-and-drop, колесо прокрутки, а также набирать текст глазами на виртуальной клавиатуре.
Лучше, впрочем, один раз увидеть. Демонстрацию работы программы приглашаю посмотреть здесь.
Программа доступна для скачивания (в том числе в исходных кодах) на github: здесь.
Для скачивания нужно нажимать кнопку «RAW» — так принято на github.
Подробная инструкция по установке программы приведена вот здесь. Пусть вас не смущает, что там описывается только работа в режиме таблицы.
Программа пригодилась нескольким людям из разных стран, больным боковым амиотрофическим склерозом (БАС). Вот в этом клипе фонда «Милосердие» рассказана одна из таких историй.
4. Проблема работы в очках
Используемое устройство, так же как и большинство других аналогичных, использует для определения направления взгляда блики на зрачках, которые получаются от инфракрасной подсветки. К сожалению, очки добавляют паразитные блики.
Несмотря на то, что при настройке устройства под конкретного пользователя есть возможность указать, что человек носит очки, это не слишком помогает, устройство постоянно теряет положение зрачков.
Буду благодарен за проверенные рекомендации по устранению бликов на линзах очков в инфракрасном диапазоне.
5. Другие способы, которые я не попробовал
[устаревшая информация, это было актуально в 2013-2014 годах]
Сразу оговорюсь, что устройства используются не только для облегчения работы на компьютере для людей с ограниченными возможностями, но и, например, для исследования того, каким частям веб-страниц пользователи уделяют наибольшее внимание. Поэтому иногда за такие системы заламывают чудовищные деньги. Впрочем, и за устройства для инвалидов часто заламывают удивительные деньги.
5.1. Продукты коммерческих компаний
SMI — senso-motoric instruments
Их устройства можно посмотреть вот здесь.
Устройства можно купить в России (не буду давать ссылку), но когда я поинтересовался ценой самого дешёвого, мне озвучили цену в один миллион двести тысяч рублей. До свидания, SMI.
Tobii
Фирма давно выпускает продукты для людей с ограниченными возможностями. Даже Intel инвестировала в них несколько миллионов долларов. У них был альянс с фирмой Dell, когда планшет поставлялся с железкой для отслеживания глаз, причём техническую поддержку оказывала Dell.
На русском можно прочитать здесь.
На английском — на их сайте.
Много всего про эти устройства можно посмотреть на youtube.
Совсем недавно цены начинались с $4000. В настоящее время (январь 2014) цена на PCEye упала до $2000, но софт не русифицирован (Tobii Gaze Interaction).
EyeTech
Тоже давно работают в этой сфере, кажется с конца 90-х. Их устройства более аляповатые, но очень понравился софт, демонстрацию которого можно посмотреть вот здесь.
В то же время есть клип, на котором человек моргает глазами для нажатия на кнопку мыши — это не понравилось, обморгаешься. У Tobii такого не видел.
Есть три устройства, различающихся только размером, для разных мониторов, от ноутбука до 30 дюймов. Цена, которую мне удалось найти — $8700. Господа не скромничают.
Но то, как работает их софт, приметим.
DynaVox
Специализированное устройство, нельзя пользоваться стандартными компьютерными программами.
EyeGaze Edge (от LC Technologies)
Монстроподобное устройство, включающее в себя камеру и компьютер, который обрабатывает её данные. Можно подсоединить весь этот агрегат к своему компьютеру (в том числе беспроводно), тогда он заменит мышь и клавиатуру, что позволит работать с обычными программами. Опять 8-10 тысяч долларов.
Вроде бы есть набор «EyeGaze Edge Pack», где компьютер вы используете свой, просто добиваете в него их камеру и софт, но цены на него не нашёл нигде.
Это основные игроки на рынке. Одна из маленьких новых амбициозных контор, которая сама не смогла довести до ума свой продукт, тем не менее не поленилась раскритиковать лидеров и привела вот такую табличку, из которой понятно, что сами они самые крутые (хотя продукта ещё нет, а демо-ролик показывает, что позиция зрачка всё время скачет). Но сравнение остальных весьма показательно. Хотя оборудование там приведено часто уже устаревшее, но можно оценить порядок цен и кто продвинулся дальше.
5.2. Проекты с открытым исходным кодом
К сожалению, ни одна из упомянутых ниже программ не дала достаточно точного определения направления взгляда на имеющемся оборудовании (видеокамера PC104E с режимом ночной съёмки и отдельно расположенная инфракрасная светодиодная подсветка). Тем не менее, возможно у кого-то заработает лучше.
GazeTracker
Рекомендую начать с того, что посмотреть клип на этой странице.
Проект развивался в университете ИТ Копенгагена. Развивался где-то до конца 2010 года, после чего впал в апатию. Тем не менее многими уважаем за свою открытость, некоммерциализованность и определённые достижения. Изначально был нацелен на возможность работы с оборудованием типа «сделай сам» (DIY — do it yourself). Многие самодельщики использовали этот софт со своими железками, часто обходившимися им в 20-30 долларов. См., например, вот это.
Текущая версия 2.0 beta, до этого был ряд стабильных версий, например 1.6, 1.8.
В инструкции по использованию упоминается, что сами разработчики использовали камеру Sony HDR-HC5 с одной или двумя лампами подсветки от той же Sony, модель HVL-IRM.
На сайте [относительно] живой форум, можно пообщаться если не с разработчиками, то с апологетами.
Haytham
Университет ИТ в городе Копенгагене не забросил работы после того, как команда GazeTracker свалила. Теперь у них есть куда более красивая система:
Это не одна программа, а сервер, раздающий положение зрачка клиентам по сети. Один из клиентов — это программа Haytham_Monitor, которая управляет курсором мыши. Если бы хорошо заработала на моём железе, не было бы нужды ничего делать. Удачи ребятам.
