company_banner

Глазные интерфейсы. Доклад в Яндексе

    В феврале Яндекс провёл вторую конференцию «Я Фронтенд». Мы сделали её непохожей на наши традиционные Я.Субботники — почти все спикеры были не из Яндекса, чтобы зрители могли узнать об опыте разных компаний и разработчиков. За день было съедено 10 кг мармелада, гости посмотрели, как работает робот-курьер Яндекс.Ровер, а вечером поболели за участников контеста Code in the Dark.





    Как всегда, мы опубликуем конспекты нескольких докладов с конференции. Иван Бакаидов ibakaidov работает программистом в компании LINKa в Санкт-Петербурге. Он создатель программ альтернативной коммуникации и защитник прав людей без подписи. Ваня выступал на сессии комиссии по делам глухих в чрезвычайных ситуациях гуманитарного саммита ООН в Стамбуле. У нас на конференции он рассказал о «глазных интерфейсах» — поделился опытом разработки детских обучающих игр и приложений, управляемых с помощью устройства отслеживания взгляда и предназначенных для людей с ограниченными возможностями здоровья. Из конспекта и видео вы узнаете о подводных камнях в создании «глазных интерфейсов» и сможете ответить для себя на вопрос, будущее ли это.


    — Привет. Наверное, меня уже представили, я не знаю, так как писал этот текст вчера, а сегодня просто воспроизвожу его при помощи синтезатора речи. Поскольку у меня нет этого знания, я представлюсь еще раз. Я Иван Бакаидов. Мне 21 год. И основное мое занятие заключается в том, что я делаю интерфейсы, с помощью которых люди с поражением речи формируют фразы для синтезатора речи. Они могут печатать текст, выбирать картинки, нажимать одну кнопку, и все это должно выдавать полноценную речь. Мой проект называется LINKa.



    Но сейчас пробую новый вид устройства ввода информации в компьютер. Это айтрекер, устройство, которое сообщает в компьютер точку, куда смотрит человек на экране. Оно небольшое, крепится под экран. И, казалось бы, при довольно хорошей работе устройства, мы можем забыть про мышки и клавиатуры. Но так ли это? Об этом мой доклад.

    У моего доклада несколько целей:

    1. Показать вам, что будущее совсем близко, управление глазами уже стучится в потребительские двери и нам стоит начать пилить библиотеки для этой сферы.
    2. Рассказать об основном отличии таких интерфейсов от привычных нам.
    3. Вообще, паралитик на конференции — это полезно. Может, кто из вас посмотрит на меня и пойдет проверит работу фокуса на сайте, чтобы я мог по нему табом ходить.



    На самом деле, мне много лет рассказывали об этой технологии, а я много лет в нее не верил. Во-первых, модели айтрекеров стоили около 140 тысяч рублей, что весьма дорого. Во-вторых, как вы видите, у меня весьма дергается голова, и на первых моделях, которые я пробовал, это сильно мешало.



    Но сейчас компания Tobii выпустила игровой айтрекер стоимостью около десяти тысяч и с функцией отслеживания головы. То есть это устройство отслеживает движения головы и глаз и, я подозреваю, просто вычитает одно из другого. Стоит оговориться, что Tobii — это как Apple, только на рынке трекеров.

    Этот трекер предназначен для геймеров и служит вспомогательной функцией.



    Например, если ты смотришь в край экрана, камера игрока чуть чуть поворачивается в эту сторону. Или же в последних шутерах, если ты смотришь на противников, они помечаются на карте.



    Еще одна из функций этого трекера, которая идет из коробки, — помощь в меню открытых программ. То есть я зажимаю всем привычный alt+Tab, появляется представление окон, я смотрю на нужное окно и отпускаю alt+Tab. К этому привыкаешь моментально и потом не понимаешь, почему на твоем основном макбуке не работает эта функция.

    Ах да, эта штука включает компьютер, когда ты садишься на стол и выключает, когда ты уходишь за кофе.

    Кстати, айтрекер работает только с Windows, поэтому все теперь смотрят на меня как на больного человека, так как бегаю с макбуком, на котором Windows. Хотя, если бы там была не Windows, на меня все равно смотрели бы как на больного.



    Так, меню выбора программ — это круто, конечно, но мы же хотим управлять системой полностью без клавиатуры. Мы — это люди с двигательными ограничениями. И тут есть два пути решения. Первый — очевидный, можно управлять мышкой глазами. То есть курсор перемещается в позицию взгляда, а при удержании взгляда происходит клик.



    Второй путь решения — создание своих интерфейсов, заточенных под трекер. Как вы понимаете, если бы нормально работал первый путь, я бы не рассказывал про второй.



    Программ для первого пути несколько, я пробовал три:
    — Инструмент, встроенный в последние сборки винды, который просто включается в настройках специальных возможностей.
    — Программа Optikey английского разработчика.
    — Программа от русского программиста, название которой автор явно не выделил, поэтому буду называть ее троян. Ну, потому что антивирус говорит, что это троян.



    Программы в целом похожи по принципу, поэтому я не буду разбирать каждую. Появляется виртуальная панель с инструментами. Ты выбираешь один из этих инструментов, например клик левой кнопкой, потом смотришь в зону, куда хочешь кликнуть, эту зону увеличивают, ты смотришь секунду в конкретное место и происходит клик. Поднимите руку те, кто понимает, что это не наше будущее.



    Прибавьте к этому еще то, что мой взгляд дергается, так как глаз — это мышца, а все мышцы моего тела дергаются. Кстати, я тут записал траекторию взгляда — свою и обычного человека — во время чтения Лолиты. Как видите, мой взгляд уходит со строки наверх. Поэтому я прочитал за жизнь семь книжек и боюсь идти в институт. Я отправил эту картинку своему учителю литературы со словами: я не дебил.



    Но во всех этих программах есть функция экранной клавиатуры, которая работает по принципу квадратиков с буквами. При удержании взгляда в квадратике он нажимается. При этом квадратик прощает то, что ты отводишь с него взгляд на другие на пару долей секунды.

    И вы же уже поняли, какая светлая мысль пришла мне в голову?

    Правильно, надо делать интерфейсы из квадратиков. Соответственно, я решил написать библиотеку компонентов для айтрекера. Сейчас я ее готовлю к релизу. И по первым демо приложениям можно с уверенностью сказать, что айтрекер при условии создания специальных приложений под него заменит нам мышку, так как намного удобнее просто посмотреть на кнопку.

    Я не могу сказать то же самое про клавиатуру: все-таки слепая печать более эргономична и происходит на мыщечном уровне. В случае же с мышкой мы всегда смотрим на экран, куда нажимаем. И я думаю, что совсем скоро интерфейсы двинутся в эту сторону.

    В целом, мое виденье такое. Лет через пять технология айтрекинга плотно войдет в нашу жизнь, но это будут совсем другие интерфейсы. Они будут представлять собой сочетание клавиатуры и трекера. То есть, как и в примере с alt+Tab, пользователь будет открывать некие представления при помощи сочетания клавиш, а уже из них выбирать взглядом.

    Но хочу рассказать про другой мой проект.

    Поскольку навык управления взглядом довольно сложный для людей, я занялся разработкой простых казуальных игр, которые помогают приобрести нужную сноровку. Собственно, часть этих игр — калька с западного аналога за много денег. Сейчас я буду показывать игры и объяснять, какой навык они формируют по моему мнению. Проект заточен на детей с особенностями развития.



    Первая игра, которую я сделал, называется «Вспышка». Ее суть очень проста. На черном экране в случайном месте появляется Ленин, и при взгляде в эту область Ленин меняется на огонек. Затем история повторяется. Потом я заменил портрет Владимира Ильича, меня попросили.

    С этой игры начинается знакомство ребенка с трекером. Поскольку фигурка на экране одна, ребенок, скорее всего, будет смотреть на нее. За это он получает приятный звук.

    Игра следующего уровня тренирует удерживать взгляд на объекте. Принцип, опять же, прост: надо удержать взгляд на шарике, он становится красным, потом лопается. Вьетгонговец получает ракетой по голове, и все счастливы. Навык удержания взгляда нужен для управления кнопками. И есть целый цикл игр с кнопками.

    Посмотреть гифку со второй игрой

    Но сейчас я покажу игру на следующий уровень навыка. Это навык косого зрения. Он нужен в момент набора текста, когда тебе одновременно надо смотреть на нужную букву и следить за текстом, который ты вводишь. Поэтому я сделал игру Сизиф, где нужно взглядом приводить в движение вентилятор, который дует на шарик. Шарик надо закатить в горку. При отпускании взгляда с вентилятора шарик скатывается назад.

    Посмотреть гифку с третьей игрой

    Какие-то такие игры вышли, это мой любительский проект. Возможно, кто-то из вас захочет к нему присоединиться.

    Контакты:
    ibakaidov
    ivan@aacidov.ru
    — Хочу учиться
    Яндекс
    Как мы делаем Яндекс

    Комментарии 9

      +4
      Йо, привет, хабр. Спасибо, яндекс, за расшифровку. Если что сейчас команда Линка ищет андроид девелопера. Если интересно, пишите в личку
        0

        Наоборот, Сделайте в приложение Яндекс поддержку VoiceOver. Сейчас её вообще полностью нет. Управлять приложением невозможно. Уже несколько лет об этом говорил. И не только я. И ничего не происходит. Это очень важно пожалуйста обратите на это внимание универсальный доступ iPhone VoiceOver приложение Яндекс и Яндекс браузер

        0
        Почему нельзя сделать, чтобы мигание левого глаза нажимало левую кнопку мышки; а мигание правого глаза — правую? :))
          +1
          Нет такого api
            0
            По идее можно. Через SDK можно получить величину диаметра зрачка левого и правого глаза. Можно по ней сориентироваться. Вопрос в том, что поочередно моргать человек устанет. Да и периодически то один, то другой глаз «пропадает». Где-то мне встречался алгоритм, где чтобы нажать левую кнопку мышки нужно моргнуть обоими глазами один раз, а чтобы нажать правую — два раза.
          0
          С трекерами глаз нужно быть поаккуратней. Некоторые источники пишут, что длительное воздействие инфракрасного излучения ведет к ухудшению зрения.
            –2
            Яндекс, попробую ещё раз привлечь внимание к проблеме с вашим Яндекс Маркетом — невозможно отсортировать по цене плюс стоимость самовывоза.
            Предположим, надо купить мелочёвку, пусть будут аккумуляторы, цена — несколько сотен рублей, доставка дороже чем товар. Чего проще — вбил «AAA mah», отсортировал по цене, выбрал ближайший к дому магазин с приемлемой ценой, вечером сделал крюк в 500 метров, сэкономил 500 рублей на жадной доставке, купил. Ан нет. Самовывоз, если не из попы мира, тоже платный. И отсортировать с учётом стоимости самовывоза не получается. Когда почините?
              0
              О таких же вещах пишут в поддержку, обычно. Тем более, что тут даже близко не тематика маркета
              0

              Игрался я с этим tobii в составе алиенбука. Ну да, иногда ему удаётся. Иногда — нет. В целом сыро и "ненужно" как VR в 1995ом.

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое