Впервые про систему позволяющую отслеживать взгляд человека я прочитал в «Технике Молодежи» то ли за 1989, то ли за 1991 год. Тогда эта технология применялась в исследовательских целях. С тех пор прошло 20 лет, применение технологии расширилось на медицину, рекламную сферу и тестирование пользовательских интерфейсов. И вот, наконец, в этом году это технология наконец выходит на потребительский рынок. По слухам, Samsung Galaxy S4 получит функцию проматывания текста с помощью взгляда, точно мы об этом узнаем уже завтра, а моноблок Fujitsu Esprimo FH98/JD с системой отслеживания взгляда уже можно купить в Японии примерно за $2850.
Проект NUIA eyeCharm от компании 4tiitoo, который сейчас собирает деньги на Kickstarter, предлагает доступную технологию отслеживания взгляда. За 60 долларов, человек, поддержавший компанию, в августе этого года должен получить устройство eyeCharm. Устройство поддерживает обе версии Kinect — для Xbox и для Windows. Kinect для Xbox можно купить за $100. Его можно подключить к компьютеру с помощью USB кабеля. Итого это устройство позволяет получить систему отслеживания взгляда примерно за 165 долларов.
Само устройство представляет собой навесное дополнение к Kinect. Инфракрасный сенсор Kinect имеет разрешение всего в 640*480 при 30Hz, что явно недостаточно для точного отслеживания такого маленького объекта, как глаз при стандартном поле зрения камеры Kinect в 57° по горизонтали и 43° по вертикали. Поэтому в NUIA eyeCharm есть дополнительная оптика которая фокусирует поле зрения инфракрасного сенсора Kinect. Это дает возможность увеличить количество данных о глазах пользователя и делает всю систему возможной. Преимуществом Kinect является встроенная система наклона сенсора (27° вверх или вниз), которая дает возможность системе подстраиваться под положение головы пользователя и не выпускать его глаза из поля зрения.
Другим ограничением Kinect является его аппаратная задержка (латентность) в 80мс, что в сочетании с частотой обновления в 30Hz по идее должно давать не очень отзывчивую систему. Ответом на этот вопрос является то, что же такое на самом деле NUIA.
NUIA расшифровывается как Natural User InterAction. Это платформа разрабатываемая немецкой компанией 4tiitoo, как связующее звено между различными производителями оборудования способного отслеживать действия пользователя и разработчиками приложений, использующих эти данные. При этом NUIA не ограничивается только отслеживанием взгляда, но и позволяет распознавать движения и речь.
4tiitoo планирует выпустить бета-версию NUIA SDK для разработчиков 5 июля этого года. Но уже ясно, что 4tiitoo стремится сделать свое SDK универсальным и заявляет о том, что их они работают со множеством разработчиков железа для отслеживания взгляда, и их SDK поддерживает ввод от устройств созданных такими компаниями, как tobii и SMI, а также поддерживает устройства распознавания движений Kinect, Leap, the Asus® Xtion Pro, Creative® Interactive Gesture.
А eyeCharm — это просто первое устройство для отслеживания взгляда под платформу NUIA.
Вернемся к латентности Kinect. 4tiitoo заявляет, что их платформа NUIA всегда разрабатывалась именно под железо потребительского уровня, а не под трекеры взглядов применяемые в научных исследованиях, с высокой частотой обновления. И «магия» именно в софте, а не железе. Задержки, хаотичное движение взгляда и невысокая точность определения положения взгляда (которая в принципе не может быть точнее, чем 0.5° из-за особенностей человеческого глаза) может быть компенсирована в различных ситуациях благодаря сглаживанию, векторному анализу, и прогнозированию следующих действий на основе предшествующих. Это выходит за рамки технологии отслеживания взгляда и относится скорее к психофизиологии. К примеру, в ситуации, когда пользователь сначала быстро переводит взгляд между несколькими точками на экране, находит нужную, фокусирует на ней взгляд и нажимает кнопку, чтобы совершить какое-то действие, пользователь переведет взгляд на следующую точку еще до того, как палец нажмет кнопку до конца. Таким образом компьютер получит событие о нажатии кнопки в момент, когда взгляд уже ушел от той точки, на которой человек хотел совершить действие. NUIA компенсирует это в соответствии с текущей ситуацией. И при этом делает это не только для отслеживания взгляда но для всех остальных поддерживаемых способов взаимодействия между пользователем и компьютером.
В чем же проблема отследить взгляд человека? Отслеживание положения зрачка относительно центра глаза является тривиальной задачей. Устройство, позволяющее отслеживать положение зрачка, можно сделать за 30$.
Нетривиальной же задачей является определение положения головы. Устройства представленные на рынке сейчас решают эту задачу с помощью дополнительных приспособлений закрепляемых на голове.
К примеру, устройство отслеживания положения головы Natural Point Trackir 5 для работы требует либо бейсболки с отражателями:
Либо специальной клипсы, крепящейся на гарнитуре:
Хотя для некоторых устройств эта проблема не стоит. Для Google Glass, к примеру. И Google явно собираются использовать отслеживание взгляда в Glass. Патент на разблокирование Glass с помощью отслеживания взгляда они уже получили.
NUIA дополнительные приспособления не требуются, похоже они решили проблему определения положения головы без дополнительных маркеров.
Но эта задача меркнет по сравнению с задачей фильтрации движений глаза. Глаз человека совершает 10-20 движений в секунду и большинство из этих движений бессознательны и хаотичны. Именно то, как отличить сознательные движения глаза от бессознательных и является основной проблемой в отслеживании взгляда. И именно это и является основной инновацией в данном проекте. То, насколько хорош их алгоритм фильтрации движений глаз и определит успех платформы.
Если 4tiitoo удастся сдержать данные обещания, то NUIA станет настоящим прорывом и изменит то, как мы взаимодействуем с компьютером.
Дополнительная информация по теме.
Проект NUIA eyeCharm от компании 4tiitoo, который сейчас собирает деньги на Kickstarter, предлагает доступную технологию отслеживания взгляда. За 60 долларов, человек, поддержавший компанию, в августе этого года должен получить устройство eyeCharm. Устройство поддерживает обе версии Kinect — для Xbox и для Windows. Kinect для Xbox можно купить за $100. Его можно подключить к компьютеру с помощью USB кабеля. Итого это устройство позволяет получить систему отслеживания взгляда примерно за 165 долларов.
Само устройство представляет собой навесное дополнение к Kinect. Инфракрасный сенсор Kinect имеет разрешение всего в 640*480 при 30Hz, что явно недостаточно для точного отслеживания такого маленького объекта, как глаз при стандартном поле зрения камеры Kinect в 57° по горизонтали и 43° по вертикали. Поэтому в NUIA eyeCharm есть дополнительная оптика которая фокусирует поле зрения инфракрасного сенсора Kinect. Это дает возможность увеличить количество данных о глазах пользователя и делает всю систему возможной. Преимуществом Kinect является встроенная система наклона сенсора (27° вверх или вниз), которая дает возможность системе подстраиваться под положение головы пользователя и не выпускать его глаза из поля зрения.
Другим ограничением Kinect является его аппаратная задержка (латентность) в 80мс, что в сочетании с частотой обновления в 30Hz по идее должно давать не очень отзывчивую систему. Ответом на этот вопрос является то, что же такое на самом деле NUIA.
NUIA расшифровывается как Natural User InterAction. Это платформа разрабатываемая немецкой компанией 4tiitoo, как связующее звено между различными производителями оборудования способного отслеживать действия пользователя и разработчиками приложений, использующих эти данные. При этом NUIA не ограничивается только отслеживанием взгляда, но и позволяет распознавать движения и речь.
4tiitoo планирует выпустить бета-версию NUIA SDK для разработчиков 5 июля этого года. Но уже ясно, что 4tiitoo стремится сделать свое SDK универсальным и заявляет о том, что их они работают со множеством разработчиков железа для отслеживания взгляда, и их SDK поддерживает ввод от устройств созданных такими компаниями, как tobii и SMI, а также поддерживает устройства распознавания движений Kinect, Leap, the Asus® Xtion Pro, Creative® Interactive Gesture.
А eyeCharm — это просто первое устройство для отслеживания взгляда под платформу NUIA.
Вернемся к латентности Kinect. 4tiitoo заявляет, что их платформа NUIA всегда разрабатывалась именно под железо потребительского уровня, а не под трекеры взглядов применяемые в научных исследованиях, с высокой частотой обновления. И «магия» именно в софте, а не железе. Задержки, хаотичное движение взгляда и невысокая точность определения положения взгляда (которая в принципе не может быть точнее, чем 0.5° из-за особенностей человеческого глаза) может быть компенсирована в различных ситуациях благодаря сглаживанию, векторному анализу, и прогнозированию следующих действий на основе предшествующих. Это выходит за рамки технологии отслеживания взгляда и относится скорее к психофизиологии. К примеру, в ситуации, когда пользователь сначала быстро переводит взгляд между несколькими точками на экране, находит нужную, фокусирует на ней взгляд и нажимает кнопку, чтобы совершить какое-то действие, пользователь переведет взгляд на следующую точку еще до того, как палец нажмет кнопку до конца. Таким образом компьютер получит событие о нажатии кнопки в момент, когда взгляд уже ушел от той точки, на которой человек хотел совершить действие. NUIA компенсирует это в соответствии с текущей ситуацией. И при этом делает это не только для отслеживания взгляда но для всех остальных поддерживаемых способов взаимодействия между пользователем и компьютером.
В чем же проблема отследить взгляд человека? Отслеживание положения зрачка относительно центра глаза является тривиальной задачей. Устройство, позволяющее отслеживать положение зрачка, можно сделать за 30$.
Нетривиальной же задачей является определение положения головы. Устройства представленные на рынке сейчас решают эту задачу с помощью дополнительных приспособлений закрепляемых на голове.
К примеру, устройство отслеживания положения головы Natural Point Trackir 5 для работы требует либо бейсболки с отражателями:
Либо специальной клипсы, крепящейся на гарнитуре:
Хотя для некоторых устройств эта проблема не стоит. Для Google Glass, к примеру. И Google явно собираются использовать отслеживание взгляда в Glass. Патент на разблокирование Glass с помощью отслеживания взгляда они уже получили.
NUIA дополнительные приспособления не требуются, похоже они решили проблему определения положения головы без дополнительных маркеров.
Но эта задача меркнет по сравнению с задачей фильтрации движений глаза. Глаз человека совершает 10-20 движений в секунду и большинство из этих движений бессознательны и хаотичны. Именно то, как отличить сознательные движения глаза от бессознательных и является основной проблемой в отслеживании взгляда. И именно это и является основной инновацией в данном проекте. То, насколько хорош их алгоритм фильтрации движений глаз и определит успех платформы.
Если 4tiitoo удастся сдержать данные обещания, то NUIA станет настоящим прорывом и изменит то, как мы взаимодействуем с компьютером.
Дополнительная информация по теме.