Мышей можно заменить глазами

    Ученый из Стэнфордского Университета Ману Кумар (Manu Kumar) разработал программную платформу, которая, при наличии необходимого оборудования, сможет дать любому пользователю ПК возможность отказаться от привычной мышки и управлять ранее принадлежавшим ей курсором с помощью своих глаз.

    Логотип проекта Gaze-enhanced User Interface Design (GUIDe) в Стэнфорде
    Еще раньше Кумар создал похожее устройство, которое позволяло людям с ограниченной подвижностью комфортно работать с графическими интерфейсами ПК с помощью взгляда. Точка на экране, на которую в данный момент смотрит человек, отслеживалась в нем с помощью камеры высокого разрешения и пакета специального ПО. Действия, которые должны происходить после нажатия кнопок мыши, выполнялись после определенного количества морганий, когда взгляд зафиксирован на кнопке или, например, ссылке.

    Нынешняя разработка Ману стала развитием его первого детища и предназначена уже для всех пользователей. Отличительная особенность — замена морганий на более удобные нажатия клавиш клавиатуры. Пакет EyePoint работает вместе с разработанной в Стэнфорде системой слежения за взглядом с помощью камеры, которая регистрирует отраженные от хрусталика импульсы инфракрасных диодов. Размеры аппаратной части достаточно малы и ее вполне можно уместить в монитор ПК, как обычную веб-камеру для видео-связи.

    Самое сложным, по словам Кумара, было создать алгоритмы, которые могли бы в 100% случаев правильно распознавать взгляд человека на мелких деталях интерфейса. Главная проблема здесь заключается в том, что наши глаза почти никогда не находятся на одном месте — даже когда мы внимательно смотрим, казалось бы, в одну точку, зрачок постоянно дрожит, перенося фокус в пределах некого конуса.

    Кроме того, ученый хотел сделать общение с компьютером посредством разработанного им интерфейса как можно более естественным, ведь при продолжительной работе недопустимо, чтобы пользователь постоянно заботился о том, правильно ли он смотрит на кнопку. Для этого Ману использовал наработки своих коллег по проекту GUIDe (его логотип вы можете видеть на иллюстрации) и столетний опыт исследований поведения человеческого взгляда, которое на сегодня уже более-менее подробно изучено и описано.

    Этот проект стал одновременно темой докторской диссертации Кумара, которую он вел под руководством профессора Терри Винограда (Terry Winograd).
    Поделиться публикацией

    Комментарии 72

      0
      Круто, я был бы счастлив :) хотя наверное многое делать будет непривычно, например дизайнерам рисовать :)
        0
        Это было бы ОЧЕНЬ непривычно... я не готов пока отказаться от мышки...
          0
          Мне, почему-то, кажется что для рисования такой метод вообще не подходит. Стилус, мышка — подходят. Трекбол — на любителя... Но вот взглядом... Так и представляю себе сидит тело вырисовывая до миллиметра кривую... например в букве Б русского алфавита при создании нового шрифта и вдруг его отвлекают, тело оборачивается, а старательно выводимая кривая сбивается.
          + это будет жутко медленно (если учитывать компенсацию дрожания зрачка).
          • НЛО прилетело и опубликовало эту надпись здесь
              0
              Я согласен с этим утверждением, но этот метод не менее неудобен.
                0
                Dumau nado sovmestit, chto b kogda tochnost' otrisovki nenujna ispolzovat glaza, ved' udobney je budet
              +2
              Плохое зрение размытие по гауссу будет хорошо делать))))
              –1
              Глаз не может воспринимать неподвижное относительно сетчатки изображение - безусловный рефлекс. В противном случае человек может за минуту ослепнуть. Такая система не расчитана ни на что большее, чем управление - нажать кнопку, закрыть приложение...

              Боюсь, рисовать и дальше придется руками. Ну это пока не сделают прямое подключение к мозгу. Всего-то 600 Мб информации у нас в голове, пора Google'у уже передать общественности свои наработки по AI, связанные с работой нашего мозга.

              Я уже представляю - Kaspersky Brain Antihacker, Symantec AntivIrus... с таким успехом и до апгрейдов дойдем. Как в Матрице - платишь десятку, тебе заливают курс молодого бойца, можешь не раздумывая бежать в парк вечером, и гоняясь с окровавленным топром за девушками кричать что-то в стиле: "Я знаю кун-фу!"
              0
              рисовать мышью и так не удобно )
              врядли это вообще будет удобно - рисовать НЕ РУКАМИ, но очень забавно было бы взглядом изменить кисть, размер и выбрать цвет, не производя лишних действий :)
              ... а текст ввести голосом... нет... мыслью )))
            +6
            глаза мне нужны что бы видеть, а чтобы махать курсором по экрану или поднимать гантели у меня есть руки.
              +2
              format c: Yes/No?
              Лишний раз не там моргнул и стал папой привет!
              В онлайн магазины лучше уж с мышкой ходить
                +2
                Наверное примерно так же до того, когда существовали только клавиатуры, говорили о мышках ))
                  0
                  Я всё же за "мысленное" управление. Заодно и клаву выбросить можно.
                  ... да и монитор.
                    0
                    Вообще-то там написано:
                    "Нынешняя разработка Ману стала развитием его первого детища и предназначена уже для всех пользователей. Отличительная особенность - замена морганий на более удобные нажатия клавиш клавиатуры."

                    А насчет мысленного управления - это круто. Я, как раз, работаю в лаборатории, которая занимается Brain Computer Interface. Т.е. с помощью ЭЭГ можно управлять компьютером. Пока еще далеко до каких-то результатов. Пусть медленно, но мы движемся вперед. А сама система гибче, и потенциальных возможностей у нее больше.
                      0
                      Да и компьютер можно выбросить.
                      Просто силой мысли подключаться прямо к интернету. Как в конце того фантастического романа.
                        0
                        Тогда памяти добавить не помешает
                      0
                      Не наверно, а совершенно конкретно я слышал это, когда учил людей пользоваться мышью. "Да ну, не там нажмёшь, и привет... С клавиатуры как-то надёжнее..."
                        0
                        В Xerox в своё время тоже так подумали... ;)
                        Если бы не подумали — мы бы не знали бы о дядюшке Билли. Впрочем, время не терпит сослагательного наклонения.

                        Но для работы я, пока, предпочту мышку. Как говорил мистер Андэрсон выше
                        Я всё же за "мысленное" управление.
                        +3
                        Уже вижу как появляется eye-fraud: неожиданно появляющиеся на экране яркие объекты, смотря на которые, например, в темноте, пользователь непроизвольно моргает :)
                          0
                          ха, можно это использовать при подтверждение заказов ;)
                          0
                          Идея с кликами основанными на моргании конечно не очень хороша, но перемещение курсора было бы интересно.
                          0
                          Одно слово - Кумар! :)
                            0
                            Интересно как при этом эволюционировал бы веб чисто внешне. Ведь сейчас между привлечением внимания чем-то на странице и кликом в это что-то лежит долгий путь через мозг и последующее принятие решения. А тут можно что угодно повесить просто на onmouseover (oneyeover) и реклама будет расцветать буйным цветом (в буквальном смысле) при "случайном" падении на нее взгляда.
                              0
                              Если реклама станет назойливой появятся фильтры которые её будут отрезать и статус кво восстановится.
                                0
                                при дефолтных эфектиных фильтрах, вроде тех что в kis6, можно вообще про рекламу забыть ... кстати на этом сайте она вообще есть? ;)
                                  0
                                  Не знаю, я вижу только текстовую рекламу в шапке т.к. лень настраивать фильтр.
                              0
                              этот способ только для интернетзависимых тк мне кажется через час активного браузинга голова кругом пойдёт и ещё через будет ташнить + системы будут вылетать тк некоторые девушки умеют так закатывать глаза что порвёт не только софт ;)
                                0
                                Девушки не только глаза умеют так закатывать, но и кое-что ещё :-)
                                  0
                                  я думаю они всё же откажутся в шутеры играть ;)
                                    0
                                    Я вобще тяжело себе представляю как можно играть в шутеры с управлением глазами? Во время игры внимание всегда сконцентрировано по центру экрана. А так придется дергать взглядом для "доворотов" в нужном направлении. Нет уж... Тут ручник получше будет.
                                    з.ы. Такой фокус в играх признаю только тогда, когда такое же управление прицепят к очкам виртуальной реальности + к ним же прицепят датчик движения. + нунчаки от Wii. Вот это будет действительно круто. ;)
                                    з.з.ы. А в Nintendo вполне могут об этом думать...
                                      0
                                      поидее должно быть удобно - правда не долго ;)
                                0
                                Мне такой способ не кажется удобным.
                                  +4
                                  Сам факт разработки такой технологии уже сам по себе интересен, а применение обязательно найдётся :-)

                                  Ведь на свете есть инвалиды, а для них эта штука может оказать неоценимую услугу.
                                    +1
                                    инвалиды давно пользуются аналогичным софтом (для глаз) - его такого куча
                                      0
                                      но только для инвалидов
                                        0
                                        Спасибо, Вы меня просветили.

                                        Это очень хорошо, что о таких людях тоже кто-то заботится.
                                          –1
                                          Вы неправильно говорите. Инвалиды, негры... это всё некорректные названия. Надо говорить. Люди с ограниченными возможностями.
                                            0
                                            тогда можно уточнить "люди без возможности использования стандартными компьютерными манипуляторами";), а то сейчас и до латиносов доберёмся ;)
                                              0
                                              Если есть возможность - смотрите Euronews. Там всегда говорят корректно.
                                        0
                                        Интересно, как система себя веде если, скажем, человек сидит в очках(как я)? И как можно рисовать в PS, учитывая, что глаза дергаются очень быстро и рисуют прямые линии?
                                          +1
                                          Тестировал я эту хреновину еще 7 лет назад. Первые две минуты даже любопытно, затем постоянно движущийся вслед за зрачком курсор начинает дико раздражать - как бельмо на глазу, чесслово.
                                            0
                                            в таких системах логично просто убирать курсор, если он и так всегда рядом с пользователем.
                                              0
                                              Там проблема главная в том, что эту технологию пытаются приклеивать сверху на популярные нынче интерфейсы и, вообще, инфосферу. А интерфейсы у нас все заточены под мыша и под тык пальцем в некую физическую или абстрактную кнопку, в роли основного триггера для события, так сказать. В результате получается то ли велосипед с байдарочными веслами, то ли яхта с лыжными палками. Не в тему эта технология в мире веб-страниц и кнопочных интерфейсов. Куда как толковее ее применяют в военной авиации и системах безопасности.
                                                0
                                                это ведь не технологии проблема, а способа её применения.

                                                веб тоже пытались применить в формате старых медиа - коммерсант вон даже в виде картинок свою газету в вебе публикует - из этой же серии финт.

                                                по сравнению с мышью эта технология явно в выигрыше. мышь использует по сути последовательность глаза -> рука -> манипулятор -> курсор на экране. а "эта хреновина" сразу воспринимает сигналы глаз. замечательно!

                                                осталось проецировать картинку на сетчатку и станет намного интереснее.

                                                а парадигмы интерфейсов подстроятся, как только такие "указатели" можно будет производить в промышленных масштабах по 20$ штука.

                                                кстати, господин Ману мог бы придумать простую демонстацию такого интерфейса, в котором преимущества такого ввода были бы очевидными. на ум приходит какая-нибудь простенькая игра, от которой "глаз нельзя оторвать" :)
                                            0
                                            При чтении текста, думаю будет мешать.
                                                0
                                                «вот этого» — я имел в виду — вот этого ))
                                                  0
                                                  поидее почти аналогичного можно добиться если заставить систему работать с двумя мышами и уже будет шаг, правда софт не потянет такую фичу
                                                    0
                                                    В принципе да, но для меня неприемлемо. Вот сейчас специально достал вторую мышь, и представил, как бы я двумя управлялся… Мозг сломается :)
                                                      0
                                                      это с непривычки так кажется - а если ещё кнопки под все пальцы иметь и скрол удобный чтобы имитировать движение по рядам клавы вверх/вних, то можно и клаву убрать ... правда треск кнопок будет стоять во время набора постов ;)
                                                        0
                                                        две руки в машине охватывают две степени свободы, мышка тоже две. может поэтому человеку сложно управиться с двумя мышами?
                                                          0
                                                          если бы стандартный софт бы подерживал групповую работу через манипуляторы или найти толквовый софт который бы реализовал в одномышином софте управления через два (по ссылке в http://www.habrahabr.ru/blog/ui_design_a… с гугл-earth как раз так работают;)) - то можно было бы хоть попробовать нормально и понять насколько удобно (у меня дома сейчас три мышки (две 5btn и трэкбал), но управление всего одним курсором - но всё равно удобно) ... + мне кажется всё это есть, просто оно не распространяется и умирает во время попыток удачно загнать какой-нибудь крупной софт конторе
                                                        0
                                                        Как же люди машины водят? Две руки и две ноги занимаются одновременно совершенно разными вещами.
                                                          –1
                                                          Вот я думаю, что использовать свои руки и ноги намного приятнее и удобнее, чем какие-то там манипуляторы типа мышь, тем более в двойном экземпляре! Этот экран позволяет избавиться от лишнего элемента — мыши.
                                                        0
                                                        Две мышки это извращение. Полностью повторить возможности интерфейса iPhone на обычном компьютере даже с тремя мышками не удастся т.к. устройства разные. Приблизиться к цели можно с помощью "мышиных жестов" (Mouse gesture). Ссылки на софт есть в статье Wikipedia. Например, http://www.sensiva.com/ была чуть ли не первой в этом направлении.
                                                      0
                                                      я пробовал - неудобно, через пол часа хочется кулаком долбить в экран тк нету правой кнопки и надо дабл кликом пользоваться (у меня это отдельная кнопка - уже лет 8-мь)
                                                        0
                                                        Счастливый — пробовал :)
                                                        Я бы тоже хотел попробовать…
                                                          0
                                                          покупаешь просто сенсорный экран/панель для монитор и всё вперёд заместо мыши ;)
                                                            –1
                                                            Да ну, это же не совсем то получается, даже совсем не то. У обычной панели нет «мульти» ))
                                                              0
                                                              можно сказать мульти, можно двумя и более пальцами, главное выбрать режим грабли и тп - наверное при желании и её можно сделать полноценной мульти, но система и стандартный софт всё равно не готовы
                                                          0
                                                          левым глазом подмаргнул — левый клик. правым — правый ;)
                                                            +2
                                                            попробуй сейчас паралельно с каждым кликом мыши это поделать ;)))
                                                            только к утру отвыкни - а то завтра засмеют или в отпуск отправят ;)
                                                            0
                                                            1. Можно отключить необходимость даблклика при запуске приложений.
                                                            2. В WindowsMobile (КПК) правый клик реализован задержкой стилуса над объектом. Если тачскрины станут повсеместными и UMPC пробьют себе дорогу все эти мелочи уйдут в прошлое.
                                                          0
                                                          немного не в тему, но для тех кому инетересно про глаза — http://www.ufolog.ru/article.aspx?contro…
                                                            +2
                                                            Иногда столько нового узнаешь. Может пакет EyePoint как раз использует те самые узкие пучки биорадиационных излучений мозга? ) (именно те самые)

                                                            А вообще, в связи с дискретным характером зрения, пока восприятие остается непрерывным, глаз не может "показать" то, на что мы смотрим во всех деталях и добывает информацию постепенно. Так строится полная картинка.

                                                            Вот пример дрейфограммы.




                                                            ("Фото как" А. Лапин)

                                                            На глазное яблоко прикрепляется присоска с зеркальцем, блик которого регистрируется светочувствительной фотобумагой.

                                                            У каждого человека эта траектория индивидуальна и зависит даже от настроения. Прежде всего рассматриваются точки максимальной кривизны контура и точки пересечения контуров. Зная хотя бы это можно задавать смотрящему определенный путь движения (основы художественной съемки, изобразительного искусства). И все это будет происходить на уровне рефлексов.

                                                            Вот теперь думайте, нужна ли такая система обычному пользователю.
                                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                                0
                                                                Глаза имхо напрягаться будут сильнее.
                                                                На пальцы манипуляторы еще есть, вроде неплохо со стороны выглядит.
                                                                  +1
                                                                  Использовать моргания как клики неправильно, хотя как профилактика пересушивания глаза это хорошо.
                                                                    0
                                                                    С такими технологиями можно и с ума сойти:)
                                                                      0
                                                                      мне всегда казалась более удобной технология тачпада - всегда жалел, что на ноутах он такой мелкий.

                                                                      Проблему "дискретности зрения" ;) можно легко решить установив порог чувствительности, типа как скорость мышки.

                                                                      На самом деле нужно задать самый главный вопрос (как юзабилити, так и жизни, если глобально) - ЗАЧЕМ. Для чего нужен такой курсатор? Интернет чаще используется для [i]чтения[/i] и крутить страницы легче тачпадом с функцией скроллинга (ну когда тычешь в правую часть пада и "тянешь" палец вниз-вверх - страница скроллится) и движение глаза будет только мешать. Но если подумать о такой функции, как скроллинг по двум осям одновременно, в те моменты, когда изображение больше чем экран, то это становится удобно. Особенно, если мышой или вакомом в это же время нужно подгребать. Функция удобная для CG-шников и иллюстраторов, имхо.

                                                                      Также, когда ведутся постоянные разработки по увеличению размеров монитора и разрешаемой способности в нем, то весьма удобно будет, если бы экран приближался именно в том регионе, куда направлен взгляд. Скажем мы имеем моник В) с диагональю 30-35" и разрешением на нем 4096х2300 точек - гулять по такому полю довольно неудобно, и если к зрителю будет приближаться регион скажем 1024х800 точек, увеличивая находящийся под ним регион на 30-50%, то будет имхо гораздо лучше.

                                                                      Главное, не возлагать на глаза много усилий - они у нас и так из орбит лезут во время работы (не чтения! а именно работы - рисования, черчения, игр). Этот эффект стал проявляться недавно, после появления 3d-программ. Он напоминает вербализацию текста связками (для тех кто не знает: связки напрягаются во время чтения так, будто человек читает вслух) - глаза как-бы помогают приближать-отдалять, сдвигать и удерживать предметы, геометрию, окна на экране. Поэтому практически лезут из орбит, очень сильно напрягая мышцы вокруг глаз.

                                                                      и ещё: технологию отслеживания движения зрачка уже давно (лет 10) небезуспешно обрабатывают в НАСА, разрабатывая шлемы со встроенным зрачковым поисковиком цели. Короче, снова изобретают холодильник для убийства. Микроволновку уже изобрели... %)))
                                                                        0
                                                                        Согласен, обычным пользователем это совершенно не нужно. Лучше бы совершенствовали систему, которая предназначена для людей с ограниченными возможностями, там это действительно полезно и нужно.

                                                                        А мы будем беречь глазки и пользоваться пальчиками. так даже интересней =)

                                                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                      Самое читаемое