Сенсорные дисплеи и тачпады — вещи, с которыми мы взаимодействуем на протяжении всего нашего дня. Однако первые ЭВМ обходились без них: инструменты ввода прошли впечатляющий эволюционный путь.
Михаил Федосов, арт-директор «Наносемантики» и спикер курса Product Design Weekend, собрал для нас краткую историю развития человеко-машинные интерфейсов, рассказал об альтернативных способах ввода данных и о системах, которые могут стать популярны в ближайшем будущем. Под катом много текста и фотографий, вызывающих ностальгию.
Первый электронный цифровой вычислитель общего назначения, который можно было перепрограммировать для решения широкого спектра задач, был создан в 1945 году.
Пользователями первых ЭВМ были исключительно инженеры и программисты: взаимодействие с системой происходило посредством штекеров, перфокарт и перфолент.
Одним из первых персональных компьютеров был Altair-8800. Машина не имела ни клавиатуры, ни экрана. Пользователи вводили программы и данные для них в двоичном формате, щелкая набором маленьких ключей, которые могли занимать только два положения: вверх и вниз. Результаты считывали также в двоичном коде — по светящимся лампочкам.
Телетайп — электромеханическая печатная машина, используемая для передачи текстовых сообщений между двумя абонентами по простейшему электрическому каналу.
ЭВМ использовали телетайпы для ввода и вывода информации. Они не имели дисплеев — пользователь мог начать набирать команду в окне ввода только после получения специального сигнала на ленте.
Интересно, что в то время еще не существовало стандартов расположения клавиш и кнопок управления, и каждый производитель ЭВМ строил систему ввода информации, исходя из собственных соображений.
Одна из первых клавиатур для ПК, изготовленная в 1974 году по дизайну Тома Найта из Массачусетского технологического института. Клавиатура содержала множество управляющих клавиш и клавиш-модификаторов. Даже сейчас дизайн выглядит хорошо. Особенно можно отметить систему классификации клавиш: клавиши ввода данных серые, управляющие клавиши — синие с белым текстом, клавиши-модификаторы — синие с черным текстом.
Компьютерную мышь, созданную в СССР в 80-е годы, в народе называли «крысой».
Особенно сурово выглядит металлический шарик.
Естественно, это не первая мышь в мире, но одна из первых, созданных в СССР. Кстати, в качестве одного из ключевых элементов механизма использовался обычный подшипник, изготовленный на Челябинском Тракторном Заводе. Вот интересная выжимка из описания принципов работы:
А самая первая компьютерная мышь в мире была изобретена еще в 1964 году американским ученым Дугласом Энгельбаром.
Компьютерная система PLATO IV, появившаяся в 1972 году, имела сенсорный экран, работа которого основывалась на сетке инфракрасных лучей, сегментированной в формате 16х16. Но даже столь низкая точность позволяла пользователю вводить выбранные данные, нажимая на экран в нужном месте.
Первый телеавтограф, или графический планшет, был изобретен аж в 1888 году. Наиболее привычным для нас по механизму работы и самым известным из ранее изобретенных является планшет RAND Tablet, изобретенный в 1964 году. RAND Tablet использовал сетку проводников под поверхностью планшета, на которые подавались закодированные троичным кодом Грея электрические импульсы. Емкостно связанное перо принимало этот сигнал, который затем мог быть декодирован обратно в координаты.
Интересный принцип работы был у акустического планшета, перо которого генерировало искры при помощи искрового промежутка — воздушной прослойки, разделяющей электроды. Щелчки триангулировались серией микрофонов для определения местонахождения пера. Но принцип работы был довольно сложным, и планшеты давали сбой при посторонних шумах.
Особую популярность планшеты получили после выхода AutoCAD.
Первое устройство для распознавания речи появилось в 1952 году, оно могло распознавать произнесенные человеком цифры. А в 1963 году в США было презентовано устройство, способное распознавать целые фразы и выполнять команды.
Сейчас голосовые интерфейсы активно развиваются. Во-первых, появление и развитие нейросетей способствует более точному распознаванию голоса, повышая качество выполнения этой технологии и, как следствие, ее популярность. Технология достигла настолько высокого уровня, что даже речь человека с неидеальным произношением, находящегося в относительно шумном месте, успешно распознается.
Во-вторых, появилось множество устройств, где голосовой ввод информации иногда удобнее, чем любой другой: например, навигаторы или умные колонки.
Третьей причиной популярности голосового ввода является большой рынок Китая, где из-за сложностей ввода иероглифов повсеместно пользуются голосовым вводом и голосовыми сообщениями.
Помимо таких гигантов, как Amazon Alexa, Google Assistant, Siri или Алиса Яндекса, на рынке появляются небольшие, но сильные игроки, например, голосовой помощник SOVA (Smart Open Virtual Assistant), в разработке которого участвовал Михаил Федосов.
Главной особенностью этой умной колонки является децентрализованное распознавание речи, использование которого, как утверждают разработчики, позволяет отказаться от сбора конфиденциальной информации пользователя полностью. Также разработчики SOVA используют полностью открытый исходный код, чтобы дать возможность сторонним разработчикам улучшать модуль интеллекта колонки.
Можно отметить, что всеми этими устройствами ввода данных мы в большей или меньшей степени пользуемся и по сей день. С шестидесятых годов годов мало что поменялось идейно. Самые популярные способы ввода информации — по-прежнему компьютерная мышь, тачпад и голосовые команды, хотя частота использования каждого из них изменилась.
Но программисты и инженеры пробовали создавать и новые способы взаимодействия с пользователем. Одни были более удачны и выходили в производство, другие же оставались прототипами. Некоторые девайсы являются чем-то совершенно инновационным, а другие призваны лишь расширить или улучшить существующую функциональность. Давайте рассмотрим некоторые из них.
Трекбол — это устройство ввода данных, которое, по сути, является перевернутой механической компьютерной мышью. Принцип действия аналогичный, единственное отличие — вместо того, чтобы катать мышь по поверхности, пользователь катает шарик по самой мыши.
Более современные вариации трекбола интегрированны в геймпады или мыши.
Один из производителей трекболов, ITAC Systems, утверждает, что после четырехчасовой активной работы с мышью из-за усталости запястья рука становится до 60% слабее, тогда как использование трекбола не оказывает влияния на исследуемые показатели усталости руки.
Именно из-за напряжения мышц руки многие дизайнеры используют графические планшеты, даже если им не важны такие функции, как сила нажатия или большая рабочая поверхность.
Также многим нравится четкий обратный отклик девайса (такие люди намеренно покупают более громкие клавиатуры). В 2016 году корейская компания Pantech выпустила смартфон Pantech Sky IM-100, в котором ключевой фичей было колесико управления. На видео видно, как оно функционирует.
Но трекболы ни тогда, ни сейчас особой популярности не завоевали. Смартфон от компании Pantech не стал хитом, хотя свою небольшую группу фанатов найти успел.
Игровых контроллеров, имитирующих взаимодействие пользователя с реальными вещами из нашей повседневной жизни, существует огромное множество. Наверное, самый известный из них — Guitar Hero.
Суть этой игры заключается в том, чтобы вовремя нажимать на кнопки. Если пользователь справляется с этим заданием, то трек, который он «играет», звучит непрерывно и красиво. Если человек не попадает по кнопкам, раздается скрежет, и мелодия прерывается. Некоторые умельцы даже умудрялись на гитаре из набора Guitar Hero проходить Dark Soul.
Из необычных устройств ввода данных в играх можно отметить девайс Tony Hawk Ride, имитирующий скейтборд. Также выделяется девайс Thrustmaster Flight MFD Cougar для авиасимуляторов — в основном он используется для Microsoft Flight Simulator X.
По сути, это даже не альтернативы, а видоизмененные привычные устройства ввода информации, работающие по тем же принципам, но с использованием других технологий.
Клавиатура, которая проецируется на ровную поверхность. Работает с помощью датчика, который распознает, на какую кнопку нажимает пользователь. Но не успела эта клавиатура появиться, как уже потеряла актуальность. Во-первых, пользователь не получает привычного обратного отклика от клавиатуры, и это замедляет набор текста и практически не дает возможности печатать вслепую. Во-вторых, у всех есть привычные смартфоны, на которых можно достаточно быстро набирать текст, и нет никакого смысла таскать с собой еще одну коробочку в виде этого девайса.
Tap Keyboard надевается на руки и считывает положение пальцев в пространстве. У нее есть аналоги, но они плохо считывают движения пользователя, и все плюсы таких девайсов очень быстро перекрываются этим фактом. Более подробно клавиатура-кастет описана в недавней статье на Хабре.
EasySMX Ring Mouse — мышка-кольцо.
Вряд ли она подойдет для повседневного использования, но, например, в качестве кликера для презентаций будет вполне полезна.
The Leap – это небольшое USB-устройство с камерами и датчиками, которое захватывает движение рук и передает информацию на компьютер. Разработан девайс компанией OcuSpec.
Пока что устройство выглядит сыровато, угол захвата довольно узкий, и точность оставляет желать лучшего. У них есть свой маркет, где можно протестировать устройство. Но самое главное, что компания продолжает развивать свои датчики и видит перспективу своего устройства в сочетании с очками виртуальной/дополненной реальности.
Особенно свежо выглядит то, что рука «проходит» за объект. LeapMotion строит 3D-модель руки и «затирает» часть объекта. На их YouTube-канале есть много видео, демонстрирующих эту технологию. Сейчас, по крайней мере на видео, распознавание выглядит намного четче, чем просто с устройством The Leap. Но посмотрим, что будет в релизных версиях продукта.
Tobii Eye Tracker 4C помогает компьютеру распознавать направление взгляда пользователя. Устройство состоит из камер и датчиков. В персональном использовании, выступает в качестве дополнения к клавиатуре, мыши или геймпаду, чаще всего для игр. Например, с помощью этого устройства в игре можно целиться в противников. В некоторых играх (например, Elite Dangerous) камера вращается в зависимости направления взгляда пользователя, что создает ощущение реальности, погружения в игру.
Помимо игр, подобные устройства часто используют в бизнесе, например, для исследования дизайна или продукта. Можно проследить за тем, куда смотрит человек в первую очередь при первом знакомстве с продуктом, или сделать тепловую карту и на основании этих данных увеличивать или уменьшать контраст элементов.
Те, кто пользовался этим девайсом, отмечают, что он отлично работает даже в темноте (достаточно света от монитора), и очки, которые может носить пользователь, не мешают корректной работе девайса.
Eye Tracker — отличный пример того, как можно улучшить уже имеющиеся способы взаимодействия человека с машиной, при этом не заставляя пользователя переучиваться, а лишь гармонично дополняя уже существующий процесс.
Нейроинтерфейс — это взаимодействие человека и машины посредством импульсов мозга. Существует множество компаний, занимающихся нейроинтерфейсами, например, Ctrl Labs (получают информацию, считывая мышечную активность пользователя) или Emotiv (взаимодействуют посредством анализа мозговой активности пользователя). Однако ни одна компания на данный момент не показала значимого прогресса в этой области: как правило, их возможности ограничиваются перемещением объектов по экрану.
В статье затронуты, пожалуй, самые распространенные способы взаимодействия человека и машины. Но осталось еще множество не описанных здесь, но не менее интересных устройств. Так, существуют способы взаимодействия с девайсами для людей с особыми потребностями — например, управление с помощью языка или ягодиц. Экспериментальные протезов связываются с нейронной системой человека и самообучаются: чем дольше ими пользуется человек, тем проще ему ими управлять, и тем более легкими они становятся в управлении.
Больше об интерфейсах управления и других элементах продуктового дизайна можно узнать на нашем курсе Product Design Weekend, который пройдет 22 и 23 декабря. Михаил Федосов расскажет, как функционально улучшить продукт, на что обращать внимание при оценке интерфейса и как не заблудиться в трендах.
Михаил Федосов, арт-директор «Наносемантики» и спикер курса Product Design Weekend, собрал для нас краткую историю развития человеко-машинные интерфейсов, рассказал об альтернативных способах ввода данных и о системах, которые могут стать популярны в ближайшем будущем. Под катом много текста и фотографий, вызывающих ностальгию.
Штекерно-коммутационный способ
Первый электронный цифровой вычислитель общего назначения, который можно было перепрограммировать для решения широкого спектра задач, был создан в 1945 году.
Пользователями первых ЭВМ были исключительно инженеры и программисты: взаимодействие с системой происходило посредством штекеров, перфокарт и перфолент.
Тумблеры
Одним из первых персональных компьютеров был Altair-8800. Машина не имела ни клавиатуры, ни экрана. Пользователи вводили программы и данные для них в двоичном формате, щелкая набором маленьких ключей, которые могли занимать только два положения: вверх и вниз. Результаты считывали также в двоичном коде — по светящимся лампочкам.
Телетайп и первые клавиатуры
Телетайп — электромеханическая печатная машина, используемая для передачи текстовых сообщений между двумя абонентами по простейшему электрическому каналу.
ЭВМ использовали телетайпы для ввода и вывода информации. Они не имели дисплеев — пользователь мог начать набирать команду в окне ввода только после получения специального сигнала на ленте.
Интересно, что в то время еще не существовало стандартов расположения клавиш и кнопок управления, и каждый производитель ЭВМ строил систему ввода информации, исходя из собственных соображений.
Одна из первых клавиатур для ПК, изготовленная в 1974 году по дизайну Тома Найта из Массачусетского технологического института. Клавиатура содержала множество управляющих клавиш и клавиш-модификаторов. Даже сейчас дизайн выглядит хорошо. Особенно можно отметить систему классификации клавиш: клавиши ввода данных серые, управляющие клавиши — синие с белым текстом, клавиши-модификаторы — синие с черным текстом.
Манипулятор графической информации (мышь)
Компьютерную мышь, созданную в СССР в 80-е годы, в народе называли «крысой».
Особенно сурово выглядит металлический шарик.
Естественно, это не первая мышь в мире, но одна из первых, созданных в СССР. Кстати, в качестве одного из ключевых элементов механизма использовался обычный подшипник, изготовленный на Челябинском Тракторном Заводе. Вот интересная выжимка из описания принципов работы:
«Изобретение относится к вычислительной технике и может быть использовано для ввода служебной информации. С целью повышения точности устройства в него введены датчики направления, выполненные на основе планетарной системы в виде шарикоподшипников, обеспечивающих формирование выходных сигналов, определяющих направление вращения осей датчиков по осям Х и Y, что исключает ошибки задания координат, вводимых в терминалы».
А самая первая компьютерная мышь в мире была изобретена еще в 1964 году американским ученым Дугласом Энгельбаром.
Сенсорный экран
Компьютерная система PLATO IV, появившаяся в 1972 году, имела сенсорный экран, работа которого основывалась на сетке инфракрасных лучей, сегментированной в формате 16х16. Но даже столь низкая точность позволяла пользователю вводить выбранные данные, нажимая на экран в нужном месте.
Телеавтограф (графический планшет)
Первый телеавтограф, или графический планшет, был изобретен аж в 1888 году. Наиболее привычным для нас по механизму работы и самым известным из ранее изобретенных является планшет RAND Tablet, изобретенный в 1964 году. RAND Tablet использовал сетку проводников под поверхностью планшета, на которые подавались закодированные троичным кодом Грея электрические импульсы. Емкостно связанное перо принимало этот сигнал, который затем мог быть декодирован обратно в координаты.
Интересный принцип работы был у акустического планшета, перо которого генерировало искры при помощи искрового промежутка — воздушной прослойки, разделяющей электроды. Щелчки триангулировались серией микрофонов для определения местонахождения пера. Но принцип работы был довольно сложным, и планшеты давали сбой при посторонних шумах.
Особую популярность планшеты получили после выхода AutoCAD.
Распознавание речи
Первое устройство для распознавания речи появилось в 1952 году, оно могло распознавать произнесенные человеком цифры. А в 1963 году в США было презентовано устройство, способное распознавать целые фразы и выполнять команды.
Сейчас голосовые интерфейсы активно развиваются. Во-первых, появление и развитие нейросетей способствует более точному распознаванию голоса, повышая качество выполнения этой технологии и, как следствие, ее популярность. Технология достигла настолько высокого уровня, что даже речь человека с неидеальным произношением, находящегося в относительно шумном месте, успешно распознается.
Во-вторых, появилось множество устройств, где голосовой ввод информации иногда удобнее, чем любой другой: например, навигаторы или умные колонки.
Третьей причиной популярности голосового ввода является большой рынок Китая, где из-за сложностей ввода иероглифов повсеместно пользуются голосовым вводом и голосовыми сообщениями.
Помимо таких гигантов, как Amazon Alexa, Google Assistant, Siri или Алиса Яндекса, на рынке появляются небольшие, но сильные игроки, например, голосовой помощник SOVA (Smart Open Virtual Assistant), в разработке которого участвовал Михаил Федосов.
Главной особенностью этой умной колонки является децентрализованное распознавание речи, использование которого, как утверждают разработчики, позволяет отказаться от сбора конфиденциальной информации пользователя полностью. Также разработчики SOVA используют полностью открытый исходный код, чтобы дать возможность сторонним разработчикам улучшать модуль интеллекта колонки.
Можно отметить, что всеми этими устройствами ввода данных мы в большей или меньшей степени пользуемся и по сей день. С шестидесятых годов годов мало что поменялось идейно. Самые популярные способы ввода информации — по-прежнему компьютерная мышь, тачпад и голосовые команды, хотя частота использования каждого из них изменилась.
Но программисты и инженеры пробовали создавать и новые способы взаимодействия с пользователем. Одни были более удачны и выходили в производство, другие же оставались прототипами. Некоторые девайсы являются чем-то совершенно инновационным, а другие призваны лишь расширить или улучшить существующую функциональность. Давайте рассмотрим некоторые из них.
Трекбол
Трекбол — это устройство ввода данных, которое, по сути, является перевернутой механической компьютерной мышью. Принцип действия аналогичный, единственное отличие — вместо того, чтобы катать мышь по поверхности, пользователь катает шарик по самой мыши.
Более современные вариации трекбола интегрированны в геймпады или мыши.
Один из производителей трекболов, ITAC Systems, утверждает, что после четырехчасовой активной работы с мышью из-за усталости запястья рука становится до 60% слабее, тогда как использование трекбола не оказывает влияния на исследуемые показатели усталости руки.
Именно из-за напряжения мышц руки многие дизайнеры используют графические планшеты, даже если им не важны такие функции, как сила нажатия или большая рабочая поверхность.
Также многим нравится четкий обратный отклик девайса (такие люди намеренно покупают более громкие клавиатуры). В 2016 году корейская компания Pantech выпустила смартфон Pantech Sky IM-100, в котором ключевой фичей было колесико управления. На видео видно, как оно функционирует.
Но трекболы ни тогда, ни сейчас особой популярности не завоевали. Смартфон от компании Pantech не стал хитом, хотя свою небольшую группу фанатов найти успел.
Игровые контроллеры
Игровых контроллеров, имитирующих взаимодействие пользователя с реальными вещами из нашей повседневной жизни, существует огромное множество. Наверное, самый известный из них — Guitar Hero.
Суть этой игры заключается в том, чтобы вовремя нажимать на кнопки. Если пользователь справляется с этим заданием, то трек, который он «играет», звучит непрерывно и красиво. Если человек не попадает по кнопкам, раздается скрежет, и мелодия прерывается. Некоторые умельцы даже умудрялись на гитаре из набора Guitar Hero проходить Dark Soul.
Из необычных устройств ввода данных в играх можно отметить девайс Tony Hawk Ride, имитирующий скейтборд. Также выделяется девайс Thrustmaster Flight MFD Cougar для авиасимуляторов — в основном он используется для Microsoft Flight Simulator X.
Альтернативы привычным девайсам
По сути, это даже не альтернативы, а видоизмененные привычные устройства ввода информации, работающие по тем же принципам, но с использованием других технологий.
Проекционная клавиатура
Клавиатура, которая проецируется на ровную поверхность. Работает с помощью датчика, который распознает, на какую кнопку нажимает пользователь. Но не успела эта клавиатура появиться, как уже потеряла актуальность. Во-первых, пользователь не получает привычного обратного отклика от клавиатуры, и это замедляет набор текста и практически не дает возможности печатать вслепую. Во-вторых, у всех есть привычные смартфоны, на которых можно достаточно быстро набирать текст, и нет никакого смысла таскать с собой еще одну коробочку в виде этого девайса.
Клавиатура-кастет
Tap Keyboard надевается на руки и считывает положение пальцев в пространстве. У нее есть аналоги, но они плохо считывают движения пользователя, и все плюсы таких девайсов очень быстро перекрываются этим фактом. Более подробно клавиатура-кастет описана в недавней статье на Хабре.
Мышка-кольцо
EasySMX Ring Mouse — мышка-кольцо.
Вряд ли она подойдет для повседневного использования, но, например, в качестве кликера для презентаций будет вполне полезна.
Захват движения. Ближайшее будущее?
The Leap – это небольшое USB-устройство с камерами и датчиками, которое захватывает движение рук и передает информацию на компьютер. Разработан девайс компанией OcuSpec.
Пока что устройство выглядит сыровато, угол захвата довольно узкий, и точность оставляет желать лучшего. У них есть свой маркет, где можно протестировать устройство. Но самое главное, что компания продолжает развивать свои датчики и видит перспективу своего устройства в сочетании с очками виртуальной/дополненной реальности.
Особенно свежо выглядит то, что рука «проходит» за объект. LeapMotion строит 3D-модель руки и «затирает» часть объекта. На их YouTube-канале есть много видео, демонстрирующих эту технологию. Сейчас, по крайней мере на видео, распознавание выглядит намного четче, чем просто с устройством The Leap. Но посмотрим, что будет в релизных версиях продукта.
Eye Tracker
Tobii Eye Tracker 4C помогает компьютеру распознавать направление взгляда пользователя. Устройство состоит из камер и датчиков. В персональном использовании, выступает в качестве дополнения к клавиатуре, мыши или геймпаду, чаще всего для игр. Например, с помощью этого устройства в игре можно целиться в противников. В некоторых играх (например, Elite Dangerous) камера вращается в зависимости направления взгляда пользователя, что создает ощущение реальности, погружения в игру.
Помимо игр, подобные устройства часто используют в бизнесе, например, для исследования дизайна или продукта. Можно проследить за тем, куда смотрит человек в первую очередь при первом знакомстве с продуктом, или сделать тепловую карту и на основании этих данных увеличивать или уменьшать контраст элементов.
Те, кто пользовался этим девайсом, отмечают, что он отлично работает даже в темноте (достаточно света от монитора), и очки, которые может носить пользователь, не мешают корректной работе девайса.
Eye Tracker — отличный пример того, как можно улучшить уже имеющиеся способы взаимодействия человека с машиной, при этом не заставляя пользователя переучиваться, а лишь гармонично дополняя уже существующий процесс.
Нейроинтерфейсы
Нейроинтерфейс — это взаимодействие человека и машины посредством импульсов мозга. Существует множество компаний, занимающихся нейроинтерфейсами, например, Ctrl Labs (получают информацию, считывая мышечную активность пользователя) или Emotiv (взаимодействуют посредством анализа мозговой активности пользователя). Однако ни одна компания на данный момент не показала значимого прогресса в этой области: как правило, их возможности ограничиваются перемещением объектов по экрану.
Заключение
В статье затронуты, пожалуй, самые распространенные способы взаимодействия человека и машины. Но осталось еще множество не описанных здесь, но не менее интересных устройств. Так, существуют способы взаимодействия с девайсами для людей с особыми потребностями — например, управление с помощью языка или ягодиц. Экспериментальные протезов связываются с нейронной системой человека и самообучаются: чем дольше ими пользуется человек, тем проще ему ими управлять, и тем более легкими они становятся в управлении.
Больше об интерфейсах управления и других элементах продуктового дизайна можно узнать на нашем курсе Product Design Weekend, который пройдет 22 и 23 декабря. Михаил Федосов расскажет, как функционально улучшить продукт, на что обращать внимание при оценке интерфейса и как не заблудиться в трендах.
