Мультитач с тактильными ощущениями — реально? Размышления на тему



    О чем эта заметка.


    В этой заметке вы не найдете рассуждений о целесообразности замены механических устройств ввода (клавиатура, мышь, планшеты, в будущем, возможно и сканеры) и вывода (мониторы) на некое универсальное мультитач-устройство. Так же, я не собираюсь рассматривать эволюционно-революционное изменение пользовательских интерфейсов. Думаю, гораздо более компетентные люди написали не одну статью по этим вопросам.

    Прошу прощения у искушенных читателей, данный опус совсем не претендует на серьезную статью, написан фривольно и несколько профански, но все же, я хочу поделится некоторыми мыслями и, возможно, устроить дискуссию по этому поводу. Так же, к сожалению, пока нет возможности нарисовать парочку человеческих схем, вечером будут обязательно!



    Преамбула (можно пропустить)



    Основным недостатком мультитач-технологии (кроме цены и надежности, разумеется) считается отсутствие обратной связи. Если для небольших устройств, подобных КПК или смартфонам, проблема стоит не очень остро (хотя и существует: представим, насколько удобнее набирать номер телефона на ярком солнце с механической клавиатуры), то для больших устройств, вроде столов и панелей она довольна актуальна, и я постараюсь пояснить почему.

    Я попытался поразмышлять на тему обратного отклика на примере будничной рутины простого программиста из две тысячи @$@#го года.

    Итак, на дворе две тысячи @$@#й год. Злая корпорация N выкупила все патенты на мультитач (этого слова в статье будет еще много, прошу прощения) и резонно решила получать деньги, активно внедряя концепции мультитачевости во все UI, до которых может дотянуться. И даже в линейку своих IDE, Casual Studio, дизайнеры злобной корпорации внедрили новаторское управление. И вот, перед средним программистом Ровшаном, стоит задача ребром переучиваться на новый лад (или переходить на vim :) Ровшан прикупает себе сенсорную доску в ближайшем магазине и приступает к процессу обучения.

    И тут Ровшан понимает, что писать код неприятно! Как часто наш герой в порыве архитекторской задумчивости держал пальцы на клавишах, прислушиваясь к мыслям в голове, легонько подавливая, но не нажимая их. А как же он любил поглаживать клавиатуру в размышлениях над кодом, нежно поводя рукой над ней и ощущая подушечками пальцев ее упругие клавиши… кхм, простите. Теперь же нужно держать руки над сенсорами, и не дай Бог случайно что-то нажмешь! А еще как тяжело стало писать слепым четырехпальцевым методом, все время приходится смотреть куда нажимаешь.

    Как быть? У меня есть мысли. Разделю их на части.

    Догоняем клавиатуру.



    Задачи:
    1. получить тактильное ощущение нажатия клавиши от участка мультитача;
    2. при этом обязательно придать участку многотыка мультитача некоторый запас упругости, что бы хоть немного уменьшить количество случайных нажатий;
    3. учитывая что разрабатываем не модную клавиатуру а совершенно универсальный прибор.


    Давайте поразмышляем. Понятно, что необходимо разделить рабочую поверхность на некоторое количество областей/ячеек, каждая из которых может принимать минимум 2 состояния: состояние возбуждения и состояние покоя. Понятно, что наиболее простой схемой является двухмерная матрица из большого числа квадратных ячеек (вид сверху)

    Условная схема тактильной матрицы, пара скобок символизирует ячейку

    [][][][][][][][][][]
    [][][][][][][][][][]
    [][][][][][][][][][]
    [][][][][][][][][][]
    [][][][][][][][][][]
    [][][][][][][][][][]
    [][][][][][][][][][]


    Предположим, что у нас есть эластичный материал покрытия, на который непосредственно выводится изображение. Предлагаю подумать над вариантами реализации тактильных ощущений. Мне видится такая схема (вид сбоку в разрезе):

    Состояние покоя

    [][][][][][][][][][][][][][][][][][][][][][] эластичный слой с изображением в состоянии покоя
    [][][][][][][][][][][][][][][][][][][][][][] управляющий слой


    Состояние возбуждения некоторого участка

    _____ [-][-][-][-]
    [][][]___________ [][][][][][][][][][][][][] эластичный слой с возбужденным участком
    [][][][+][+][+][+][][][][][][][][][][][][][] управляющий слой


    Итак, мысль ясна, что же с реализацией. Есть несколько подходов: классический механический — каждая ячейка поднимается с помощью механики в каком-либо виде, например с помощью реле; электромагнитный — поднимаем ячейку магнитным полем; извращенские эзотерические — поднимаем сжатым воздухом/вакуумом, поднимаем с помощью расширения некого тела под воздействием температуры и т.д. В общем, как видно, основная трудность состоит именно в выводе изображения на некий эластичный материал.

    multitouch API.



    Мне кажется, с точки зрения программиста-пользователя тут ничего сложного нет, с матрицами все умеют работать. К тому же стандартные библиотеки виждетов могут относительно прозрачно поддерживать тактильный мультитач по умолчанию без лишних телодвижений программиста. Позже поясню на примере.

    Хочу подвести краткий итог вышесказанному и сделать некоторые выводы:
    • есть вполне реальная возможность прямо сейчас создать multitouch-устройство с тактильным откликом.
    • так же, в некоторой мере решается проблема слепого управления и случайных нажатий
    • для программиста-пользователя достаточно просто реализовать API для управления на уровне ОС либо отдельных библиотек


    Какие проблемы могут поджидать:
    • искажение изображения на устройстве: в возбужденном состоянии ячеек часть изображения может искажаться, либо при выводе изображения будут пустые участки на местах сгибов эластичного слоя.
    • стандартизация и проблема разрешающей способности для ячеистого способа: физический размер ячейки и общее количество их на квадратную единицу устройства скорее всего необходимо будет вынести в стандарт.
    • скорость перехода между состояниями ячейки: должна быть достаточно шустрой, почему — читайте далее.
    • при матричном форм-факторе важно высокое разрежение «тактелей»-ячеек, иначе трюки с поворотом квадратных выступающих областей, скажем на 30 градусов не очень будут радовать хозяина устройства.


    Перегоняем клавиатуру. Полет фантазии.


    Буду сдерживать себя рамками краткости, иначе получится фантастический роман :) Привожу по мере интереса:

    Один стол на 10 человек: кроме размеров устройства нас никто не ограничивает, мы можем «выпучить» хоть 10 клавиатур — хватит всем.

    Библиотека виджетов ОС: теперь message box'ы вашей любимой ОС с сообщением о фатальной ошибке будут содержать выпуклую кнопку ОК :) Вы, наконец, сможете пощупать менюшку вашей ОС в прямом смысле.

    Невообразимые элементы управления для приложения — никаких внешних устройств: ваша любимая стратегия теперь может выводить свою собственную невообразимую клавиатуру для игры, почему бы и нет? А кто мешает вам самим сделать пульт управления по собственному вкусу?

    А теперь, пожалуйста, представьте это все в движении.



    Благодарю вас за внимание.

    Similar posts

    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 34

      +4
      Круто. Мне понравилось. Только ещё бы сделать панели неплоскими.
      Представьте себе:
      Вокруг круглого стола сидят программисты
      А на столе что-то типа большого обрезанного конуса во весь стол.
      Даже не совсем конус — а гора. С меняющимся рельефом.

      Пришел еще один программист — стол изогнулся, появилась клава. А на горе что-то типа кругового монитора. =)

      Жаль рисовать не умею =(
        0
        и реализовано всё на основе интеловской «программируемой материи», которую они ща пытаются разрабатывать.
        даже cnn об этом говорит www.youtube.com/watch?v=WZlE4AH3enU
          0
          Не-не-не. Помните церемонию открытия Пекинской олимпиады? Там был такой момент когда тысячи китайцев залезли в коробки и сделали огромное полотно с меняющимся рельефом!
            +1
            Осталось только научиться делать нано-китайцев
          0
          Исследования по разработке таких устройств ведутся уже давно — нам еще в университете на эти темы говорили. Я думаю к 2015г мы увидим первые прототипы.
          Ссылки запосчу если найду.
            +1
            О… а какие потрясающие возможности получат пользователи порносайтов :) Ну или на работе человек малость устал, притаился в уголке, изобразил себе на панели (. ) (. ) и сидит жмакает %) rofl
              0
              черт! редактор испортил сиськи! :D
            +1
            Вспомнился патент от Nokia. По моему, довольно похоже.
            0
            Странно, что так мало человек интересуется данной темой, мне казалось, есть что обсудить
              +1
              За аналогичный пост на ЛОРе меня заигнорило невероятное количество людей.

              Общий протест игноривших был: линуксоидам для абсолютно всех операций с компутерам нужна клавиатура и монитор. Причем на мониторе можно оставить только консоль, или в крайнем случае двумерную графику. А всё остальное не имеет смысла.

              Кстати, после этого на ЛОРе я не писал.

              А что сказать по теме? Ну да, хорошая концепция. Даже в чем-то очевидная (почему только графика должна быть динамической?)
              Я еще всячески бы поддержал управление звуком. Не симуляцию GUI с помощью звуковых сигналов (это убого), а именно настоящее звуковое управление.

              Только ж нету нифига таких девайсов. Потому что прогрессивным людям нужна консколь и клава, и усё…
                0
                Ну хорошо, чисто теоретически да, технологии уже сейчас позволяют (а в будущем — тем более позволят) сделать много интересных вещей. Но есть штуки, которые мало меняются. Мне (хоть я и не линуксоид) тоже нужен монитор и клава. Потому что я не могу придумать задачу, для которой мне хотелось бы чего-то иного.

                Давайте представим себе, скажем, 2040 год, когда я ещё сравнительно вменяем и даже не пенсионер. Что я могу делать? Да то же самое, что и сейчас:

                1) Пишу письмо. Я надеюсь, что через 30 лет русский и английский алфавиты не изменятся. А стало быть, клавиатура (одна кнопка — одна буква) останется наиболее удобным способом ввода текста (если не брать в расчёт голосовой ввод, который не факт что удобнее).

                2) Программирую. Та же история — это тот же ввод текста.

                3) Что-то делаю с мультимедией. Ну там, фотографии сортирую. Вот тут да, ребята из Майкрософта показывали нам демо такого стола. Пожалуй, удобно. Но я не верю, что у меня будет такая большая квартира, чтобы за просто так отдать кусок комнаты под стол для сортировки фотокарточек. Не так уж часто я это делаю!

                4) Можно вообразить себе и экран на всю стену и даже с обратной связью — но та же проблема — я не знаю, куда я запихаю монитор на 24 дюйма, если вдруг захочу его себе.

                Так что рассуждения рассуждениями, а здравый смысл должен оставаться :) Уже сейчас есть очень прикольные агрегаты. Например, я уверен, что можно придумать кучу применений Вакомовскому планшету кроме простого рисования. Но среднестатистический пользователь вряд ли найдёт деньги и место для такого девайса. Потому что выгода не настолько велика, чтобы ради неё идти на такие покупки :)
            • UFO just landed and posted this here
                +2
                Всех троллей тянет.
                • UFO just landed and posted this here
                    +2
                    Это не важно, важно другое — а все ли, кого тянет — тролли???
                  +2
                  А как Вам, murr, такой выход из ситуации.

                  Возьмём к примеру концепт Лебедева Тактус. Насколько я не ошибаюсь, вы про такие «тачклавы» ведёте речь в статье. Да действиетльно неудобно пользоваться из-за отсутствия тактильного отклика и неудобства пользоваться «слепой» печатью.

                  Неудобство «слепой» печати можно устранить. Всего-то надо добавить какое-то обрамление каждой клавише. Видимо обрамление будет из мягкой резины и ооооооочень низкое.

                  А теперь насчёт тактильности. Тактильность и слово Touch не сочетаются, т.е они взаимоисключающие. Когда мы говорим о тактильности, мы забываем про touch и наоборот.

                  Touch это же касание(правда Америку открыл? ;-) ) следовательно сама мысль такова Касание => Действие.

                  Тактильность подразумевает немного другое Касание => Движение какого-то механизма(или другое какое-то событие) => Действие => Возврат механизма в начальное положение

                  Это моё личное мнение.

                    +1
                    p.s: Забыл вывод написать.

                    Вывод таков: либо нужно переработать принцип Тактильности, либо избавляться, как от рудиментного.
                      0
                      Описанное в статье решение все же предусматривает некоторую универсальность — к примеру если вам не нужны все эти выпуклые штуки, вы просто шелкаете где-то там тумблером и перед вами обычная (насколько это слово применимо к технологии :) мультатач панель.

                      >> Насколько я не ошибаюсь, вы про такие «тачклавы» ведёте речь в статье.
                      Не совсем, речь идет об устройстве, совмещающем 3 в одном:
                      1) Экран;
                      2) Сенсоры на нем, способные реагировать на несколько касаний одновременно и передавать в каком-то структурованном виде программной части;
                      3) Тактильный усилитель ощущений, заодно и некое препятствие случайным нажатиям (ну и еще можество применений).

                      Приведу примеры:
                      — у вас есть телефон с сенсорным экраном, но в нем 1 беда. Когда вы говорите по телефону, часто нажимаете на экран щекой, что вызывает разные забавные действия. С помощью описанной технологии можно задать опеределенную жесткость нажатия клавиш.
                      — люди со слабым зрением могут работать на сенсорных панелях с тактильным откликом, иначе же поможет только звуковое сопровождение действий.

                        0
                        Для решения противоречия Тактильности и Touch достаточно лишь ввести определение силы нажатия.
                        Так подобно пальцам на клавиатуре при легком касании мы сможем лишь ощущать рельеф мультитач экрана, не выполняя этим никаких Действий, а при более сильном нажатии срабатывало Действие.
                        Кроме того можно разделить обычные плоские элементы тач интерфейса, чувствительные к любому касанию и выпуклые, которые имеют барьер силы нажатия для срабарывания.
                        +1
                        Представил, как будет вирусная тач реклама выглядеть — баннеры начнут постоянно под пальцы лезть :)
                        Представьте на клавиатуре кнопку Ads которая ползает по другим кнопкам, как таракан.
                          +2
                          Зато их можно будет бить мухобойкой!

                          На линуксе это будет тупо xkill с новым тактильным интерфейсом.
                          0
                          Хочу мультитач эротический комбинезон с тактильными ощущениями.

                          И три ведра мескалина.
                            +2
                            Вступление по стилю напомнило старинные французские романы :)
                              +2
                              прикольно :) тоже об этом думал.
                              по поводу реализации мне кажется можно копнуть в сторону пьезоэлектрического эффекта.

                              еще немного мыслей:
                              1. проще было бы сделать экраном подложку, а тактильный слой — из прозрачного эластичного материала.
                              2. при нажатии на активные (приподнятые) области, они должны продавливаться пальцем (пассивно). при этом в API можно предусмотреть некоторое динамическое сопротивление нажатию (например кратковременным поднятием напряжения), чтобы клавиши «пружинили». а также API должен следить за тем, что если было нажатие на большую по площади клавишу (например, пробел), то она должна нажаться вслед за пальцем вся.

                              есть пара проблем:
                              1. поверхность должна быть достаточно эластичной для того, чтобы обеспечить более-менее резкие очертания клавиш.
                              2. возможны такие ситуации, когда определенная комбинация состояний соседних тактильных ячеек может давать чрезмерные натяжения поверхности.
                                +1
                                «получить тактильное ощущение нажатия клавиши от участка мультитача»

                                1) нарисовать на нижней стороне эластичного материала сетку или поле точек, натянуть его как мембрану, в точках давления геометрия нарушается, значит ставим под мембраной камеру и пересчитываем искажения сетки в поле давления

                                2) Как то видел в инете видео, где «мультитач» сенсор сделали налив в пакет окрашенную жидкость и положили так же над web камерой на стекло. Там где было касание, слой жидкости становился прозрачнее, картинка обрабатывалась и транслировалась в соответствующие команды. Можно такой способ доработать и для измерения сил давления.
                                  +1
                                  По поводу сопротивления давлению, сейчас есть несколько вариантов электроуправляемых искусственных «мышечных волокон»
                                  Можно попробовать имплантировать их квадратами в поверхность мембраны. И при возникновении давления на нее, управлять участком так, что бы избегать деформации этого участка полностью, или с каким то коэффициэнтом. От коэффициэнта будет зависить ощущение упругости данного участка. Хотя помимо упругости есть еще и необратимая деформация, с этим помоему сложнее и это другая задача.
                                  (Недавно на Хабе были ссылки на что то подобное, но пока в виде фантазий и компьютерной анимации)
                                  0
                                  Драг по такому эластичному слою приведет к мазолям на пальцах. Резестивные сенсорные экраны тем и плохи, на мой взгляд, что их нужно немного продавливать. Согласен с теми, кто считает, что тактильные ощущения — это просто привычка.
                                    +1
                                    Ну как же «просто привычка». На буквах «а» и «о» делают выступы — это не дань привычке, а действительно очень важный интерфейсный элемент клавиатуры.

                                    Если бы у меня не было краёв клавиш и выступов, я бы постоянно опускал вниз глаза, чтобы убедиться, что пальцы не «съехали».

                                    А ещё приятно, когда кнопки под пальцами продавливаются. Мне кажется, что стучать по плотному материалу просто-напросто больно. Представьте себе, что будет, если барабанить по дереву. К концу дня всё болеть будет :(
                                    0
                                    это будет новая эра порнографии XD
                                      +2
                                      Эта идея у Вас возникла после просмотра
                                      ?
                                      PS Рисунок взят с habrahabr.ru/blogs/humour/55756/
                                        0
                                        Картинка забавная, но если честно, то идея возникла после прочтения топика о zoom навигации в новой visual studiо.
                                        0
                                        В продолжение темы — "Шрифт Брайля на сенсорном экране".
                                          0
                                          Вчера обсуждали телефоны и современные программы на них. Кто-то сказал «пальцеориентированный интерфейс преобладает...». И зацепились языками за пальцы, ориентиры и интерфейсы.

                                          Вообще есть такой термин «пальцеориентированный интерфейс»?

                                          Местный опрос показал:
                                          30% знаю что это такое
                                          20% знаю что это такое, но слово им не нравится
                                          50% не знают, или путают со словом multitouch

                                          Например, для Windows Mobile нет поддержки multitouch (hd2 не в счёт).

                                          Как же грамотно назвать эту часть UI, которая позволяет не пользоваться этими мелкими и неудобными стилусами? И использовать только пальцы.

                                          Only users with full accounts can post comments. Log in, please.