Технологии мультитач

Предисловие


Небольшая статья про технологии мультитач уже была опубликована на Хабре в далеком октябре 2008 года. В апреле 2011 года хабраюзер DMikhail описал свой опыт создания интерактивного стола. На дворе октябрь 2012 года и пора рассказать очередную порцию новостей из мира мультитач.

Введение


С момента появления на свет первого мультитач дисплея прошло 35 лет, за это время появилось множество разнообразных технологий, поддерживающих от одного до бесконечности касаний. В этой статье я расскажу про несколько распространенных методов преобразования обычного средства отображения в интерактивное устройство.

Проекционно-емкостная технология (Projected Capacitive Touch)



Принцип работы данной технологии описан в вышеуказанной статье хабраюзера meako, а так же в Википедии.
На момент написания статьи в свободной продаже находятся пленки до 100” по диагонали (для форматов 4:3 и 16:9) с поддержкой до 12 независимых касаний. Так же компанией Perceptive Pixel (недавно купленной Microsoft corp.) представлен 82” мультитач ЖК-дисплей с поддержкой неограниченного числа касаний.
Прелесть этой технологии заключается в том, что сенсорная пленка наклеивается с обратной стороны от защитного стекла, т.е. находится между средством отображения (ЖК-панель, проекционный экран, и т.п.) и стеклом, таким образом защищена от погодных условий и механических повреждений. У некоторых производителей заявлено, что толщина стекла может доходить до 20мм. Именно на этой технологии основано большинство сенсорных дисплеев/терминалов/киосков, установленных в бизнес-центрах, аэропортах, вокзалах, метро и других общественных местах.
К недостаткам данной технологии можно отнести только отсутствие возможности распознавания меток (fiducial marker, см. далее) и ограниченная площадь сенсорной пленки. Последний недостаток может быть отчасти нивелирован возможностью наклейки пленки стык-в-стык.

Оптические технологии (Optical technologies)


Данные технологии получили широкое применение у любителей DIY после выхода в свет Microsoft Surface 1.0 в мае 2007 года, и дожили до наших дней практически без изменений.
Из всего многообразия оптических методов наибольшее распространение получили следующие:
  • Rear Diffused Illumination (DI);
  • Frustrated Total Internal Reflection (FTIR);
  • Diffused Surface Illumination (DSI).

Прежде чем приступить к подробному описанию каждой из технологий опишу общие достоинства и недостатки, присущие этим методам.

Достоинства:
  • поддержка практически неограниченного числа одновременных независимых касаний (на самом деле, количество ограничено разрешением камер(ы) и мощностью компьютера);
  • возможность изготовить экран круглой, треугольной, шестиугольной и т.п. формы.

Недостатки:
  • поскольку технологии основаны на ИК-излучении определенной длины волны (см. далее), то наличие прямых солнечных лучей в зоне инсталляции недопустимо;
  • для установки проектора и камер(ы) требуется довольно много пространства за экраном, что не всегда является приемлемым;
  • необходимо разрабатывать специальное ПО, заставляющее эту систему работать, т.е. фактически писать драйвер.


Технология DI

Самый распространенный метод (из оптических), широко применяющийся в коммерческих инсталляциях в силу своей простоты и наглядности.

Рассеиватель — материал, рассеивающий поток проектора, т.е. экран обратной проекции.
Подложка — оптически прозрачный материал, придающий прочность экрану.
Проектор — проектор.
ИК-прожектор — монохромный излучатель в невидимом глазу человека ИК-диапазоне.
ИК-камера — камера с установленным узкополосным фильтром, пропускающим только длину волны соответствующую длине волны ИК-прожектора.


Принцип работы следующий:
  • ИК-прожектора создают равномерный ИК-фон, который проходит сквозь подложку и рассеиватель, и только малая часть излучения отражается обратно.
  • при касании рассеивателя каким-либо предметом, отражающим ИК-излучение (рука, стилус, кружка и т.п.), в данном месте камера засекает довольно яркое пятно на сером фоне.
  • сигнал с камеры обрабатывает специальное ПО и на выходе выдает координаты (а иногда и форму/размер/рисунок) ярких пятен, присутствующих в заранее заданной области экрана.

Достоинства технологии:
  • возможность распознавания меток (см. далее);
  • предельная простота реализации;
  • возможность изготовить экран любой самой сложной формы, в т.ч. неплоской;
  • возможность изготовить экран любой площади.

Недостатки технологии:
  • самый низкий контраст изображения с камеры (среди указанных трех технологий);
  • возможность ложных срабатываний (при поднесении пальца к экрану, но не касаясь его, плохо реализованное и настроенное ПО может распознать это как полноценное касание).


Технология FTIR

Довольно распространенный метод, однако в коммерческих продуктах встречается крайне редко.

Рассеиватель — материал, рассеивающий поток проектора, т.е. экран обратной проекции.
Подложка — оптически прозрачный материал, среда распространения ИК-волн.
Проектор — проектор.
ИК-светодиод — светодиод с длиной волны лежащей в ИК-диапазоне.
ИК-камера — камера с установленным узкополосным фильтром, пропускающим только длину волны соответствующую длине волны ИК-светодиода.


По периметру подложки устанавливаются линейки ИК-светодиодов, излучение которых проникает внутрь подложки и распространяется там как волна в оптоволокне (явление носит название полное внутреннее отражение). Если палец касается экрана, то из-за изменения коэффициента преломления, волна проходит дальше границы подложки и отражается (рассеивается) от пальца, и это рассеянное излучение засекается камерой. Для усиления контраста изображения с камеры между рассеивателем и подложкой наносят слой так называемого “compliant layer”, выполненного чаще всего из силикона.
Рассеянное ИК-излучение засекается камерой и обрабатывается специальным ПО.

Достоинства технологии:
  • самый высокий контраст изображения с камеры (среди указанных технологий);

Недостатки технологии:
  • необходимость устанавливать торцевую ИК-подсветку;
  • не распознает метки (см. далее).


Технология DSI

Технология идентична FTIR за исключением того, что подложка выполнена из специального оргстекла.

Рассеиватель — материал, рассеивающий поток проектора, т.е. экран обратной проекции.
Подложка — специальное оргстекло Endlighten, среда распространения ИК-волн.
Проектор — проектор.
ИК-светодиод — светодиод с длиной волны лежащей в ИК-диапазоне.
ИК-камера — камера с установленным узкополосным фильтром, пропускающим только длину волны соответствующую длине волны ИК-светодиода.


Фишка Endlighten в следующем: в материале размешана металлическая “пыль” таким образом, что при подсветке оргстекла с торца, излучение рассеивается на частичках “пыли” и возникает эффект самосвечения подложки, при этом на просвет материал все равно остается прозрачным.

image

Таким образом, помимо распознавания нажатий технология позволяет распознавать метки.

Достоинства технологии:
  • возможность распознавания меток (см. далее);

Недостатки технологии:
  • необходимость устанавливать торцевую ИК-подсветку;
  • технология завязана на конкретном производителе оргстекла.


Метки (fiducials)


Метка представляет из себя плоскую фигуру, на которую нанесен рисунок, контрастный в ИК-диапазоне. Чаще всего это наклейка с черно-белым рисунком, нанесенная на реальный объект.

image
Пример меток.

ИК-излучение от белой области отражается, а черной — поглощается. Таким образом, в технологиях DI и DSI ИК-камера засекает рисунок, который легко распознается программным способом. В технологии же FTIR такой фокус не удастся: камера увидит только контур метки, но не ее содержание.
Ярким примером использования меток служит Reactable:


Технические детали


Рассеиватель

За время существования оптических технологий мультитач было испробовано большое количество разнообразных пленок и пластиков. Однако, самым лучшим материалом небезосновательно считается Evonik 7D006. Небезосновательно потому, что именно такой материал использовался в Microsoft Surface 1.0.

ИК-прожектор

Подбирается из ассортимента оборудования охранных систем. На рынке представлены прожектора с двумя длинами волн: 850 нм и 940 нм.

ИК-камера

Насколько я знаю, любая ПЗС-матрица чувствительна к ближнему ИК, поэтому можно использовать любую камеру, главное, чтобы объектив был без фильтра, блокирующего ИК-излучение. Любители DIY для этих целей используют обычные веб-камеры, с которых самостоятельно снимают ИК-фильтры. Я пробовал использовать 3 камеры: PlayStation 3 Eye (классика жанра), Microsoft LifeCam Cinema, Logitech C910. Больше всего понравилась камера Logitech, которая имеет самую большую ПЗС-матрицу и легко-съемный фильтр.
Чтобы камера видела только “нужное” излучение, на объектив необходимо нанести узкополосный ИК-фильтр, пропускающий только длину волны, соответствующую длине волны ИК-прожектора. Купить ИК-фильтры можно, например, на aliexpress.com.
Из профессиональных камер чаще всего используются камеры производства компании Point Grey.

Проектор

По проектору никаких ограничений нет, главное подобрать правильное разрешение, поток и объектив. Довольно много инсталляций используют ультракороткофокусные проектора, которые располагаются очень близко к экрану, экономя пространство. Так же не стоит обходить стороной лазерно-светодиодные проектора, которые на данный момент только начинают набирать популярность, главное преимущество которых заключается в высоком сроке службы источника света (более 20 тысяч часов против 3-4 тысяч у ламповых проекторов).

Примеры коммерческих продуктов


Mediascreen MonkeyBook (на технологии DI):


Microsoft Surface 1.0 (на технологии DSI):


UPD. Технология MS PixelSence


В январе 2011 года компания Microsoft совместно с компанией Samsung представили новый Microsoft Surface 2.0.



В 2012 году, в связи с выходом планшета MS Surface, стол Surface 2.0 был переименован в SUR40.
В столе SUR40 используется фирменная технология MS PixelSence.

image

Технология аналогична технологии DI, за исключением того, что вместо ИК-камеры используется ИК-сенсор, «встроенный» в каждый пиксель ЖК-матрицы. Таким образом PixelSence позволяет распознавать не только пальцы, но и метки, при этом толщина конструкции сведена к минимуму.

Similar posts

AdBlock has stolen the banner, but banners are not teeth — they will be back

More
Ads

Comments 6

    0
    Хорошая информативная статья.
    Пользуясь случаем, хочу поделиться своей мультитач либой для Unity3d c разработчиками интерактивных инсталляций.
    github.com/InteractiveLab/TouchScript
      0
      Первый ролик меня просто заворожил…
        0
        Эх, ностальгирую по форумам NUI Group. Когда в 2007-2008 году только только изобретали все эти (оптические) технологии.
          0
          А что вы тогда не добавили о технологии PixelSence? Довольно логичное продолжение описанных оптических решений.
            0
            Спасибо, добавил. Кстати, только вчера вернулся с выставки ISR 2012, на которой хотел в живую посмотреть на SUR40, однако за целый день инженеры Samsung так и не смогли оживить его.
              0
              Вчера они-таки его завели. Не сказать, чтобы я остался в восторге от него :)

          Only users with full accounts can post comments. Log in, please.