Опыт создания multitouch стола

Добрый день,
хотел поделится опытом создания своего multitouch стола. Идея не нова, но вот это чудо —

image

— стоит около 10,000$ и это без доставки к нам.
Под катом можно узнать как это работает и как такой стол сделать дома (осторожно, много картинок).

Для начала нужно сказать, какие задачи такой стол должен уметь исполнять:
1) Одновременный трекинг большого количества касаний.
2) Высокая скорость реакций.
3) Отсутвие влияния системы распознавания касаний на выводимое изображение.
4) Достаточно простое взаимодействие с пользовательской системой=, желательно совместимость со встроенным в Win7 мультитачем.

Основным вопросом стало, каким образом отслеживать точки касания. Существуют, конечно, usb-экраны, поддерживаищие multitouch, но их цена высока, а таких размеров, чтобы его можно было использовать как поверхность стола нет вообще. Потому было решено использовать оптическую систему распознавания, основанную на ИК-съемке, во избежание интерференции с выводимым изображением.

Далее о том, как же это должно работать:

image

Поверхность, изображенная на картинке, представляет собой акриловое стекло, толщиной в 2 см., поверхность которого покрыта диффузирующей пленкой.
Для чего это нужно? Мы пользуемся эффектом полного внутреннего отражения, при этом, в случае касания поверхности, ИК лучи будут проходить у раздела поверхности под углом большим критического (42.51 градуса для акрила). Действие эффекта полного внутреннего отражения прервётся, и ИК лучи пройдут через нижнюю границу поверхности, после чего их сможет зарегистрировать установленная ниже камера. Мы пользуемся эффектом, подобным тому, как мы наблюдаем лица людей из освещённой комнаты за окном ночью: если лицо приблизится, его хорошо видно в окне, а вдали быстро скрывается в темноте. Диффундирующая плёнка усиливает этот эффект рассеяния слабого света и играет решающую роль. Хорошо освещены предметы, близко подведённые к плёнке, из-за простого отражения света назад, в стол. © spmbt

image

Для регистрации касаний необходима ИК камера. Промышленные ИК камеры очень дороги, чтобы превратить обычную веб камеру в инфракрасную, необходимо убрать из неё ИК фильтр. И добавить пороговый фильтр, пропускающий только ИК свет, его можно сделать из негатива.

image

Нужно сказать что обыная веб-камера плохо подойдет, т.к. она даст низкий fps, я использовал Sony PS Eye, которая с кастомными дровами может дать до 120 fps.

Для ИК подсветки были куплены 4 ИК прожектора, в оригинале используются в системах ночного видео наблюдения.

image

Для отражения изображения и уменьшения глубины стола, между проэктором и повехностью стола устанавливается зеркало.

Что касается ПО:

1. Кастомный драйвер для камеры.
2. CCV от nuigroup.com для анализа видео потока.
3. Разные библиотечки для прикручивания к Win7.

Вот как выглядит результат работы CCV

image

В CCV можно добавлять свои фильтры или настраивать уже существующие под Ваше освещение

image

CCV может генерировать события TUIO для работы с которыми есть библиотека на С#

Вот что использовалось для реализации системы:

1. Проектор Tochiba tdp ex20 с широким углом проецирования, с установленным на него “hot mirror” стеклом, блокирующим ИК излучение, для предотвращения интерференции с системой распознавания (расстояние 0.72m, размер картинки 75x100cm, масштаб 4:3, диагональ 125‘).
2. Камера Sony PlayStation Eye с установленным ИК фильтром для предотвращения интерференции с видимым проецируем излучением, выбор камеры обусловлен очень высоким fps (до 120 при низком разрешении)
3. 2-4 ИК панели для подсветки акрила на поверхности стола, частота 850нм.
4. Зеркало для правильного отображения картинки на обратной стороне проекционной плоскости.
5. Блок питания для ИК панелей, ПК для работы камеры, вывода изображения и работы МТ приложений.
6. Алюминевый каркас, обтянутый плотными обоями.
7. nuigroup.com — огромнеёший кладезь информации по теме.

Вот как выглядит мой стол:

image

Если кто захочет собрать такое дома — пишите посоветую где прикупить детали.

P.S.: в заголовке MS Surface. Пример использования такого стола (видео вдохновившее меня). nuigroup.com/forums/viewthread/4401

Похожие публикации

AdBlock похитил этот баннер, но баннеры не зубы — отрастут

Подробнее
Реклама

Комментарии 71

    +13
    Несовсем понятно, есть фото/видео с реальным использованием?
      0
      То есть для чего нужен стол-то такой?
        +1
        Я собирал его как базу для других студентов, для него другие пишут софт.
          0
          А что за ВУЗ? и на какой специальности такую штуку собирают?
            +4
            ВМиК МГУ
              0
              А какая кафедра этим занимается?
                0
                это скорее личная инициатива на базе лаборатории в ГЦ РАН
                  +13
                  Жаль, надеялся, что наконец студентам стали предлагать интересные проекты…
                    +5
                    Нужно отметить, что студентов у нас прекрасно поддерживают, система строилась на деньги РАН. Проектов при этом предлагают много, они в большинстве своем коммерческие, проблема в отсутствии интереса к «голой науке», и в отсутсвии серьезных мастерских при факультетах.
                      –1
                      А в работе вы тоже ждёте, пока вам предложат выполнить интересное задание?
                        0
                        К сожалению, студенты не всегда знают возможные рамки академической программы. В результате чего, становится сложно выбрать золотую середину, которая будет интересна и самому студенту, и поддерживаться вузом. А за частую, при выборе кафедры, студентам предлагают уже имеющихся научных руководителей со своими направлениями.
                  0
                  Пользуясь случаем, поздравляю с днем факультета!
                    0
                    За что же вы наш родной ВМК называете ВМиК-ом ??
                0
                Подключить к нему какой нибудь виртуальный Android и играть в Angry Birds.
                +6
                • НЛО прилетело и опубликовало эту надпись здесь
                  0
                  Т.к. софт не мой, решил не постить видео, но раз интересно — вот видео которое вдохновило меня
                    +2
                      +1
                      Судя по видео, авторы еще не придумали, как можно в реальности использовать их разработку.
                        +2
                        Область применения ограничена только Вашей фантазией) так я говорил нашим студентам
                  • НЛО прилетело и опубликовало эту надпись здесь
                      +8
                      Каркас собран из стальных уголков, 1,5м на 1м, — 1000р, + рулон обоев 400р.
                      камера была куплена примерно за 2700р,
                      ИК прожекторы в зависимости от мощности 700р-1500р, к ним нужен свой БП — 400р.
                      Широкофорсаиный проэктор покупать отдельно дорого, лучше одолжить где-нибудь.
                      Стекло на заказ отрезали за 50р,
                      фильтр для проэктора — 20$ на ebay.
                      Итого чуть меньше 9000, но это если нет камеры.
                      • НЛО прилетело и опубликовало эту надпись здесь
                          +2
                          Проектор как у нас около 30т.р. когда его покупали год назад.
                          0
                          Широкофорсаиный проектор = широкофокусный проектор?
                            0
                            с проекционным расстоянием 1-2м
                            0
                            А где такого стекла могут отрезать?
                              0
                              акрил? нашел на строительном рынке тоже
                                0
                                В Москве ж? можно чуть больше конкретики?
                                  +1
                                  на МКАДе против часовой от выезда с Ленинского
                                    0
                                    Не возмусь уточнить ларек, их там миллион в лабиринте)
                              0
                              и Вы ещё диффузную плёнку поминали. Где такую дают?
                          0
                          отличная работа!
                          а можно подробнее про изготовление ИК-камеры из обычной веб-ки?
                          что имеется в виду под «сделать из негатива»?
                          Спасибо!
                            +3
                            Берёте засвеченный негатив, вырезаете кусочек, прикладываете к объективу камеры, или же вставляете на место удаленного ИК фильтра если таковой имелся в камере которую Вы использовали.
                              0
                              спасибо!
                            0
                            Супер, а скорость реакции и прочее?
                              +1
                              камера в CCV дает до 120 fps при разрешении 320×240 или 60 при 640×480, первый вариант для трекинга касаний, второй для трекинга жестов, объектов. На нашей камере задержка почти не заметна.
                              +4
                              sethsandler.com/multitouch/

                              Вот еще достойно расписаны технологии создания.

                              Если интересно, не так давно ресерчил эту тему, могу поделиться результатами.
                                0
                                делитесь, конечно.
                                0
                                Отлично, очень интересно, спасибо. Хотелось бы более подробно про софт.
                                  0
                                  В качестве софта хорошо бы смотрелся линукс-дистрибутив с компизом и плагином свободного изменения окон.
                                    +2
                                    Обзор софта для таких систем — отдельная большая тема, может как-нибудь соберусь и сделаю, скорее когда на факультете закончат свой проект. А на счет софта, прелесть именно в том что очень легко писать свои приложения для работы со столом, кому интересно можно скачать CCV он может имулировать касания (запись касаний) и генерировать TUIO с которыми очень прсото работать. www.tuio.org/
                                      +3
                                      Хорошая идея и исполнение, только вот детального описания не хватает. Слишком много интересных аспектов, которе слабо освещены.
                                        +5
                                        Я делился своим опытом, остальные аспекты являются чужими идеями, а т.к. этот пост мой первый, то вот это image на меня немного давило)
                                        +2
                                        по поводу софта, вот непосредственно мой вклад — interactivelab.ru/
                                          0
                                          на самом деле, технология изготовления таких проекционных столов не поменялась года так с 2008го. есть разве что небольшие апгрейды тут и там. основное как раз в софте.
                                            0
                                            Видимо пока фантазия и пользователей таких столов еще не разрослась, чтобы создатели чтот-то новое придумывали.
                                            0
                                            Ролик с использованием стола в студию!
                                          • НЛО прилетело и опубликовало эту надпись здесь
                                              +4
                                              Опыт создания multitouch стола из песочницы =)
                                                0
                                                Интересно, можно ли собрать такое на базе вот этого?
                                                Очень давно валяется телевизор, надо бы что-нибудь с ним сделать. И проектор заодно покупать не нужно. И место у него внутри для камер и ИК хватит.
                                                  0
                                                  видел вариант где использовались не прожекторы а светодиоды, по краю стекла, думаю так дествительно компактнее
                                                    0
                                                    Компактнее, но куда более трудоемко и по сути имеет смысл только для варианта, где система встраивается в «раскуроченный» телевизор и потому нет проектора, кстати к предыдущему посту советую почитать тут nuigroup.com/forums/viewthread/4309/
                                                  0
                                                  «В CCV можно добавлять свои филЬтры или ...» подправьте очипятку…
                                                  +1
                                                  в качестве дополнения: Surface 2.0 в разы лучше своей первой версии и стоит дешевле — $7600 microgeek.ru/blogs/windowsdevices/1068/

                                                    0
                                                    Дешевка, всего 3 Optimus. Lebedev бы за 70К впарил ;)
                                                      0
                                                      Еще его главная фишка то что дисплей видит в прямом смысле этого слова, в общем мне жутко хочется увидеть его в действии на практике.
                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                      0
                                                      > Для чего это нужно? Мы пользуемся эффектом полного внутреннего отражения,…

                                                      Сегодня не 1-е апреля, поэтому можно пояснить :).
                                                      На самом деле, ПВО здесь не играет роли и в принципе не может играть, потому что плоскости стекла — параллельные и с одинаковым коэффициентом преломления. Свет пройдёт внутрь под тем же углом, каким выйдет. (Свет с ПВО может проходить только, попав внутрь с торца.) Кроме того, света под углами, близкими к критическому проходит относительно мало из-за законов отражения-преломления и основной вклад в освещение руки и предметов с «той стороны» будут давать лучи, более вертикально проходящие.

                                                      (Если кто-то где-то так научно объяснил через ПВО — он ошибался. Журналист услышал полуграмотное объяснение и вдохновился научностью.)

                                                      Здесь действует более простой эффект (на фото хорошо видно), подобный тому, как мы наблюдаем лица людей из освещённой комнаты за окном ночью: если лицо приблизится, его хорошо видно в окне, а вдали быстро скрывается в темноте. Диффундирующая плёнка усиливает этот эффект рассеяния слабого света и играет решающую роль. Хорошо освещены предметы, близко подведённые к плёнке, из-за простого отражения света назад, в стол. В принципе, достаточно просто натянуть полиэтиленовую плёнку, и результат будет тем же. Продаются матовые стеклянные столы (мм 10-12 толщиной) — они тоже будут отлично работать, даже на простом свете, лишь бы сверху было темно, а снизу светло.
                                                        0
                                                        Вы абсолютно правы, писал и правда про другой случай.
                                                        0
                                                        По поводу зеркалирования изображения:
                                                        современные проекторы умеют переварачивать изображение всеразличными способами, в частности зеркалировать для проектирования с обратной стороны экрана.
                                                        Если же цель была «уменьшение глубины стола» — дело другое, но в статье указаны обе причины.
                                                          0
                                                          Я не уверен что такая функция есть во всех проекторах, вот и написал.

                                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                        Самое читаемое