Студенты Корнельского университета создали устройство, способное переводить слова с языка жестов в обычную речь.
Девайс представляет собой перчатку, в которой использованы гибкие датчики, акселерометры и контактные сенсоры для распознавания сложных движений кисти и пальцев. Это позволяет конвертировать информацию о расположении руки в цифровые сигналы, которые отправляются на компьютер. После их обработки специальная программа распознает «произнесенную» пальцами фразу и сохраняет ее в письменном виде. В дальнейшем ее можно вывести на экран, распечатать или озвучить.
Стоит заметить, что передача информации от перчатки до компьютера происходит по беспроводной технологии, что позволяет надеяться на скорое практическое использование девайса. Авторы проекта уверены, что такая перчатка очень выручит немых людей.
По словам одного из руководителей проекта Si Ping Wang:
Переводчик языка жестов мы разработали используя перчатку которая снабжена датчиками, которые можно интерпретировать в 26 английских букв на американском языке жестов (ASL).Перчатка использует гибкие датчики, контактные датчики и акселерометры в трех измерениях, чтобы собрать данные о позиции каждого пальца и движения рук, чтобы различать буквы.Перевод передается на базовую станцию, которая отображает, а также произносит буквы, а также взаимодействует с компьютером.
Рассмотрим перчатку более детально и по порядку.
Перчатка
Переводчик жестового языка начинается с перчаткой, в самом сердце проекта. Черная перчатка содержит девять гибких датчиков, четырьмя датчиками контакта, один двумерной оси х, акселерометром и одной одномерной оси Z акселерометра. Все пальцы, кроме большого пальца и есть два гибких датчика, один по локоть, а другой по кисть. Это обеспечивает две степени сгибаемости. Для большого пальца есть один гибкий датчик на нижний сустав. Все гибкие датчики были очень дешевые и доступны, мы вообще то нашли их в нашей лаборатории.
Flex датчики
Контактные датчики помогают различать множество писем, в которых гибкие датчики были неоднозначными. У таких букв как U и V есть только одна разница: расстояние между указательным и средним пальцами. Программно перчатка конвертирует какие пальцы и как прикосновение пальцев ориентированы друг относительно друга.
Contact датчики
Наконец, акселерометр используется для перемещения и ориентации обнаружения. Конкретные дистанции между пальцами, это единственный способ обнаружить буквы J и Z. Для написания, таких букв как G и Q, единственный способ провести различие между ними является их ориентация — в то время как G обнаруживается ладонью в сторону, Q обнаруживается ладонью вниз.
Акселерометры
Рука з датчиками
Во второй части проекта является блок детектирования.Выход из датчиков на перчатки связан с блоком детектирования, который крепится на руке пользователя с помощью ремешков на липучках.
Блок детектирования
Блок детектирования состоит из трех основных компонентов.
Компаратор схемы:
Первый из этих трех из девяти Шмитт триггеров, построенные с использованием операционных усилителей с положительной обратной связью. Девять гибких датчиков оцифровуются с помощью Аналого-цифровых преобразователей (АЦП).
Каждый датчик имеет гибкий уникальный уровень порога обнаружения прогибания.
Двенадцать схем компараторов
Радио передатчик: Вторая часть блока детектирования есть радиопередатчик, который передает буквы, подписанные к базовой станции. Это делает его беспроводным и легко переносимым. Мы используем Radiotronix WI.232FHSS-25-FCC-R трансивер.
Приемопередатчик
ATMega644 микроконтроллера:
Датчики схемы сравнения и контактные датчики связаны также микроконтроллером через свои порты.Основная цель заключается в анализе данных от датчиков.
ATMega644 Microcontroller
Базовая станция
Базовая станция получает данные на вход через радиоприемник и выводит результаты на экран ЖК-дисплея.
Программное обеспечение
Программное обеспечение для проекта используется Matlab, Java, C и интерфейс с микроконтроллерами и датчики на перчатку.
«C» используется для программирования микроконтроллеров, считывая данные с датчиков на перчатку, признавая буквы, и передавая информацию на базовую станцию. Matlab используется для связи с базовой станцией через последовательный порт. Наконец, Java используется для реализации игры языка жестов для пользователей. Игра похожа на ввод букв.
Эта игра может помочь пользователям научиться языку жестов в веселой конкурентной среде.
Весь программный поток
Девайс представляет собой перчатку, в которой использованы гибкие датчики, акселерометры и контактные сенсоры для распознавания сложных движений кисти и пальцев. Это позволяет конвертировать информацию о расположении руки в цифровые сигналы, которые отправляются на компьютер. После их обработки специальная программа распознает «произнесенную» пальцами фразу и сохраняет ее в письменном виде. В дальнейшем ее можно вывести на экран, распечатать или озвучить.
Стоит заметить, что передача информации от перчатки до компьютера происходит по беспроводной технологии, что позволяет надеяться на скорое практическое использование девайса. Авторы проекта уверены, что такая перчатка очень выручит немых людей.
По словам одного из руководителей проекта Si Ping Wang:
Переводчик языка жестов мы разработали используя перчатку которая снабжена датчиками, которые можно интерпретировать в 26 английских букв на американском языке жестов (ASL).Перчатка использует гибкие датчики, контактные датчики и акселерометры в трех измерениях, чтобы собрать данные о позиции каждого пальца и движения рук, чтобы различать буквы.Перевод передается на базовую станцию, которая отображает, а также произносит буквы, а также взаимодействует с компьютером.
Рассмотрим перчатку более детально и по порядку.
Перчатка
Переводчик жестового языка начинается с перчаткой, в самом сердце проекта. Черная перчатка содержит девять гибких датчиков, четырьмя датчиками контакта, один двумерной оси х, акселерометром и одной одномерной оси Z акселерометра. Все пальцы, кроме большого пальца и есть два гибких датчика, один по локоть, а другой по кисть. Это обеспечивает две степени сгибаемости. Для большого пальца есть один гибкий датчик на нижний сустав. Все гибкие датчики были очень дешевые и доступны, мы вообще то нашли их в нашей лаборатории.
Flex датчики
Контактные датчики помогают различать множество писем, в которых гибкие датчики были неоднозначными. У таких букв как U и V есть только одна разница: расстояние между указательным и средним пальцами. Программно перчатка конвертирует какие пальцы и как прикосновение пальцев ориентированы друг относительно друга.
Contact датчики
Наконец, акселерометр используется для перемещения и ориентации обнаружения. Конкретные дистанции между пальцами, это единственный способ обнаружить буквы J и Z. Для написания, таких букв как G и Q, единственный способ провести различие между ними является их ориентация — в то время как G обнаруживается ладонью в сторону, Q обнаруживается ладонью вниз.
Акселерометры
Рука з датчиками
Во второй части проекта является блок детектирования.Выход из датчиков на перчатки связан с блоком детектирования, который крепится на руке пользователя с помощью ремешков на липучках.
Блок детектирования
Блок детектирования состоит из трех основных компонентов.
Компаратор схемы:
Первый из этих трех из девяти Шмитт триггеров, построенные с использованием операционных усилителей с положительной обратной связью. Девять гибких датчиков оцифровуются с помощью Аналого-цифровых преобразователей (АЦП).
Каждый датчик имеет гибкий уникальный уровень порога обнаружения прогибания.
Двенадцать схем компараторов
Радио передатчик: Вторая часть блока детектирования есть радиопередатчик, который передает буквы, подписанные к базовой станции. Это делает его беспроводным и легко переносимым. Мы используем Radiotronix WI.232FHSS-25-FCC-R трансивер.
Приемопередатчик
ATMega644 микроконтроллера:
Датчики схемы сравнения и контактные датчики связаны также микроконтроллером через свои порты.Основная цель заключается в анализе данных от датчиков.
ATMega644 Microcontroller
Базовая станция
Базовая станция получает данные на вход через радиоприемник и выводит результаты на экран ЖК-дисплея.
Программное обеспечение
Программное обеспечение для проекта используется Matlab, Java, C и интерфейс с микроконтроллерами и датчики на перчатку.
«C» используется для программирования микроконтроллеров, считывая данные с датчиков на перчатку, признавая буквы, и передавая информацию на базовую станцию. Matlab используется для связи с базовой станцией через последовательный порт. Наконец, Java используется для реализации игры языка жестов для пользователей. Игра похожа на ввод букв.
Эта игра может помочь пользователям научиться языку жестов в веселой конкурентной среде.
Весь программный поток