Украинские студенты создали перчатки, переводящие язык жестов в речь



    Проект Enable Talk украинской команды QuadSquad. Один из шести финалистов Microsoft`s Imagine Cup в Сиднее.

    Ребята создали перчатки, снабженные солнечной батареей, датчиками давления, гироскопами и акселерометрами, которые при помощи специального ПО могут переводить язык жестов в текст, а затем и в речь, используя движок text-to-speech. Система подключается к смартфону по Bluetooth.

    Команда создала несколько прототипов и протестрировала их при помощи людей, знающих язык жестов. Как говорит один из членов команды, Максим Осика, идея пришла к ним в ходе общения со спортсменами, страдающими нарушениями слуха.

    Как правило, подобные проекты стоят около 1200$, да и продаются по отдельности, девайсы и ПО.

    Тут же стоимость необходимого для производства устройства железа — около 75$.

    Ещё из особенностей — пользователи смогут добавлять в систему распознавания новые жесты, таким образом обучая ее.

    via

    Документация
    Share post

    Similar posts

    Comments 50

      –15
      Конечно интересно, но имхо набирать текст той же рукой по Т9 будет намного быстрее. Или я чего-то не понимаю?
        +8
        Я как-то наблюдал беседу людей, которые изъяснялись на языке жестов. Они делают это очень быстро.

        Тем более, если не ошибаюсь, один жест может равняться и целой фразе, а не только одному слову.
          +4
          С языком жестов существует огромная проблема — перевод. Дело в том, что тот же РЖЯ (русский жестовый язык) на самом деле далёк от грамматики русского. Дело в том, что на жестах болшинство предложений — это картинки. Сначала обрисовывается ситуация, а потом описывается действие.

          Проблема тут в том, что если дословно это всё воспроизвести, далеко не всегда будет понятно что именно имелось в виду.

          Более того, многие жесты имеют разные смыслы в зависимости от контекста. Возникает вопрос — каким именно словом озвучить данный жест. Возникает та же самая проблема, что и с переводом с любого языка. Т.е. применение этой игрушки почти то же самое, что и перевод речи с родного языка на незнакомый. Доверили бы вы автоматическому переводчику «говорить» за вас?

          Короче, «проиграть» на «говорящем» языке жесты — это на самом деле задача перевода, причём очень сложная. В пределах отдельных, ходовых слов и фраз такая штука может быть и пригодится. Но как полноценный «озвучиватель» — вряд ли. Слишком уж много проблем, и распознавание жеста — наименьшая из них.

          Если в итоге удастся решить эти проблемы, будет просто отлично. Хорошо, что над этим стали работать.
            +2
            Я делал такую же перчатку и тоже в голову пришла идея озвучивать жесты, нашел преподавателя, так главная проблема на самом деле оказалась в том, что жесты могут показывать по-разному, т.е. несколько раз подряд жест будет немного отличаться, под настроение (т.е. например один раз человек помашет пальцами, как положено, а в другой раз просто покажет начало жеста — все догадаются), они идут мешаниной (не пробовал, но предположил что распознать сложнее будет), ну и конечно описанные вами проблемы, а именно так им удобнее общаться, а не по буквам. Плюс немало «сленга», это когда каждая группа выдумывает какие-то свои жесты, изменяет стандартные. А поскольку общение обычно у людей постоянное, в итоге они могут совсем далеко отойти от оригинальных жестов — получается что-то вроде русского и украинского с точки зрения белоруса.

            Поэтому да, с кучей ограничений пользоваться можно, но сложно получается и в данном контексте применения скорее всего так и не найдет.
          +9
          Как я люблю людей которые говорят о том в чем совершенно не разбираются =)
            –5
            Как я люблю людей, которые разбираются абсолютно во всем. Прошу экспертов минусовать далее.
              –2
              Всего три эксперта?
            0
            А еще проще на бумажке написать, что многие и делают.

            Касаемо же Т9 — не многие глухие и слабослышащие умеют писать без кучи грамматических ошибок. Причем до степени что не всегда за этим вообще можно угадать слово, ибо для нас слова просто набор букв где мы путаем «а» с «о», или «з» и «с», а для них это как картинки которые приходится воспроизводить по памяти. Порой слова не поддаются запоминанию по отдельности и зазубриваются фразами. Это отчего у многих получается до кучи очень не связанные формулировки, слова не склоняются, не используются времена.
              +1
              Представьте ситуацию — подходит к вам немой человек и пытается на мобилке набрать текст в Т9, а потом дать вам почитать. Да вы его пошлете быстрее, чем он успеет что-то набрать. А когда он подойдет, «помашет» перед вами несколькими жестами, а TTS переведет это в речь, которую вы тут же поймете — согласитесь, что такой вариант куда как удобнее
                0
                Вы бы еще про SWYPE написали.
                +3
                Этой штуке бы Leap Motion вместо перчаток — было бы поэлегантнее
                  0
                  Или Touché — тоже отличное решение, даже, по-моему, более подходящее.
                  0
                  Перчатки это хорошо, а вот если бы они с камеры смогли бы жесты распознать и перевести было бы совсем прекрасно.
                    +1
                    Распознавания жестов камерой — вообще КРУТО!
                    Но, кто может такое сделать?
                      0
                      Японцы же сделали распознавание жестов при игре в «камень, ножницы, бумага».
                        +3
                        Пока это лишь ОТСЛЕЖИВАНИЕ трёх жестов, априори заложенных в память.
                        Реальное РАСПОЗНАВАНИЕ дело весьма трудное.
                        +4
                        kinnect 2 вроде бы
                      0
                      Как идея, СУПЕР!
                      Как реализация, интересно!
                      Как реальная польза, пока сомнительно.
                        +5
                        Я думаю это сомнительно, пока сам или кто-о из твоих друзей не будет нуждаться в подобных вещах. А для многих это мечта. Как применить… например человек одевает перчатки и «говорит», система распознает предложения и переводит в речь понятную людям «без неудобств».

                        Я думаю это действительно хорее исследование, и к подобным открытиям должно идти человечество, а не изобретать патенты на патентованные патентные патенты.
                        +7
                        Мне очень приятно, что на украине придумывают подобные вещи! Это просто супер!!!
                          +1
                          Я только заметил, что ребята из Компьютерной Академии ШАГ, я учился там в детстве, прям радуюсь за них!
                          Донецкий филиал наверное очень дорожит такими талантами :)
                          enabletalk.com/contacts.html в контактах даже указан адрес академии.
                          +1
                          Я хотел пригласить кого-нибудь из команды на Хабр, но у них неправильно настроена почта на сайте, у меня ошибка отправки постоянно.

                          Если вдруг кто знает этих ребят — напишите мне.
                          +1
                          Человек, который не знает язык жестов услышит text2speech речь — это круто. А как они решат проблему того, что человек не сможет на это ответить? Получается, что аппарат работает в один конец. //При условии того, что немой не может читать по губам
                            +2
                            Немой, не значит глухой.
                              0
                              Я имел ввиду и немой и глухой в данном случае
                                +1
                                Он может читать по губам
                              +4
                              Даже связь в один конец — лучше, чем совсем ничего.
                              +1
                              Идея много где мелькала, например фильм Dancer.
                                0
                                Насколько я знаю не совсем создали, а просто представили идею. Я не заметил чтобы на видео приложение реально работало, а как раз наоборот.
                                Но идея очень интересная, если они ее реализуют, то это будет действительно прорыв в коммуникации.
                                  0
                                  Ушёл учить язык жестов…

                                  Неужели, вы не понимаете величину изобретения? Язык жестов — универсальный международный язык.

                                  Если у каждого будут такие перчатки (а цена уже позволяет), проблема языкового барьера устраняется сама собой. Нужно только настроится на язык собеседника и иметь в смарте соответствующий синтезатор речи.

                                  По-моему, это очень многообещающе.
                                    +1
                                    а цена уже позволяет

                                    Обращу внимание, 75$ — это себестоимость, продавать устройство планируют примерно по 400$.

                                    Но штука классная, это да.
                                      0
                                      У них на сайте в бизнес-плане 20$ себестоимость, 200$ в рознице…
                                      enabletalk.com/business.html
                                        0
                                        А, это за одну перчатку… Ну тогда действительно 400$ за комплект…
                                      +12
                                      Смею вас расстроить. В России, Украине, Америке и так далее, языки жестов разные.
                                        +1
                                        Не знал. Жаль.
                                          0
                                          С другой стороны, это ведь язык ввода. Теоретически, изъясняться можно на любом из жестовых языков, звуковая расшифровка же будет на том языке, который укажет пользователь.
                                            0
                                            Выходит, можно хоть свой жестовый язык придумать и настроить систему таким образом, чтобы она воспроизводила его на языке собеседника. Таким образом, оказавшись в чуждой языковой среде, можно хотя бы вопросы и просьбы «произносить», что часто уже немаловажно.

                                            Если же интегрировать эту систему с системой распознавания речи и синхронного перевода, получается совершенно автономный коммуникационный инструмент (вспомним об очках от Гугла). В этом случае перчатки будут выполнять роль удобного средства ввода (произвести несколько жестов всё равно быстрее, чем, произнести текст на своём языке и дождаться воспроизведения перевода; да и воспринимаются жесты, думаю, лучше).

                                            На сегодняшний день всё это, конечно, ещё фантастика. Но идея перчаток мне раньше ни в голову не приходила, ни на глаза не попадалась. Весьма впечатлён.
                                              +1
                                              Смею спросить почему тогда просто не переводчик голос-голос? Приехал в любую страну, говоришь, а оно переводит собеседнику :)
                                              Проще ведь чем изучаьт жесты. Тренироваться. Куча ПО с кучей разных языков жестов :)
                                                0
                                                Вы видели альтернативный ролик об очках Гугл, снятый в России? Помните, там момент, когда у парня что-то спрашивают, он повторяет очкам вопрос несколько раз, а те не реагируют. В результате выходит конфуз.

                                                Сказать что-то незнакомому человеку на незнакомом ему языке, а затем ещё и ждать от него выслушивания синтезированной речи — не самая удобная ситуация. Другое дело, когда вы производите интуитивно понятные жесты, которые сопровождаются речью на его языке. Лично я готов ради этого изучить какой-либо из ЖЯ.

                                                Кроме того, такие перчатки могут стать очень многофункциональным устройством ввода для тех же самых очков. И тут вам снова пригодится ЖЯ. По-моему, здорово.
                                                  +2
                                                  «он повторяет очкам вопрос несколько раз, а те не реагируют»
                                                  Тут же проблем не в том, что голос плохой инструмент ввода, а что очки плохо воспринимают. Правда?
                                                  По-моему гораздо(!) проще сделать нормальный(!) голосовой ввод (я имею ввиду такой, который не будет тупить при попытках его использовать).
                                                  Ну либо что-то вроде такого:
                                                  Neural Impulse Actuator
                                                    0
                                                    Как мне кажется, жестовые языки гораздо более семантически ёмкие. Они нарративно ограничены, зато должны давать гораздо более чёткие фразы для синтеза, чем переводчик ЕЯ–ЕЯ.
                                                      +1
                                                      Как говорится «Каждый удовлетворяет себя, как ему самому нравится», я бы предпочел систему Neural Impulse Actuator'ов которые уже генерируют понятную собеседнику речь… Хотя стоп, это уже какая-то высшая степень лени :(
                                          +1
                                          «Ушёл учить язык жестов…»

                                          Вам неплохой бесплатный сайт digitgestus.com
                                          0
                                          Умопомрачительно.

                                          А есть перчатка для управления приложениями на мобиле? А то с камеры неудобно руку на весу держать.
                                            0
                                            Я вот еще подумал:
                                            1. Раз база жестов хранится на телефоне — можно спокойно отправлять все новые жесты, «забитые» пользователями, в единое онлайн-хранилище, а оттуда рассылать по остальным устройствам. В этом случае обучение системы ускорится в разы.

                                            2. А если уж такая база жестов есть, то и в обратном направлении перевод будет сделать нетрудно. Хотя вот сейчас прикинул и не смог придумать — зачем вообще нужен этот сурдоперевод, когда есть субтитры.
                                            • UFO just landed and posted this here
                                                +4
                                                Ребята заняли первое место на ImagineCup 2012, и получили $25000. Так что, надеюсь, этот проект пойдет дальше прототипа!
                                                  +3
                                                  Интересно, где во время разговора должен находиться телефон. С одной стороны его должно быть хорошо слышно собеседнику, с другой — не должен занимать рук, чтобы можно было жестикулировать. На видео это не показано.

                                                  И вообще в видео рассказывается странная история. Девушка увидела как конкретный человек уронил бумажник, и, вместо того, чтобы его догнать, начала его «предлагать» другим прохожим. А потом надела чудо-перчатку, начала шевелить губами и, не показывая ни единого жеста, сразу получила какой-то ответ и нашла владельца.
                                                    –1
                                                    Добрый день.

                                                    Это презентационное виде нашего проекта в котором показана возможная ситуация человека который имеет ограничения в общении и не слышет окружающих. И при этом в ролике девочка, которая использует язык жестов с детства.
                                                    Вот ссылочка на небольшое интервью с ней и ее мамой:
                                                    www.youtube.com/watch?v=sm7qoBhid7U&feature=youtu.be

                                                  Only users with full accounts can post comments. Log in, please.