Comments 50
Конечно интересно, но имхо набирать текст той же рукой по Т9 будет намного быстрее. Или я чего-то не понимаю?
Я как-то наблюдал беседу людей, которые изъяснялись на языке жестов. Они делают это очень быстро.
Тем более, если не ошибаюсь, один жест может равняться и целой фразе, а не только одному слову.
Тем более, если не ошибаюсь, один жест может равняться и целой фразе, а не только одному слову.
С языком жестов существует огромная проблема — перевод. Дело в том, что тот же РЖЯ (русский жестовый язык) на самом деле далёк от грамматики русского. Дело в том, что на жестах болшинство предложений — это картинки. Сначала обрисовывается ситуация, а потом описывается действие.
Проблема тут в том, что если дословно это всё воспроизвести, далеко не всегда будет понятно что именно имелось в виду.
Более того, многие жесты имеют разные смыслы в зависимости от контекста. Возникает вопрос — каким именно словом озвучить данный жест. Возникает та же самая проблема, что и с переводом с любого языка. Т.е. применение этой игрушки почти то же самое, что и перевод речи с родного языка на незнакомый. Доверили бы вы автоматическому переводчику «говорить» за вас?
Короче, «проиграть» на «говорящем» языке жесты — это на самом деле задача перевода, причём очень сложная. В пределах отдельных, ходовых слов и фраз такая штука может быть и пригодится. Но как полноценный «озвучиватель» — вряд ли. Слишком уж много проблем, и распознавание жеста — наименьшая из них.
Если в итоге удастся решить эти проблемы, будет просто отлично. Хорошо, что над этим стали работать.
Проблема тут в том, что если дословно это всё воспроизвести, далеко не всегда будет понятно что именно имелось в виду.
Более того, многие жесты имеют разные смыслы в зависимости от контекста. Возникает вопрос — каким именно словом озвучить данный жест. Возникает та же самая проблема, что и с переводом с любого языка. Т.е. применение этой игрушки почти то же самое, что и перевод речи с родного языка на незнакомый. Доверили бы вы автоматическому переводчику «говорить» за вас?
Короче, «проиграть» на «говорящем» языке жесты — это на самом деле задача перевода, причём очень сложная. В пределах отдельных, ходовых слов и фраз такая штука может быть и пригодится. Но как полноценный «озвучиватель» — вряд ли. Слишком уж много проблем, и распознавание жеста — наименьшая из них.
Если в итоге удастся решить эти проблемы, будет просто отлично. Хорошо, что над этим стали работать.
Я делал такую же перчатку и тоже в голову пришла идея озвучивать жесты, нашел преподавателя, так главная проблема на самом деле оказалась в том, что жесты могут показывать по-разному, т.е. несколько раз подряд жест будет немного отличаться, под настроение (т.е. например один раз человек помашет пальцами, как положено, а в другой раз просто покажет начало жеста — все догадаются), они идут мешаниной (не пробовал, но предположил что распознать сложнее будет), ну и конечно описанные вами проблемы, а именно так им удобнее общаться, а не по буквам. Плюс немало «сленга», это когда каждая группа выдумывает какие-то свои жесты, изменяет стандартные. А поскольку общение обычно у людей постоянное, в итоге они могут совсем далеко отойти от оригинальных жестов — получается что-то вроде русского и украинского с точки зрения белоруса.
Поэтому да, с кучей ограничений пользоваться можно, но сложно получается и в данном контексте применения скорее всего так и не найдет.
Поэтому да, с кучей ограничений пользоваться можно, но сложно получается и в данном контексте применения скорее всего так и не найдет.
Как я люблю людей которые говорят о том в чем совершенно не разбираются =)
А еще проще на бумажке написать, что многие и делают.
Касаемо же Т9 — не многие глухие и слабослышащие умеют писать без кучи грамматических ошибок. Причем до степени что не всегда за этим вообще можно угадать слово, ибо для нас слова просто набор букв где мы путаем «а» с «о», или «з» и «с», а для них это как картинки которые приходится воспроизводить по памяти. Порой слова не поддаются запоминанию по отдельности и зазубриваются фразами. Это отчего у многих получается до кучи очень не связанные формулировки, слова не склоняются, не используются времена.
Касаемо же Т9 — не многие глухие и слабослышащие умеют писать без кучи грамматических ошибок. Причем до степени что не всегда за этим вообще можно угадать слово, ибо для нас слова просто набор букв где мы путаем «а» с «о», или «з» и «с», а для них это как картинки которые приходится воспроизводить по памяти. Порой слова не поддаются запоминанию по отдельности и зазубриваются фразами. Это отчего у многих получается до кучи очень не связанные формулировки, слова не склоняются, не используются времена.
Представьте ситуацию — подходит к вам немой человек и пытается на мобилке набрать текст в Т9, а потом дать вам почитать. Да вы его пошлете быстрее, чем он успеет что-то набрать. А когда он подойдет, «помашет» перед вами несколькими жестами, а TTS переведет это в речь, которую вы тут же поймете — согласитесь, что такой вариант куда как удобнее
Вы бы еще про SWYPE написали.
Или Touché — тоже отличное решение, даже, по-моему, более подходящее.
Перчатки это хорошо, а вот если бы они с камеры смогли бы жесты распознать и перевести было бы совсем прекрасно.
Как идея, СУПЕР!
Как реализация, интересно!
Как реальная польза, пока сомнительно.
Как реализация, интересно!
Как реальная польза, пока сомнительно.
Я думаю это сомнительно, пока сам или кто-о из твоих друзей не будет нуждаться в подобных вещах. А для многих это мечта. Как применить… например человек одевает перчатки и «говорит», система распознает предложения и переводит в речь понятную людям «без неудобств».
Я думаю это действительно хорее исследование, и к подобным открытиям должно идти человечество, а не изобретать патенты на патентованные патентные патенты.
Я думаю это действительно хорее исследование, и к подобным открытиям должно идти человечество, а не изобретать патенты на патентованные патентные патенты.
Я хотел пригласить кого-нибудь из команды на Хабр, но у них неправильно настроена почта на сайте, у меня ошибка отправки постоянно.
Если вдруг кто знает этих ребят — напишите мне.
Если вдруг кто знает этих ребят — напишите мне.
Fixed, встречайте.
Человек, который не знает язык жестов услышит text2speech речь — это круто. А как они решат проблему того, что человек не сможет на это ответить? Получается, что аппарат работает в один конец. //При условии того, что немой не может читать по губам
Идея много где мелькала, например фильм Dancer.
Насколько я знаю не совсем создали, а просто представили идею. Я не заметил чтобы на видео приложение реально работало, а как раз наоборот.
Но идея очень интересная, если они ее реализуют, то это будет действительно прорыв в коммуникации.
Но идея очень интересная, если они ее реализуют, то это будет действительно прорыв в коммуникации.
Ушёл учить язык жестов…
Неужели, вы не понимаете величину изобретения? Язык жестов — универсальный международный язык.
Если у каждого будут такие перчатки (а цена уже позволяет), проблема языкового барьера устраняется сама собой. Нужно только настроится на язык собеседника и иметь в смарте соответствующий синтезатор речи.
По-моему, это очень многообещающе.
Неужели, вы не понимаете величину изобретения? Язык жестов — универсальный международный язык.
Если у каждого будут такие перчатки (а цена уже позволяет), проблема языкового барьера устраняется сама собой. Нужно только настроится на язык собеседника и иметь в смарте соответствующий синтезатор речи.
По-моему, это очень многообещающе.
а цена уже позволяет
Обращу внимание, 75$ — это себестоимость, продавать устройство планируют примерно по 400$.
Но штука классная, это да.
Обращу внимание, 75$ — это себестоимость, продавать устройство планируют примерно по 400$.
Но штука классная, это да.
У них на сайте в бизнес-плане 20$ себестоимость, 200$ в рознице…
enabletalk.com/business.html
enabletalk.com/business.html
Смею вас расстроить. В России, Украине, Америке и так далее, языки жестов разные.
Не знал. Жаль.
С другой стороны, это ведь язык ввода. Теоретически, изъясняться можно на любом из жестовых языков, звуковая расшифровка же будет на том языке, который укажет пользователь.
Выходит, можно хоть свой жестовый язык придумать и настроить систему таким образом, чтобы она воспроизводила его на языке собеседника. Таким образом, оказавшись в чуждой языковой среде, можно хотя бы вопросы и просьбы «произносить», что часто уже немаловажно.
Если же интегрировать эту систему с системой распознавания речи и синхронного перевода, получается совершенно автономный коммуникационный инструмент (вспомним об очках от Гугла). В этом случае перчатки будут выполнять роль удобного средства ввода (произвести несколько жестов всё равно быстрее, чем, произнести текст на своём языке и дождаться воспроизведения перевода; да и воспринимаются жесты, думаю, лучше).
На сегодняшний день всё это, конечно, ещё фантастика. Но идея перчаток мне раньше ни в голову не приходила, ни на глаза не попадалась. Весьма впечатлён.
Если же интегрировать эту систему с системой распознавания речи и синхронного перевода, получается совершенно автономный коммуникационный инструмент (вспомним об очках от Гугла). В этом случае перчатки будут выполнять роль удобного средства ввода (произвести несколько жестов всё равно быстрее, чем, произнести текст на своём языке и дождаться воспроизведения перевода; да и воспринимаются жесты, думаю, лучше).
На сегодняшний день всё это, конечно, ещё фантастика. Но идея перчаток мне раньше ни в голову не приходила, ни на глаза не попадалась. Весьма впечатлён.
Смею спросить почему тогда просто не переводчик голос-голос? Приехал в любую страну, говоришь, а оно переводит собеседнику :)
Проще ведь чем изучаьт жесты. Тренироваться. Куча ПО с кучей разных языков жестов :)
Проще ведь чем изучаьт жесты. Тренироваться. Куча ПО с кучей разных языков жестов :)
Вы видели альтернативный ролик об очках Гугл, снятый в России? Помните, там момент, когда у парня что-то спрашивают, он повторяет очкам вопрос несколько раз, а те не реагируют. В результате выходит конфуз.
Сказать что-то незнакомому человеку на незнакомом ему языке, а затем ещё и ждать от него выслушивания синтезированной речи — не самая удобная ситуация. Другое дело, когда вы производите интуитивно понятные жесты, которые сопровождаются речью на его языке. Лично я готов ради этого изучить какой-либо из ЖЯ.
Кроме того, такие перчатки могут стать очень многофункциональным устройством ввода для тех же самых очков. И тут вам снова пригодится ЖЯ. По-моему, здорово.
Сказать что-то незнакомому человеку на незнакомом ему языке, а затем ещё и ждать от него выслушивания синтезированной речи — не самая удобная ситуация. Другое дело, когда вы производите интуитивно понятные жесты, которые сопровождаются речью на его языке. Лично я готов ради этого изучить какой-либо из ЖЯ.
Кроме того, такие перчатки могут стать очень многофункциональным устройством ввода для тех же самых очков. И тут вам снова пригодится ЖЯ. По-моему, здорово.
«он повторяет очкам вопрос несколько раз, а те не реагируют»
Тут же проблем не в том, что голос плохой инструмент ввода, а что очки плохо воспринимают. Правда?
По-моему гораздо(!) проще сделать нормальный(!) голосовой ввод (я имею ввиду такой, который не будет тупить при попытках его использовать).
Ну либо что-то вроде такого:
Neural Impulse Actuator
Тут же проблем не в том, что голос плохой инструмент ввода, а что очки плохо воспринимают. Правда?
По-моему гораздо(!) проще сделать нормальный(!) голосовой ввод (я имею ввиду такой, который не будет тупить при попытках его использовать).
Ну либо что-то вроде такого:
Neural Impulse Actuator
Умопомрачительно.
А есть перчатка для управления приложениями на мобиле? А то с камеры неудобно руку на весу держать.
А есть перчатка для управления приложениями на мобиле? А то с камеры неудобно руку на весу держать.
Я вот еще подумал:
1. Раз база жестов хранится на телефоне — можно спокойно отправлять все новые жесты, «забитые» пользователями, в единое онлайн-хранилище, а оттуда рассылать по остальным устройствам. В этом случае обучение системы ускорится в разы.
2. А если уж такая база жестов есть, то и в обратном направлении перевод будет сделать нетрудно. Хотя вот сейчас прикинул и не смог придумать — зачем вообще нужен этот сурдоперевод, когда есть субтитры.
1. Раз база жестов хранится на телефоне — можно спокойно отправлять все новые жесты, «забитые» пользователями, в единое онлайн-хранилище, а оттуда рассылать по остальным устройствам. В этом случае обучение системы ускорится в разы.
2. А если уж такая база жестов есть, то и в обратном направлении перевод будет сделать нетрудно. Хотя вот сейчас прикинул и не смог придумать — зачем вообще нужен этот сурдоперевод, когда есть субтитры.
Ребята заняли первое место на ImagineCup 2012, и получили $25000. Так что, надеюсь, этот проект пойдет дальше прототипа!
Интересно, где во время разговора должен находиться телефон. С одной стороны его должно быть хорошо слышно собеседнику, с другой — не должен занимать рук, чтобы можно было жестикулировать. На видео это не показано.
И вообще в видео рассказывается странная история. Девушка увидела как конкретный человек уронил бумажник, и, вместо того, чтобы его догнать, начала его «предлагать» другим прохожим. А потом надела чудо-перчатку, начала шевелить губами и, не показывая ни единого жеста, сразу получила какой-то ответ и нашла владельца.
И вообще в видео рассказывается странная история. Девушка увидела как конкретный человек уронил бумажник, и, вместо того, чтобы его догнать, начала его «предлагать» другим прохожим. А потом надела чудо-перчатку, начала шевелить губами и, не показывая ни единого жеста, сразу получила какой-то ответ и нашла владельца.
Добрый день.
Это презентационное виде нашего проекта в котором показана возможная ситуация человека который имеет ограничения в общении и не слышет окружающих. И при этом в ролике девочка, которая использует язык жестов с детства.
Вот ссылочка на небольшое интервью с ней и ее мамой:
www.youtube.com/watch?v=sm7qoBhid7U&feature=youtu.be
Это презентационное виде нашего проекта в котором показана возможная ситуация человека который имеет ограничения в общении и не слышет окружающих. И при этом в ролике девочка, которая использует язык жестов с детства.
Вот ссылочка на небольшое интервью с ней и ее мамой:
www.youtube.com/watch?v=sm7qoBhid7U&feature=youtu.be
Sign up to leave a comment.
Украинские студенты создали перчатки, переводящие язык жестов в речь