Pull to refresh

Comments 58

Критиковать всегда намного легче, чем самому что-то сделать.
А ребята таки молодцы! Я очень рад их победе!
Вряд ли это критика с моей стороны. Это попытка аргументированно объяснить ситуацию.
Странно, но никто не назвал еще две причины. Видимо, нет на хабре глухонемых, поправим ситуацию.
Боюсь основная задача не строить смысловой перевод жестов в понятную для человека речь,
а проблема в качестве интерпретации жестов, в разных странах, есть множество «форков» жестового языка:
1. Расхождения в смысле жестов в зависимости от региона.

Четкость произношения, дикция. Да! В жестовом языке есть дикция. Вы видели когда-нибудь сурдопереводчика? Это четкие жесты, как у регулировщика на пересечении двух крупных улиц в Англии. А у простых людей которые пользуются жестами для общения, все очень сглажено (жестовый сленг), если вы только начинаете овладевать этим языком и пытаетесь понять собеседника, очень легко путаться между словами, приходится много слов просто угадывать. Высказывание: «Гребаный Т9», перекочует к глухонемым.

2. Нет четких движений и моторики жестов. Как следствие для реализации таких перчаток потребуется очень тонкий тюнинг практически под каждого владельца.
На хабре есть глухонемых, их сразу минусуют за то, что они обычно написали с ошибками. Так как у глухонемых слабо развит русского языка из-за общение своего жестового языка.
Это вы про себя, что-ли? Очень смешно видеть от вас нытье по поводу минусования после таких комментариев.
Вы правы насчет русского языка. Жестовый язык очень простой по сравнению с русским. У нету такого понятия как окончание, падежи и т.п.
З.Ы. я тоже почти глухонемый и мне тяжело писать на русском, но читать интересно :)
s/У нету/У него нету
По-поводу сленга вы абсолютно правы, для этого мы снабдили перчатки более чем 20-ю датчиками и используем скоростные протоколы для передачи данных, для этого мы сделали гибки алгоритмы распознования с весами важности и гибкую систему обучения. Поэтому нет необходимости модифицировать перчатку или ПО под каждого отдельного юзера, достаточно пользователю под себя подстроить систему.
Могу только сказать: «молодцы», продумали, главное чтобы это было просто для пользователя, такого рода корректировки.
Добрый день. Я один из украинской команды, Зовут меня Валерий. Все, что вы описали в данной статье применимо к автоматическим переводчикам с одного языка на другой. Наша же система обучаема. Т.е. мы разрабатываем библиотеку для перевода стандартных жестов и при этом обязательным оставляем функции обучения системы. Мы же предлагаем наше решение людям, которые пульзуются языком жестов и знаем как они строят предложения. Мы не пытаемя ограничить людей автоматическими переводами с какой-то базы, мы даем возможность людям научить наше изобретение переводить показываемые жесты именно с тем смыслом, с которым человек хотел сказать.
Именно поэтому — это:
«Во-первых, нужна Модель Мироздания (ММ), без которой не возможно извлекать Смысл из языкового сообщения.

Во-вторых, нужно определиться с форматом МПО – он должен быть ДИНАМИЧЕСКИМ. Например, МПО может быть представлена так, как приведено здесь»


не наша основная задача.
Ребята, Вы молодцы и прекрасные изобретатели.

Но есть епархия, где Вы явно слабы. Это область МЫШЛЕНИЯ.
Наше сознание осуществляет процесс Мышления, используя специальный инструмент, который называется «ЯЗЫК». Это значит, что человек мыслит языком.

Языки в силу особенностей и обстоятельств становления людей, как мыслящих индивидуумов, бывают разнообразные: русский язык, английский язык, жестовый язык, хтонический язык и так далее. Однако, одна вещь для них всех общая — это так называемая МОТОРИКА.

У всех этих языков и у каждого в отдельности имеется своё собственное «языковое выражение», которое является, можно сказать, протоколом обмена между людьми.

Языковые выражения могут иметь вид вербальной речи, эпистолярного текста, жестикуляций и такое прочее.

В каждом языковом сообщении имеются свои индивидуальные ЛЕКСЕМЫ или лексические единицы, из которых, собственно, строится любое языковое сообщение. Для жестового языка — это жестикуляции, которым соответствует внутренний моторинг (на основе Моторики) в сознании людей.

Под переводом понимается межязыковая СМЫСЛОВАЯ интерперетация языкового выражения в виде какого-либо сообщения.
К сожалению Хабровчане часто путают ПЕРЕВОД с другими понятиями и терминами.

То, чем Вы занимаетесь называется ТРАНСЛИТЕРАЦИЯ или ТРАНСФОРМАЦИЯ жестовых действий в символику или лексемы иных естественных языков. То есть, с помощью Вашего изобретения можно транслитировать отдельные жесты в отдельные соответствующие им графические символы или звуки-фонемы. Однако, ни Транслитерация жестов в символы, ни Трансформация жестовых действий в лексемы на деле ПЕРЕВОДОМ не являются.

Глухонемые от рождения мыслят на моторном жестовом языке, а обычные люди — на естественных языках, например, на русском или английском.

Вследствие этого, МПО, которые имеются в сознании глухонемых, как правило, НЕ ТОЖДЕСТВЕНЫ МПО, которыми мы оперируем. Поэтому требуется смысловая ИНТЕРПРЕТАЦИЯ одних МПО (для жестового языка) в другой — для обычного языка.

Тем не менее, так называемый ПОСТРОЧНЫЙ перевод жестового языкового сообщения возможен и он может быть ПОНЯТ в разной степени понимаемости, как это мы наблюдаем у машинных переводчиков.

Если же глухонемой мыслит, например, на русском языке, а изъясняется с помощью жестовых сообщений, то в таком случае перевода НЕ ТРЕБУЕТСЯ, так как МПО одни и те же — русские.
Вы, мне кажется вообще, не о том говорите… Проблема глухонемых людей в том, что они мыслят жестами, а в том что они сильно ограничены в каналах восприятия и передачи информации. Ограничение потоков информации без соответствующих специальных тренировок со временем приводит к деградации интеллекта, со всеми вытекающими проблемами социализации и всего остального.

Ребята расширяют коммуникационные возможности людей с ограничениями. Новые каналы обмена информацией расширят возможности общения хотя бы между самими глухонемыми. Что уже большое достижение. А кстати эффективность таких перчаток как человеко-машинного интерфейса должна быть
на много выше стандартной клавиатуры. А это уже может быть преимуществом перед обычными людьми.

Задача прямой взаимооднозначной трансляции языка глухонемых в человеческую речь сейчас перед ребятами вообще не стоит.

Сами сначала решите задачу трансляции с сохранением семантики между языками обычных людей, между китайским и английским например, а потом уже требуйте этого от ребят…
>> Сами сначала решите задачу трансляции с сохранением семантики между языками обычных людей>>

Решаем, скоро увидите!
В общем случае задача не решаема… ) По-моему коренные жители Гренландии различают больше десятка разновидностей снега и каждая разновидность имеет своё название. А в языке некоторых народов Африки понятие снег вообще отсутствует… Как решать подобные коллизии, я даже примерно представить не могу… )
Вы видели когда-нибудь элементарную частицу «протон»? Вряд ли. Но представляете себе. Вот так решается эта мелкая проблема в новой теории «Брейнетика». С ней можно ознакомиться на сайте iknowww.ru
Полюбопытствую… Но если честно, то не представляю себе протон. Никакого сенсорного следа (визуального, аудиального кинестетического) он у меня не вызывает. Абстрактное понятние. И объяснить это понятие например туземцу из той же Африки, не выложив ему весь курс физики элементарных частиц, я вряд ли смогу…

Даже двум случайным людям, говорящим на одном языке, невозможно донести информацию друг до друга без искажений. А если в этот канал включить трансляцию, то… )
>>>> По-моему коренные жители Гренландии различают больше десятка разновидностей снега и каждая разновидность имеет своё название. >>>>

Это — расхожий штамп, который гуляет по психолингвистической и культурологической литературе. Кроме того, в русском языке есть тоже немало слов для обозначения снега: наст, шуга, пухляк…

Насчет языков народов Африки Вы не совсем правы. На суахили, например, снег будет theluji. В языках Южной Африки (где в горах снег идет, между прочим) тоже есть свои слова для обозначения снега. Хотя в большинстве языков снег обозначается заимствования из английского или французского.
UFO just landed and posted this here
>>Модель мироздания нужно создавать для людей. И человеческий язык адаптировать для понимания компьютерами. >>

Пока ещё никто в мире так серьёзно не подходил к этому.
Было бы очень интересно посмотреть на такие исследования.
Т.е. человекам стоит перейти на asm-подобный язык что бы машины их лучше понимали?
Наверное я вас неправильно понял. Упрощение языка это ужасно.
UFO just landed and posted this here
Язык, в том числе и жестовый, он как живое существо. Его слова могут рождаться у нас на глазах, а старые умерают. Язык может развиваться и затухать.
Жестовый язык более других подвержен «местечковым изменениям», поскольку менее стандартизован, чем остальные.
А вы не думали что это просто первая так скажем «проба пера» и что даже если у них получится «машинный» перевод то соблюдая N правил можно будет переводить жесты в худо-бедно но понятную речь.

Да, вы будете общаться как с иностранцем который не знает другого языка кроме свеого, но это всяко ж лучше чем не понимать о чем тебя спрашивает глухонемой человек.
>>А вы не думали что это просто первая так скажем «проба пера» и что даже если у них получится «машинный» перевод то соблюдая N правил можно будет переводить жесты в худо-бедно но понятную речь.>>

Дело в том, что в рамках лингвистических правил задача не решается, иначе её бы не мурыжили 60 лет.
Это должно решаться над лингвистически, например, путём смысло-эвристической обработки языковых сообщений.
Если машина будет говорить «Хочу библиотека пройти сейчас тут гдето» то я человека пойму. Если же передо мной будет стоять человек и просто показывать жесты я не пойму и этого.

конечно идеально было б слышать чтото вида «Здравствуйте, подскажите мне пожалуйста как пройти в библиотеку, я очень спешу», но все мы понимает что это миф, во всяком случае сейчас.
>>«Хочу библиотека пройти сейчас тут гдето»>>

Так работают переводчики от Гугла и ПРОМТа.

А вот у жестового языка даже нет ещё своего переводчика. Нужно сначала интерпретировать жесты в естественный язык, а уже только потом переводить.
Что ещё более усложняет ситуацию.
Извините, вы читали статью?

«ПО могут переводить язык жестов в текст, а затем и в речь, используя движок text-to-speech» (с) habrahabr.ru/post/147437/

Кстати гугл чем дальше тем лучше начинает распознавать речь (особенно английский язык), может быть и у ребят получится сделать свой рывок.
>>>Извините, вы читали статью?

«ПО могут переводить язык жестов в текст, а затем и в речь, используя движок text-to-speech» (с) habrahabr.ru/post/147437/>>>

Я-то читал, да ещё внимательно читал. И в самом начале своего топика об этом указал. А Вы это пропустили. Собственно, из-за этой статьи и был написан этот материал, который Вы так легко коментируете.

>>>Кстати гугл чем дальше тем лучше начинает распознавать речь>>>

Взял, открыл Гугл-переводчик. Ввел фразу:
«Стекло стекло прямо на стекло и, стекая, все стекло.»

Получил ответ-перевод:
Glass, glass directly onto the glass and flowing, all the glass.

«Улучшение», как говорится, налицо. Рыдал навзрыд.
1. Вы рассказываете о том что компьютер должен понимать смысл сказаного.
Извините, он этого не должен делать? Он просто инструмент для преобразования жестов в звуки через текст.

2. Можно издеваться над переводчиком как угодно.
Но например Вы врятли без подглядывания в словари нормально переведете «cow cow the rabbits». Для Вас cow cow будет одним и темже словом — корова. А на самом деле это еще глагол.
1. Я говорил о том, что «жестовый переводчик», как и любой межязыковый машинный переводчик будет иметь эффективность, если будет понимать смысл оригинального языкового сообщения. Для жестового языка это требование двукратно больше.

2. Технология «Ontology» в машинном переводе Арамел делает это НЕ ЛИНГВИСТИЧЕСКИМИ методами и средствами. То есть, без словарей.

Она легко переведёт такое выражение, как «Патрон вошёл в магазин».
А Гугл выдаёт по сему поводу: «Chuck went to the store.»
«Я читал, да ещё внимательно читал. И в самом начале своего топика об этом указал. А Вы это пропустили. Собственно, из-за этой статьи и был написан этот материал, который Вы так легко комментируете.»
Перевело как
«I've read, and even carefully read. And at the very beginning of this topic have. And you missed it. Actually, because this article was written this stuff, so you can easily comment.»

По моему все довольно таки понятно
Вы действительно считаете текст с словами «забивал козла»,«судачил»,«лупил», и это просто при беглом просмотре текста, нормально давать для перевода машине без ИИ? Извините, я так не считаю. В переводе понятен смысл фраз. Если в разговоре с глухонемым мне будет непонятна какаято часть слов то я смогу это уточнить. Например «лупил» заменят на «бил», «судачил» на «разговаривал» и т.д.
UFO just landed and posted this here
А Вы каждый день тестируете машинные переводчики?
Этому топику НЕ ХВАТАЕТ слов, написанных КАПСОМ
Вы, наверное, читали статью по диагонали. Речь идёт о возможности машинного ПЕРЕВОДА с одного языка на другой, а не ОЗВУЧИВАНИЕ, как в случае с Ховкином.
Уважаемый, не знаю с какой стороны вы смотрите на эту задачу, но я вижу эту задачу, как задачу озвучивания символов. На сколько я знаю, у «Жестовых языков» так же есть алфавит, и так же есть набор обозначений для конкретных слов. Очевидно, что базой озвучивания будет алфавит + какой-то базовый набор символов, которые он будет знать. + механизм даст возможность обучить его, добавляя и расширяя набор символов.

Очевидно, что нереально будет выдать 100% готовый продукт, который просто взял, одел на человека с проблемами речи, и он сразу же без инструкции пошел разговаривать со всеми. Конечно же, будут ограничения, нужно будет время, чтобы приспособиться у устройству. Может быть, устройство будет требовать от человека каких-то дополнительных действий для обозначения окончания слов, предложений, фиксации знаков и т.п. Это все очевидные проблемы.

Жестовый язык — это микс из отдельных лексем (как слов), слвосочетаний («бить баклуши», «стрелять сигарету»...) и фонового контекста (тела человека и даже окружающей среды), а также «код в коде».
Еще раз, база Жестового языка — это алфавит, который точно представляет один символ как А, второй как Б. Озвучить буквы — это совсем не проблема, думаю, что вы тут согласитесь. Следующая задача — озвучить какие-то определенные символы, который будут обозначать слова / лексемы. Следующая задача — попробовать озвучить словосочетания. Решение каждой задачи — это считайте новая версия продукта, каждая версия продукта — это база данных с большим количеством базовых символов/набором символов.

Если попробовать решить задачу с другого конца — просто взять и попробовать распознать Жестовой язык для любого человека — конечно, это будет нерешаемая задача на данный момент. Но вот, когда заходишь в другой стороны — то решение будет близиться со временем к хорошему результату.
Я Вам отвечу комментом из предыдущего топика:

int80h 10 июля 2012 в 04:56

Я делал такую же перчатку и тоже в голову пришла идея озвучивать жесты, нашел преподавателя, так главная проблема на самом деле оказалась в том, что жесты могут показывать по-разному, т.е. несколько раз подряд жест будет немного отличаться, под настроение (т.е. например один раз человек помашет пальцами, как положено, а в другой раз просто покажет начало жеста — все догадаются), они идут мешаниной (не пробовал, но предположил что распознать сложнее будет), ну и конечно описанные вами проблемы, а именно так им удобнее общаться, а не по буквам. Плюс немало «сленга», это когда каждая группа выдумывает какие-то свои жесты, изменяет стандартные. А поскольку общение обычно у людей постоянное, в итоге они могут совсем далеко отойти от оригинальных жестов — получается что-то вроде русского и украинского с точки зрения белоруса.

Поэтому да, с кучей ограничений пользоваться можно, но сложно получается и в данном контексте применения скорее всего так и не найдет.
Ок, то есть мы друг друга понимаем.

> но сложно получается и в данном контексте применения скорее всего так и не найдет.
Ну это уже не нам оценивать. Если вы считаете, что «не получится» = «не будет прибыльным в их ближайшей реализации»- то тут я с согласен, буквально недавно у нас был по этому поводу разговор с одним из призеров предыдущих imagine cup, что без финансирования — все imagine cup проекты не прибыльны, и глупо полагать, что это что-то похожее на стартапы. А вот «не получится» = «не удастся реализовать» — это совершенно другое — этапами, этапами до каких-нибудь более или менее результатов можно добиться, по крайней мере, удовлетворительных.
Вы, всё же, видать, не до конца прочли топик. Там в самом конце сказано:

>>Но вот, когда эти три условия-требования будут выполнены в комплексе, вот тогда мы можем снова вернуться к замечательному украинскому изобретению.>>

У Вас есть лично any objections к сказанному по существу. То есть, конкретно, по этим трём пунктам.

Если есть, давайте, будем аргументированно обсуждать, к чему я готов.

Вы хотите с 0 создать аналог ИИ. Извините сказок не бывает. Хотя нет, бывают. Эйнштейн и Ко. Но если говорить не о них то всего нужно достигать небольшими шагами. Ребята какраз стараются сделать свой первый маленький шаг.

Вы написали 3 условия-требования. По ним.

1. Этого не нужно для перевода языка жестов в слова (не связанный текст а просто слова)
2. Замысел не требуется распознавать, они ведь не хотят чтоб перчатки вместо них создавали фразы.
3. Машина должна распознавать не МПО а всего навсего текст. Тоесть если я пошевелил правильно пальцами на 2х руках то это значит «в лесу» или «я хочу» или даже целую фразу «как было хорошо на море». Но это не значит что показав «хорошо» «море» перчатки должны понять что я имел ввиду то, что написал выше.
Интересно, Вы где учились ПРЕСУППОЗИЦИИ?

Для тех, кто не знает этого термина, поясню. Кто-либо, комментирует кого-либо путем присвоения критикуемому того, чего тот соершенно не говорил, и начинает критиковать то, чего не было сказано.

Предлагаю ещё раз внимательно прочесть мои посты.
1. Не «посты» а пост.
2. Напишите пожалуйста где я присваивал Вам то, о чем Вы не писали и я извинюсь прямо тут.

И давайте не переходить на личности а как Вы и просили аргументированно обсуждать.

п.с.
/ не в тему поста дальше коммент это ответ на вопрос /
Если Вам так интересно то учился я в КПИ на ФИВТе, закончил магистром по специальности «Автоматизированные системы обработки и управления». Дипломная работа была посвящена «Система поддержки и принятия решений создания плана застройки города».
/ извиняюсь что не по теме написаное выше /
>>>Напишите пожалуйста где я присваивал Вам то, о чем Вы не писали и я извинюсь прямо тут. >>>

Ну, вот, навскидку:

1. Вы хотите с 0 создать аналог ИИ. Это Ваше пресуппозиционное мнение.
2. Этого не нужно для перевода языка жестов в слова Вы себе то сами представляете, как это можно «язык жестов» «перевести в слова». Можно переводить языковые сообщения, выраженные разными способами: речью, текстом, жестикуляцией, графикой… в другие языковые сообщения, выраженные даже иначе, чем в оригинале. Но «переводить язык в слова»… извольте!
1. Оооочень с натяжкой так как это моё субъективное мнение о том как Вы представляете себе такой перевод без создания ИИ. Ок, извините.

2. Язык жестов это «жестикуляция». Мы переводим «выражение языка» в другое «выражение языка» выражаясь уже Вашими формулировками.
Я так понял Вам больше всего не нравится формулировка что переводят «язык» а не «выражение языка»?
Вообще-то переводят ЯЗЫКОВОЕ СООБЩЕНИЕ. Это текст, речь, жестикуляция…

Языки не переводят. Малограмотные или спешашие могут сказать: «Перевёл с русского на английский» — это тождественно слэнгу.

Языковые выражения могут ТРАНСЛИТЕРИРОВАТЬ, как кейборд с кирилицей на латинский, или ТРАНСФОРМИРОВАТЬ, в случае с жестовыми артикуляциями.
И еще.
Извините, но мне кажется вы немного перепутали. Разговор идет не об ИИ, Умных Перчатках и т.д. А всего навсего о преобразовании одного вида общения в другое.

Жест -> Текст (закрепленный за жестом) -> Звук (озвучка полученного текста)
Gron,

Есть понятие «язык». К нему относятся такие термины, как: «русский язык», «жестовый язык» и др.

Есть понятие «выражение языка». К нему относятся такие вещи, как: «речь», «письмо», «жестикуляция»…

Вы чувствуете между ними разницу?

НЕТ НИКАКИХ ПРОБЛЕМ с транформацией (транслитерацией) одного типа выражения в другой. Например, из речи в письмо или из жестикуляции в речь, даже через письмо.

Но есть проблема с межязыковым ПЕРЕВОДОМ. Например, из «жестового языка» в «русский язык». И к ИИ это имеет самое отдаленное отношение. ИИ это система поведения объекта.
1. Если можно, выделяйте слова тэгом. Очень прошу. Реально читать удобнее. Спасибо заранее.

про «язык» и «выражение языка» вроде все понятно было и до Вашего объяснения.

2. Транслитерация это перевод букв а не слов.

3. Межязыковой перевод в связаный текст, который был бы равен человеческому не нужен на данный момент.

ИИ это единственное что даст реально возможность перевести Вашу вразу с «стекло стекло...» в удобоваримый вид. В жестах например достаточно будет ввести правило чтоб небыло 2х одинаковых жестов.
Извините, неправильно отформатировался а подредактировать не знаю как…
имелось ввиду выделять B тэгом < b > хабр удаляет пробелы
>>>2. Транслитерация это перевод букв а не слов.>>>

Транслитерация к переводу не имеет отношения, поскольку это УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ одного символа другому, даже в рамках одного алфавита.

Термин перевод до машинной эпохи означал межязыковую СМЫСЛОВУЮ ИНТЕРПРЕТАЦИЮ.
Я не совсем понял точку зрения автора, ребята разработали не переводчик (translator), а скорее преобразователь (transformer), которому не нужно понимать контекста. Несомненно, выражение «Здравствуйте, подскажите мне пожалуйста как пройти в библиотеку, я очень спешу» врядли получится, однако, насколько я понимаю, устройство не предназначено для общения между людьми с дефектами слуха/речи. А например объяснить человеку, который не понимает языка жестов, это вполне реально, выбирая слова попроще и выполняя эти самые жесты почётче.

Мне кажется, услышать даже не совсем слаженный текст и помочь человеку найти ту самую библиотеку гораздо лучше, чем не понять совершенно ничего их жестов…
Ваши суждения будут верны в том случае, если немой ДУМАЕТ на языке мышления реципиента (адресата).
Во всех других случаях технология не сработает, так как внимающий может не понять смысл сообщения, как, например, не понимают людей, говорящих на других языках.

Поэтому, ОЧЕНЬ ВАЖНО, чтобы и создатель сообщения и адресат думали на одном и том же языке.
Sign up to leave a comment.

Articles