Российский школьник выиграл грант от Google за изобретение устройства, которое помогает глухим озвучивать свои мысли

[saboteur_kiev]

На самом деле отличная идея, я даже удивлен что подобного устройства до сих пор нет в массовом использовании.
Подозреваю, что через год-два различные варианты появятся от разных производителей.

[DrPass]

А я, честно говоря, уже не особо верю. Пять лет назад видел ребят, которые разработали аналогичную штуку. Чуть на другом принципе, тут манжета с датчиками, считывающими тонус мышц, там была перчатка с акселерометрами. Но идея та же самая — трансляция языка жестов в текст и речь. Получили грант от Майкрософт. Похвалили в прессе, похвалили на конференциях. И… забыли. Никому не надо, ни спроса, ни инвесторов.

[safari2012]

Ну, как идея, подобная перчатка давно была «изобретена» фантастами.

Конго (1995)

[decomeron]

Интересно и надолго он после этого останется в России?

[maross]

К сожалению, не могу не согласиться.

[tutuborg]

Интересно и надолго он после этого останется в России?

Это все разные вещи:

Что то придумать как инженер.
Или искать инвесторов (которых больше на мировом рынке, а не на локальном российском) как менеджер.

P.S.:
Вы как-то его высоко цените, ничего оригинального он не придумал.
Тут рядом уже писали — аналогичная разработка была награждена грантом Microsoft.

Вопрос только в том, что парень, в силу своих знаний что-то делает, вот за это его и наградили (а не за оригинальное техническое решение).

[grt_pretender]

Проблема в том, что всегда кто-то должен быть первым.
Первый пройти всю дорогу, первым показать на своем примере, что рынок делается, а не дается на блюдечке.

Удачи парнишке и желающим ему помочь в реализации.

[KYuri]

Я почему-то думал, что глухие != немые.

[alexxisr]

Как я понял эта штука помогает изучать язык жестов самостоятельно — и они смогут общаться с другими глухими.

[AssMoFun]

Только если человек стал глухим в процессе жизни. Если родился таким, то обратной связи нет, и научится правильно и внятно говорить нереально.

[DrPass]

Я полагаю, таких единицы из тысяч, можно этим пренебречь. В общем случае если человек не успел научиться говорить к тому моменту, как потерял слух, то уже и не научится.

[Vsevo10d]

А так и есть, технически.
На практике глухой с рождения ребенок неспособен подражать звукам, и просто не может научиться говорить.
А у той женщины, которая вроде как парня вдохновила на изобретение, получается, был следующий уровень дерьма: будучи глухой с рождения, она не умела говорить, и ее дочери от общения с ней тоже не могли научиться.

[saboteur_kiev]

Глухим с рождения крайне сложно научиться говорить.
Для начала они вообще гораздо позже начнут говорить, потому что просто не понимают что это и зачем, а это означает что первые несколько лет жизни — вообще не нарабатывается моторика языка и горла, которая нужна для адекватного произношения.
Ну и проблемы с произношением будут всегда, плюс проблемы с громкостью.

[diagonal]

Вам отвечает в своей статье Светлана Кузнецова, специалист по аудиодоступности: «ГлухоНЕМОЙ и другие неприятные слова»

[Andrey_Rogovsky]

Странно, я такое видел еще в 2001

[roboter]

Плата CY8CKIT-059 PSoC® 5LP

[GiperBober]

А разве речевые синтезаторы для немых (проблема, описываемая в статье, больше подходит для немых и глухонемых, у слабослышаших и оглохших в постлингвальном периоде проблем с выражением своих мыслей меньше) не изобретены давно? Собственно говоря, парень изобрёл следующее устройство — человек производит действия руками, машина преобразовывает эти действия в звуки или символы на экране. Что может помешать немому, владеющему языком жестов, набрать требуемое на клавиатуре либо специализированного устройства, либо на смартфоне с «говорилкой»? Если только он не знает алфавита, но при этом знает язык жестов… Либо если язык жестов для немого комфортнее, чем набирать текст/слоги на речевом синтезаторе.
А главное достоинство этого парня-изобретателя не в том, что он придумал что-то новое, до чего не додумались медицинские компании, а в том, что он смог сделать сложное (сложное ещё и потому, что схему устройства надо было придумать и создать самому, а не собрать по инструкции) устройство своими руками из относительно доступных простому человеку вещей. И то, что свой творческий потенциал он направляет на помощь людям. Таких людей, по-настоящему — единицы, это как Чистомэн — ругаться по поводу мусора могут миллионы, а просто пойти и почистить лес — единицы.
P.S. У данной конкретной идеи может быть одно отличное практическое применение. Создание программы на смартфон, способной перевести язык жестов в текст. Нужное в первую очередь для тех, кто столкнулся с глухонемым и не знает языка жестов, скачал программу, и программа через камеру распознаёт язык жестов и возможно, даже способна перевести обратно (показывая жесты на экране, на случай, если немой не знает письма) на язык жестов речь… ну, например, продавца или сотрудника социальных служб, столкнувшихся с необходимостью общения с немым.

[mi76554]

>Создание программы на смартфон, способной перевести язык жестов в текст.

Армслен и подобные языки
— имеют кардинально отличную от звуковых лингвистическую структуру.
— сильно контекстно кодированы
то есть используется 3D+T кодирование с уникальной референтной схемой

Если кто-то сделает лингвистический транслятор, то это будет весьма сильный AI

[saboteur_kiev]

Сурдопереводчики, кроме жестов, крайне активно жестикулируют и губами и языком. Одними руками там не обходится.
Есть определенные жесты, когда ты по буквам называешь имена собственные. А в остальном — язык жестов достаточно обобщенный, и без визуального контакта с лицом там очень много «омонимов».

[ViacheslavMezentsev]

Спасибо Носкову Владиславу Юрьевичу (Google Scholar, v.j.noskov[собакен]urfu.ru), за неоценимые советы по разработке общей структуры программно-аппаратного комплекса, советы по отладке отдельных частей системы к тому виду, в котором она функционирует сейчас.

Надо преподавателя премировать за умение объяснить и показать как надо.

После школы я хотел бы поступить в университет международного уровня, что бы иметь возможность продолжать свои исследования, сотрудничая с другими молодыми инженерами и учёными со всего мира, в чём мне, возможно, также поможет участие в этом конкурсе!

Выиграть у других помог препод из УПИ. Я надеюсь он его называет теперь универом международного уровня.

[ViacheslavMezentsev]

Для получения данных о положении руки, в работе используется плоскостная электромиография: отслеживание биопотенциалов, характерных для активности мышц предплечья. Для классификации: специально обученная глубокая нейронная сеть Inception v3. Суть работы в создании программно-аппаратного комплекса для перевода жестов в слова на основе получения и анализа ЭМГ-сигнала. Устройство для получения и обработки электромиограммы построено на основе микроконтроллера PSoC 5LP, классифицирующая нейросеть обучена и развёрнута на облачном сервере.

Итого:
— технический английский на уровне чтения текстов по электромиографии и радиоэлектронике;
— радиоэлектроника (аналоговая и цифровая — датчики там явно не напрямую к мк идут);
— архитектура ARM и я так полагаю, что C/C++;
— цифровая обработка сигналов;
— глубокие нейронные сети + их обучение;
— использование облачных вычислений.

Может стоит вернуться в школу?

[MrRitm]

Красавчик! Не важно, найдется инвестор и где автор будет продолжать обучение. Важно, что парень в 10 классе не думает о том, как нарулить пивка и сигарет чтобы казаться взрослее и «круче». Вместо этого он тратит свое свободное от уроков и прочих ЕГЭ время на освоение программирования, нейронок, английского и всего что вокруг этого. Я вижу множество людей (много старше), которые и близко не стоят по уровню развития с этим школьником. Родителям и преподавателям спасибо за то, что (пока еще?) в нашей стране живет и развивается толковый технический специалист способный решать инженерные задачи будучи учеником 10 класса.
Есть только один вопрос: парня теперь будет спонсировать Google (оплачивать обучение). А почему не Минобр? Почему этот грант не от МГУ? Понятно же, что дальше Google скорее всего будет тащить этого парня к себе. А нам что, не нужны такие специалисты?..

[nikhotmsk]

Вот я спустя три года хочу пригласить Диму Казанцева на свой фестиваль самодельной электроники. Не важно, живьем, или по видеосвязи. Как мне связаться с Димой?