Как стать автором
Поиск
Написать публикацию
Обновить

Российский школьник выиграл грант от Google за изобретение устройства, которое помогает глухим озвучивать свои мысли

Время на прочтение3 мин
Количество просмотров18K
Всего голосов 25: ↑25 и ↓0+25
Комментарии30

Комментарии 30

На самом деле отличная идея, я даже удивлен что подобного устройства до сих пор нет в массовом использовании.
Подозреваю, что через год-два различные варианты появятся от разных производителей.
А я, честно говоря, уже не особо верю. Пять лет назад видел ребят, которые разработали аналогичную штуку. Чуть на другом принципе, тут манжета с датчиками, считывающими тонус мышц, там была перчатка с акселерометрами. Но идея та же самая — трансляция языка жестов в текст и речь. Получили грант от Майкрософт. Похвалили в прессе, похвалили на конференциях. И… забыли. Никому не надо, ни спроса, ни инвесторов.
Ну, как идея, подобная перчатка давно была «изобретена» фантастами.
Конго (1995)

Интересно и надолго он после этого останется в России?

НЛО прилетело и опубликовало эту надпись здесь
К сожалению, не могу не согласиться.
Интересно и надолго он после этого останется в России?

Это все разные вещи:

Что то придумать как инженер.
Или искать инвесторов (которых больше на мировом рынке, а не на локальном российском) как менеджер.

P.S.:
Вы как-то его высоко цените, ничего оригинального он не придумал.
Тут рядом уже писали — аналогичная разработка была награждена грантом Microsoft.

Вопрос только в том, что парень, в силу своих знаний что-то делает, вот за это его и наградили (а не за оригинальное техническое решение).
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Проблема в том, что всегда кто-то должен быть первым.
Первый пройти всю дорогу, первым показать на своем примере, что рынок делается, а не дается на блюдечке.

Удачи парнишке и желающим ему помочь в реализации.
НЛО прилетело и опубликовало эту надпись здесь
Я почему-то думал, что глухие != немые.
Как я понял эта штука помогает изучать язык жестов самостоятельно — и они смогут общаться с другими глухими.
Только если человек стал глухим в процессе жизни. Если родился таким, то обратной связи нет, и научится правильно и внятно говорить нереально.
НЛО прилетело и опубликовало эту надпись здесь
Я полагаю, таких единицы из тысяч, можно этим пренебречь. В общем случае если человек не успел научиться говорить к тому моменту, как потерял слух, то уже и не научится.
НЛО прилетело и опубликовало эту надпись здесь
А так и есть, технически.
На практике глухой с рождения ребенок неспособен подражать звукам, и просто не может научиться говорить.
А у той женщины, которая вроде как парня вдохновила на изобретение, получается, был следующий уровень дерьма: будучи глухой с рождения, она не умела говорить, и ее дочери от общения с ней тоже не могли научиться.
Глухим с рождения крайне сложно научиться говорить.
Для начала они вообще гораздо позже начнут говорить, потому что просто не понимают что это и зачем, а это означает что первые несколько лет жизни — вообще не нарабатывается моторика языка и горла, которая нужна для адекватного произношения.
Ну и проблемы с произношением будут всегда, плюс проблемы с громкостью.
А разве речевые синтезаторы для немых (проблема, описываемая в статье, больше подходит для немых и глухонемых, у слабослышаших и оглохших в постлингвальном периоде проблем с выражением своих мыслей меньше) не изобретены давно? Собственно говоря, парень изобрёл следующее устройство — человек производит действия руками, машина преобразовывает эти действия в звуки или символы на экране. Что может помешать немому, владеющему языком жестов, набрать требуемое на клавиатуре либо специализированного устройства, либо на смартфоне с «говорилкой»? Если только он не знает алфавита, но при этом знает язык жестов… Либо если язык жестов для немого комфортнее, чем набирать текст/слоги на речевом синтезаторе.
А главное достоинство этого парня-изобретателя не в том, что он придумал что-то новое, до чего не додумались медицинские компании, а в том, что он смог сделать сложное (сложное ещё и потому, что схему устройства надо было придумать и создать самому, а не собрать по инструкции) устройство своими руками из относительно доступных простому человеку вещей. И то, что свой творческий потенциал он направляет на помощь людям. Таких людей, по-настоящему — единицы, это как Чистомэн — ругаться по поводу мусора могут миллионы, а просто пойти и почистить лес — единицы.
P.S. У данной конкретной идеи может быть одно отличное практическое применение. Создание программы на смартфон, способной перевести язык жестов в текст. Нужное в первую очередь для тех, кто столкнулся с глухонемым и не знает языка жестов, скачал программу, и программа через камеру распознаёт язык жестов и возможно, даже способна перевести обратно (показывая жесты на экране, на случай, если немой не знает письма) на язык жестов речь… ну, например, продавца или сотрудника социальных служб, столкнувшихся с необходимостью общения с немым.
>Создание программы на смартфон, способной перевести язык жестов в текст.

Армслен и подобные языки
— имеют кардинально отличную от звуковых лингвистическую структуру.
— сильно контекстно кодированы
то есть используется 3D+T кодирование с уникальной референтной схемой

Если кто-то сделает лингвистический транслятор, то это будет весьма сильный AI

НЛО прилетело и опубликовало эту надпись здесь
Сурдопереводчики, кроме жестов, крайне активно жестикулируют и губами и языком. Одними руками там не обходится.
Есть определенные жесты, когда ты по буквам называешь имена собственные. А в остальном — язык жестов достаточно обобщенный, и без визуального контакта с лицом там очень много «омонимов».
Спасибо Носкову Владиславу Юрьевичу (Google Scholar, v.j.noskov[собакен]urfu.ru), за неоценимые советы по разработке общей структуры программно-аппаратного комплекса, советы по отладке отдельных частей системы к тому виду, в котором она функционирует сейчас.
Надо преподавателя премировать за умение объяснить и показать как надо.
После школы я хотел бы поступить в университет международного уровня, что бы иметь возможность продолжать свои исследования, сотрудничая с другими молодыми инженерами и учёными со всего мира, в чём мне, возможно, также поможет участие в этом конкурсе!
Выиграть у других помог препод из УПИ. Я надеюсь он его называет теперь универом международного уровня.
Для получения данных о положении руки, в работе используется плоскостная электромиография: отслеживание биопотенциалов, характерных для активности мышц предплечья. Для классификации: специально обученная глубокая нейронная сеть Inception v3. Суть работы в создании программно-аппаратного комплекса для перевода жестов в слова на основе получения и анализа ЭМГ-сигнала. Устройство для получения и обработки электромиограммы построено на основе микроконтроллера PSoC 5LP, классифицирующая нейросеть обучена и развёрнута на облачном сервере.
Итого:
— технический английский на уровне чтения текстов по электромиографии и радиоэлектронике;
— радиоэлектроника (аналоговая и цифровая — датчики там явно не напрямую к мк идут);
— архитектура ARM и я так полагаю, что C/C++;
— цифровая обработка сигналов;
— глубокие нейронные сети + их обучение;
— использование облачных вычислений.

Может стоит вернуться в школу?
Красавчик! Не важно, найдется инвестор и где автор будет продолжать обучение. Важно, что парень в 10 классе не думает о том, как нарулить пивка и сигарет чтобы казаться взрослее и «круче». Вместо этого он тратит свое свободное от уроков и прочих ЕГЭ время на освоение программирования, нейронок, английского и всего что вокруг этого. Я вижу множество людей (много старше), которые и близко не стоят по уровню развития с этим школьником. Родителям и преподавателям спасибо за то, что (пока еще?) в нашей стране живет и развивается толковый технический специалист способный решать инженерные задачи будучи учеником 10 класса.
Есть только один вопрос: парня теперь будет спонсировать Google (оплачивать обучение). А почему не Минобр? Почему этот грант не от МГУ? Понятно же, что дальше Google скорее всего будет тащить этого парня к себе. А нам что, не нужны такие специалисты?..
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Другие новости