Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 26
Итак суть — предлагаю обсудить (и осуществить) возможность не умирать от старости.
Мне кажется, связь между слухом и речью такая же косвенная, как и между зрением и умением писать и рисовать: ухо-речевой аппарат и глаз-рука напрямую одинаково не связаны. Важна лишь обратная связь: человек пробует говорить, слышит, что он сказал, сравнивает с тем, что он слышал — затем коррекция и повтор.
Если человек не может слышать, но может видеть — в общем-то ничего для него не меняется. Увидел речь (допустим, какая-то формантная визуализация), повторил, увидел то, что сказал, сравнение — коррекция — повтор.
Конечно, он не будет говорить точно так же, как человек, наделенный слухом, в силу различий в этой обратной связи, но говорить будет вполне.
Основная разница в моменте, когда человек начинает учиться говорить — звуки он слышит от рождения и практически сразу старается подражать. Нарушение слуха же вначале надо диагностировать, да и какие-то внешние приспособления на младенца не налепишь. В результате, самые ценные первые несколько лет жизни теряются, и ребенок осваивает альтернативные коммуникативные каналы.
Если человек не может слышать, но может видеть — в общем-то ничего для него не меняется. Увидел речь (допустим, какая-то формантная визуализация), повторил, увидел то, что сказал, сравнение — коррекция — повтор.
Конечно, он не будет говорить точно так же, как человек, наделенный слухом, в силу различий в этой обратной связи, но говорить будет вполне.
Основная разница в моменте, когда человек начинает учиться говорить — звуки он слышит от рождения и практически сразу старается подражать. Нарушение слуха же вначале надо диагностировать, да и какие-то внешние приспособления на младенца не налепишь. В результате, самые ценные первые несколько лет жизни теряются, и ребенок осваивает альтернативные коммуникативные каналы.
Достаточно давно где-то видел про обучение глухих людей речи путём показа им визуализаций их произношения и «образцового» произношения. Сейчас сходу не получилось найти ничего на эту тему.
А ещё – слышал про некоторых слепых людей, которые могут ориентироваться в пространстве с помощью эхолокации и про то, что при этом у них активизируется «зрительная зона» мозга.
То есть, теоретически реально показывать человеку некую визуализацию окружающих звуков и «научить» мозг воспринимать это как звук.
А ещё – слышал про некоторых слепых людей, которые могут ориентироваться в пространстве с помощью эхолокации и про то, что при этом у них активизируется «зрительная зона» мозга.
То есть, теоретически реально показывать человеку некую визуализацию окружающих звуков и «научить» мозг воспринимать это как звук.
Абсолютно правильная идея. мне 28, но слух сел порядочно, операция только усугубила дело. История давняя (с детства), по-этому уже приспособился и мне кажется что я неплохо слышу людей (на самом деле читаю по губам, и если при общении выключить свет, то сразу теряюсь). Точно также заметил, что я «слышу» взрывы и всякие прочие «звуки» в фильмах, даже если собственно звук отключен. Конечно, в моем случае большое значение имеет то, что я знаю как все звучит. Но научить слышать глазами абсолютно точно можно.
Есть программа "Профессор Хиггинс" для постановки правильного произношения с визуальной обратной связью. Они работают над визуализацией речи (не только английской) уже около 10 лет.
(Добавлено по просьбе read-only пользователя Overphase)
(Добавлено по просьбе read-only пользователя Overphase)
Там не одна частота, и не только частотой всё определяется. Теоретически конечно можно обойтись тупым преобразованием Фурье, и пусть себе мозг переваривает картинку так как надо, но много дополнительных преобразований. Тем более что мы и так вносим свои задержки, которые в сумме с лишними задержками мозга могут вызвать проблему. Ну и да, stanishevsky правильно заметил, что обучение в любом случае будет не в первые годы, что сильно осложняет процесс. Но идея с тем чтобы менять цвет фона интересная, я как-то не думал что можно цветом стекол манипулировать :) Напоминает бордюр у ZX Spectrum и эффекты при загрузке файлов, если кто помнит…
У нас недавно начался исследовательский проект по умным очкам. Так вот буквально вчера придумывали, как можно использовать эти очки для помощи глухим.
Например:
— Распознавать и показывать, когда пользователя зовут по имени.
— Предупреждать о приближении скорой/пожарной/и т.п. по звуку сирен — чтобы человек под колёса не угодил.
— На вокзалах и в аэропортах распознавать объявления, транслируемые по громкой связи. Качество будет не очень, но лучше чем ничего.
Но все эти варианты взяты, в общем-то, с потолка. Для понимания реальных ежедневных проблем нужны комментарии самих слабослышащих.
Например:
— Распознавать и показывать, когда пользователя зовут по имени.
— Предупреждать о приближении скорой/пожарной/и т.п. по звуку сирен — чтобы человек под колёса не угодил.
— На вокзалах и в аэропортах распознавать объявления, транслируемые по громкой связи. Качество будет не очень, но лучше чем ничего.
Но все эти варианты взяты, в общем-то, с потолка. Для понимания реальных ежедневных проблем нужны комментарии самих слабослышащих.
Предлагаю поразмышлять над основной технической сложностью описанной задачи:
Произносимое слово — последовательность (длины 1-15) из некоторого набора (20-50) звуков. В этом виде человек готов его воспринять — например как текст [САЙУС].
Информационная емкость — относительно невелика и позволяет предложить массу быстрых визуализаций — текст выше — одна из них.
Дальше наш речевой аппарат превращает это слово в набор аудиосигналов, который можно рассматривать либо во временной либо в спектральной плоскости. Но и там и там информационная емкость на порядки превышает исходное значение. Потому что это представление чрезвычайно избыточно. Собственно оно в том числе играет роль помехоустойчивого кодирования. В таком виде ни один человек не сможет воспринять слова.
Следовательно, основной задачей является свертка аудиосигналов обратно в некоторое пространство, в котором возможно будет обучение человека — либо с выделением отдельных звуков либо целиком слов.
Еще одним серьезным препятствием является то, что кодирующий аппарат (тембр голоса, манера произношения, растягивание звуков, дефекты речи) очень-очень разнообразен. Какую задачу ставите Вы? Научить человека понимать речь одного конкретного собеседника, с которым он много общается? Или потенциально неограниченной группы лиц, общающейся на одном языке?
Произносимое слово — последовательность (длины 1-15) из некоторого набора (20-50) звуков. В этом виде человек готов его воспринять — например как текст [САЙУС].
Информационная емкость — относительно невелика и позволяет предложить массу быстрых визуализаций — текст выше — одна из них.
Дальше наш речевой аппарат превращает это слово в набор аудиосигналов, который можно рассматривать либо во временной либо в спектральной плоскости. Но и там и там информационная емкость на порядки превышает исходное значение. Потому что это представление чрезвычайно избыточно. Собственно оно в том числе играет роль помехоустойчивого кодирования. В таком виде ни один человек не сможет воспринять слова.
Следовательно, основной задачей является свертка аудиосигналов обратно в некоторое пространство, в котором возможно будет обучение человека — либо с выделением отдельных звуков либо целиком слов.
Еще одним серьезным препятствием является то, что кодирующий аппарат (тембр голоса, манера произношения, растягивание звуков, дефекты речи) очень-очень разнообразен. Какую задачу ставите Вы? Научить человека понимать речь одного конкретного собеседника, с которым он много общается? Или потенциально неограниченной группы лиц, общающейся на одном языке?
Я может быть выскажу непопулярную точку зрения, но информация с точки зрения сознания не есть информация с точки зрения физики или Теории Информации.
В рассматриваемой вами проблеме звук это не колебание воздуха!
«Ода к Радости» или о «Марш Преображенского полка» не есть просто совокупность гармоник.
Наше представление о звуке, как о колебании воздуха — есть лишь грубая «проекция», которая позволяет создать микрофон и динамики, но не более того…
Тут проблема в том, что человек не знает что такое звук (если глухорождённый) или имеет повреждённый орган, который не позволяет ему ОСОЗНАВАТЬ звук.
Отсюда важный философский вывод: хотите визуализировать звук? Вы должны понять СМЫСЛ звука и передать этот звук альтернативными способами.
Поэтому «конвертировать» можно только речь, что является лишь малым подмножеством звуков.
Для этого, думаю, стоит активно сотрудничать с питерской конторой ЦРТ (Центр Речевых Технологий).
А Оду к Радости и Марш вы, разумеется никогда никак не визуализируете (кроме слов, конечно… Но ведь есть ещё и музыка!)
В рассматриваемой вами проблеме звук это не колебание воздуха!
«Ода к Радости» или о «Марш Преображенского полка» не есть просто совокупность гармоник.
Наше представление о звуке, как о колебании воздуха — есть лишь грубая «проекция», которая позволяет создать микрофон и динамики, но не более того…
Тут проблема в том, что человек не знает что такое звук (если глухорождённый) или имеет повреждённый орган, который не позволяет ему ОСОЗНАВАТЬ звук.
Отсюда важный философский вывод: хотите визуализировать звук? Вы должны понять СМЫСЛ звука и передать этот звук альтернативными способами.
Поэтому «конвертировать» можно только речь, что является лишь малым подмножеством звуков.
Для этого, думаю, стоит активно сотрудничать с питерской конторой ЦРТ (Центр Речевых Технологий).
А Оду к Радости и Марш вы, разумеется никогда никак не визуализируете (кроме слов, конечно… Но ведь есть ещё и музыка!)
«Понять СМЫСЛ звука» — это долго, нетривиально, и не факт, что возможно, — тогда как визуализация вполне доступна, нужно только подобрать наиболее подходящий вариант. Не исключено, что после некоторой тренировки мозг сам научится распознавать смысл по визуализации (читают же речь по движениям губ).
А ещё, Ваши утверждения можно отнести и к другой области:
Всё это верно, но, тем не менее, мы научились создавать радиоволны и принимать их, мы изучили их свойства, мы занимаемся радиоастрономией, мы вовсю эксплуатируем радиоволны — и это всё только с помощью приборов, которые «грубо проецируют» радиоволны в доступные нам ощущения.
Да, по картинке радара сложно понять красоту и изящество летящего самолёта, но можно узнать где он, куда и как быстро движется — и это уже немало. И даже из «грубой визуализации» радиоволн тренированный человек может многое узнать.
А ещё, Ваши утверждения можно отнести и к другой области:
Наши представления о радиоволнах — лишь грубая «проекция», которая позволяет создать передатчик и приёмник, не более того. Проблема в том, что человек не знает, что такое радиоволна и в принципе не имеет органа, который позволил бы ему ОСОЗНАВАТЬ радиоволны.
Всё это верно, но, тем не менее, мы научились создавать радиоволны и принимать их, мы изучили их свойства, мы занимаемся радиоастрономией, мы вовсю эксплуатируем радиоволны — и это всё только с помощью приборов, которые «грубо проецируют» радиоволны в доступные нам ощущения.
Да, по картинке радара сложно понять красоту и изящество летящего самолёта, но можно узнать где он, куда и как быстро движется — и это уже немало. И даже из «грубой визуализации» радиоволн тренированный человек может многое узнать.
Я вас не понял. Речь можно представить совокупностью слов.
Указать где самолёт можно с помощью цифр и буквенных обозначений… По сути вы только подтверждаете мой тезис…
Пример ваш совсем не тот, о котором я говорю. Кто не знает, что такое «красное» или «синее» по причине того, что он дальтоник НИКОГДА не поймет картины Кандинского.
Вот был, например, Бетховен, который по нотам читал музыку. Будучи глухим он был композитором, верно?..
Но давайте подумаем. Ведь это было лишь при том, что соблюдалось два условия:
1) Когда-то Бетховен СЛЫШАЛ.
2) Бетховен успел выучить нотную грамоту и поэтому, простите за вульгарность, имел «внутренний слух», так сказать слух внутри его разума.
А какой смысл визуализировать музыку??? Симфонии Баха сделаем жёлтыми, Чайковский будет зелёным, а Эуген Сухонь фиолетовым???
Неужели вы не понимаете, что тот у кого нет «внутреннего слуха», не сможет никогда СЛЫШАТЬ.
Или я вас неправильно понимаю?
Указать где самолёт можно с помощью цифр и буквенных обозначений… По сути вы только подтверждаете мой тезис…
Пример ваш совсем не тот, о котором я говорю. Кто не знает, что такое «красное» или «синее» по причине того, что он дальтоник НИКОГДА не поймет картины Кандинского.
Вот был, например, Бетховен, который по нотам читал музыку. Будучи глухим он был композитором, верно?..
Но давайте подумаем. Ведь это было лишь при том, что соблюдалось два условия:
1) Когда-то Бетховен СЛЫШАЛ.
2) Бетховен успел выучить нотную грамоту и поэтому, простите за вульгарность, имел «внутренний слух», так сказать слух внутри его разума.
А какой смысл визуализировать музыку??? Симфонии Баха сделаем жёлтыми, Чайковский будет зелёным, а Эуген Сухонь фиолетовым???
Неужели вы не понимаете, что тот у кого нет «внутреннего слуха», не сможет никогда СЛЫШАТЬ.
Или я вас неправильно понимаю?
Да, мы говорим об одном и том же, с разницей в одном нюансе.
Я совершенно согласен с тем, что глухой от рождения никогда не сможет «слышать» как остальные.
Но я не согласен с тем, что «конвертировать можно только речь». Во-первых, компьютеры пока с этим справляются не очень. Во-вторых, при такой конверсии мы выбрасываем уйму информации которую, по моему мнению, всё таки можно донести. Может оказаться, что мозг в состоянии научиться распознавать слова сам — да хоть по спектрограмме. Плюс уровень шума, плюс тональность голоса, плюс эмоциональную окраску.
Да, по картинке человек никогда не будет «слышать». Но сможет общаться — причём понимая не только что говорит собеседник, но и как он это говорит. И может быть — только может быть — сможет воспринимать красоту музыки по бегущей картинке (или по миганию цветов, или ещё как).
Вкратце, если мозгу давать рафинированную информацию (скажем, только текст сказанного) — он быстро научится её использовать, но это же будет потолком возможностей. С другой стороны, если визуализировать мозгу более сырую информацию о звуке — обучение потребует гораздо больше времени и усилий, но есть шанс, что даст гораздо больше возможностей.
P.S. Кстати, насчёт «зелёного Чайковского» полезно почитать про синестезию. А ещё послушать рассказ парня-дальтоника, который научился «слушать» цвета с помощью устройства и вполне доволен результатом.
Я совершенно согласен с тем, что глухой от рождения никогда не сможет «слышать» как остальные.
Но я не согласен с тем, что «конвертировать можно только речь». Во-первых, компьютеры пока с этим справляются не очень. Во-вторых, при такой конверсии мы выбрасываем уйму информации которую, по моему мнению, всё таки можно донести. Может оказаться, что мозг в состоянии научиться распознавать слова сам — да хоть по спектрограмме. Плюс уровень шума, плюс тональность голоса, плюс эмоциональную окраску.
Да, по картинке человек никогда не будет «слышать». Но сможет общаться — причём понимая не только что говорит собеседник, но и как он это говорит. И может быть — только может быть — сможет воспринимать красоту музыки по бегущей картинке (или по миганию цветов, или ещё как).
Вкратце, если мозгу давать рафинированную информацию (скажем, только текст сказанного) — он быстро научится её использовать, но это же будет потолком возможностей. С другой стороны, если визуализировать мозгу более сырую информацию о звуке — обучение потребует гораздо больше времени и усилий, но есть шанс, что даст гораздо больше возможностей.
P.S. Кстати, насчёт «зелёного Чайковского» полезно почитать про синестезию. А ещё послушать рассказ парня-дальтоника, который научился «слушать» цвета с помощью устройства и вполне доволен результатом.
Вы ошибаетесь. Я уже писал выше – есть разработки, которые преобразуют видео в звуковой ряд и от рождения слепые люди начинают воспринимать это именно как изображение (что-то типа эхолокации) – у них активируется «зрительная зона» мозга.
Соответственно, наверняка можно «научить» мозг и обратному – слышать звук по видео-изображению.
Соответственно, наверняка можно «научить» мозг и обратному – слышать звук по видео-изображению.
по крайней мере с некоторыми поправками, вы точно правы.
И что?
Я разве об этом спорю?
Да — верю — что человека можно научить эхолокации. Возможно даже, что слепые с помощью эхолокации научаться «общуповать» объймные произведения искусства (статуи и фасады зданий, например).
Но что такое ВИДЕТЬ и различать цвета они никогда не поймут, потому что у них нет ЧУВСТВА виденья.
Это принципиально другая форма познания!
А ещё есть Дмитрий Дидоренко, но это пример Бетховена, только наоборот.
Дидоренко ВИДЕЛ и поэтому ПОНИМАЕТ, что есть ВИДЕТЬ.
Кто не ВИДЕЛ — тот никогда не поймёт, что это…
Вот мой тезис.
Я разве об этом спорю?
Да — верю — что человека можно научить эхолокации. Возможно даже, что слепые с помощью эхолокации научаться «общуповать» объймные произведения искусства (статуи и фасады зданий, например).
Но что такое ВИДЕТЬ и различать цвета они никогда не поймут, потому что у них нет ЧУВСТВА виденья.
Это принципиально другая форма познания!
А ещё есть Дмитрий Дидоренко, но это пример Бетховена, только наоборот.
Дидоренко ВИДЕЛ и поэтому ПОНИМАЕТ, что есть ВИДЕТЬ.
Кто не ВИДЕЛ — тот никогда не поймёт, что это…
Вот мой тезис.
Почему же не поймут? Ведь у них активизируется именно зрительная зона мозга. То самое «чувство виденья», вашими словами. Да, они не будут различать цвета в нашем понимании (на данном уровне развития технологии). Но никто не мешает кодировать в звук и цвета тоже, не только формы.
Насчет «чувства видения» не скажу, а вот по поводу слуха могу рассказать. У глухих от рождения не развивается «чувство слуха», так как у них нет слуховой стимуляции. На ранних этапах развития ребенка при имплантации или использовании слуховых аппаратов с помощью специальной обучающей терапии можно «нагнать» пропущенный этап и развить «чувство слуха». Но это возможно только в раннем возрасте. При имплантации в возрасте после 7 лет (в общем случае), «чувство слуха» уже невозможно развить. Части головного мозга, которые у слышащего человека занимаются обработкой звуковой информации, у этих людей уже не могут перестроится на восприятие слуховой информации.
у меня совсем нет необходимых знаний
Для глухих с остаточным слухом имеются слуховые аппараты, которые помогают слышать даже при очень слабом уровне остаточного слуха. А для людей с полной потерей слуха существуют кохлеарные и стволомозговые импланты. Кохлеарные импланты позволяют людям без проблем интегрироваться в обычную жизнь.
Лучше не изобретать что-то новое, а приложить усилия для совершенствования этих технологий, ведь в конечном итоге они могут привести с созданию полноценного интерфейса компьютер(цифровое устройство) <-> человеческий мозг.
Не всегда слуховой аппарат может помочь. У меня смешанная форма с преобладанием нейросенсорной составляющей. Простое повышение громкости звуков не то что не помогает, а иногда даже вредит разборчивости — тихую но четкую речь я разбираю гораздо лучше чем громкую. Еще один факт — я «повис» между двумя крайностями — слух у меня есть и операцию делать преждевременно (и не ясно даст ли она результат, одна попытка уже была — с отрицательной динамикой), но этот слух очень избирательно работает — зайти со стороны возможности «слышать глазами» в качестве, хотябы помощи остаточному слуху, считаю очень замечательной идеей.
Простите за нескромный вопрос, но какая потеря слуха в дБ? Она более-менее равномерная по частоте или есть провалы на определенных частотах?
Сейчас не скажу, под рукой нет аудиограмм, но была вторая степень. По частотам — неравномерно, причем часто меняется (не получилось подстроить слуховой аппарат даже многоканальный). Одну и ту же музыку слышу по-разному в разное время. Наверное, можно сравнить с дальтонизмом — неверное восприятие частот или не чувствуется разница между частотами. Поврежден нерв, либо отравление гентамицином, либо осложнение после гриппа.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Большое Ухо или «Почему глухой должен быть немым?»