Услышать несказанное: преобразование движений мышц в речь
Одним из самых явных эволюционных отличий человека от других обитателей планеты является умение говорить. Конечно, другие животные также способны издавать звуки, используемые для коммуникации между особями. Но именно человек способен на вербальное, связанное по смыслу и логике общение. Для реализации вербальной передачи сигналов человеку нужны голосовые связки. Однако из-за травм, заболеваний или хирургического вмешательства у человека может развиться дисфония (нарушение речи) или полная дисфункция речи. Ученые из Калифорнийского университета в Лос-Анджелесе (США) разработали тонкое гибкое устройство, которое прикрепляется к шее и преобразует движения мышц гортани в слышимую речь. В создании этого устройства использовалось машинное обучение, позволяющее распознавать и сопоставлять определенные движения мышц с определенными словами. Из чего сделано чудо-устройство, как именно оно работает, и насколько оно эффективно? Ответы на эти вопросы мы найдем в докладе ученых.
Основа исследования
Голос как несущая волна речевых сигналов в человеческом общении является жизненно важным компонентом, лежащим в основе социального взаимодействия и художественного выражения. Голос служит мелодией нашей речи и наполняет наши ежедневные мысли выражением, эмоциями, намерениями и настроением. Учитывая важность голоса, как инструмента социализации, нарушения, влияющие на него, могут разительным образом ограничивать коммуникационные возможности человека.
Голосовые расстройства обычно определяются как состояния, при которых неисправность механизма гортани приводит к тому, что качество, тональность и громкость голоса человека отличаются от таковых у населения с аналогичными демографическими характеристиками. В клинических обстоятельствах нарушения голоса возникают в результате различных патологических состояний: полипы голосовых связок, кератоз, паралич голосовых связок, узелки голосовых связок, спазматическая дисфония мышц и т.д. Хирургические вмешательства (например, при лечении рака гортани) также могут привести к дисфункции голоса.
Несмотря на распространенность нарушений голоса среди всех возрастов и демографических групп, а также эффективность терапевтических подходов, таких как голосовая терапия и хирургические вмешательства, время восстановления может быть крайне длительным. Пациентам часто требуется период восстановления продолжительностью от трех месяцев до года с послеоперационным периодом абсолютного голосового покоя. Существующие решения, такие как портативные электрогортанные устройства, могут быть неудобными в использовании, некомфортными для ношения или инвазивными. Следовательно, существует острая необходимость в разработке носимого неинвазивного медицинского устройства, способного помочь пациентам в общении во время восстановления голосовых нарушений до и после лечения.
Исследования в области медицинских устройств, использующих гибкие динамики и носимые горловые датчики, изготовленные из таких материалов, как поливинилиденфторид (PVDF от polyvinylidene fluoride), золотые нанопроволоки или графен, показали существенный потенциал в облегчении общения во время восстановления после заболеваний голосовых связок.
PVDF представляет собой чистый термопластичный фторполимер, отличающийся исключительной инертностью. Важной особенностью PVDF являются его пьезоэлектрические свойства, позволяющие преобразовывать механические колебания в точные сигналы напряжения. Хотя это пьезоэлектрическое свойство дает определенные преимущества, выбор материалов для пьезоэлектрических датчиков остается ограниченным. Кроме того, хоть пьезоэлектрические материалы и обладают способностью актуализации, напряжение, необходимое для этого, может сильно влиять на безопасность носимой биоэлектроники.
Золотые нанопроволоки и графен получили признание благодаря своей превосходной проводимости и присущей им гибкости. Эти характеристики делают их идеальными кандидатами для создания резистивных датчиков, которые могут быстро измерять изменения сопротивления в ответ на механические нагрузки. Однако эти резистивные датчики, в том числе изготовленные из золотых нанопроволок, обычно требуют внешнего источника питания для считывания, что увеличивает сложность реализации устройства, а также делает их слишком громоздкими для ношения. Более того, несмотря на их впечатляющие свойства, присущая этим материалам нерастяжимость накладывает существенные ограничения.
Мышцы шеи человека.
Подобные системы преимущественно обнаруживают вертикальные движения горла, часто игнорируя параллельную деформацию, возникающую при фонации, которая предполагает сложное взаимодействие различных групп мышц гортани. Эти мышцы, в том числе внешние и платизма (подкожная мышца шеи), способствуют движению горла во время фонации и особенно важны для пациентов с нарушениями голоса, которые не могут использовать голосовые связки. Кроме того, нерастягивающиеся материалы могут повлиять на комфорт и адгезию. Другие проблемы этих материалов, такие как недостаточная водостойкость (потостойкость) и повышение температуры, могут привести к проблемам в эксплуатации.
В рассматриваемом нами сегодня труде ученые описывают носимую и автономную сенсорно-актуационную систему, основанную на мягкой магнитоупругости. Система позволяет пациентам формулировать предложения исключительно посредством мышечных движений, связанных с обычной речью или синхронизацией губ. Сенсорный компонент системы обнаруживает движения внешних мышц гортани без вибрации голосовых связок.
Для повышения чувствительности ученые разработали структуру датчика в виде «киригами» с увеличенным блоком горизонтальной и вертикальной деформации, что позволяет генерировать электрические сигналы для последующей обработки. Эти электрические сигналы подаются на предварительно обученную модель машинного обучения, которая преобразует движения мышц в голосовые сигналы. Система обладает высокой чувствительностью, быстрым временем отклика (40 мс), очень малой массой (7.2 г) и модулем упругости как у кожи (7.83 × 105 Па), что обеспечивает точность считывания и комфорт при ношении. Кроме того, растяжимость 164% при обнаружении горизонтальной деформации улучшает адгезию устройства к горлу, способствуя точному обнаружению движения и решая важнейшую проблему регистрации всенаправленной механической деформации.
Результаты исследования
Структура устройства
Изображение №1
Тонкая, гибкая и клейкая носимая сенсорно-актуационная система была прикреплена к поверхности горла (1a) для речи без голосовых связок.
Эта система состоит из двух симметричных компонентов (1b): сенсорного компонента (расположенного в нижней части устройства), преобразующего биомеханическую активность мышц в электрические сигналы высокой точности, и исполнительного компонента, использующего электрические сигналы для создания звука (расположенного в верхней части устройства). Оба компонента состоят из слоя полидиметилсилоксана (PDMS) (толщиной ~200 мкм) и слоя магнитной индукции (MI от magnetic induction), выполненного из змеевидной медной катушки (с 20 витками и диаметром ~67 мкм). Змеевидная конфигурация катушки обеспечивает гибкость устройства при сохранении его производительности. А симметричный дизайн устройства повышает удобство его использования.
Средний слой устройства представляет собой слой магнитомеханической связи (MC от magnetomechanical coupling), выполненный из магнитоупругих материалов, состоящих из смешанных PDMS и микромагнитов. Слой MC толщиной примерно 1 мм имеет структуру киригами для повышения чувствительности и растяжимости устройства. В совокупности система получилась очень маленькой, тонкой (~1.35 см3, ширина и длина ~30 мм, а толщина ~1.5 мм) и легкой (~7.2268 г).
Разнонаправленное движение мышц гортани определяет важность регистрации сигналов в трехмерном виде. Более того, процесс обучения фонации может быть неоднородным в разных популяциях: разные люди могут использовать различные мышечные модели для достижения одинаковых голосовых движений. Такая сложность движений мышц требует, чтобы устройство могло фиксировать деформацию мышц не только по горизонтали или вертикали, но и в трехмерном виде. На 1c показано движение мышечного волокна на двух стадиях: расширение и сокращение. Во время фазы расширения мышца расслабляется и удлиняется по осям x и y. С другой стороны, во время фазы сокращения мышца укорачивается по осям x и y, одновременно утолщаясь по оси z за счет увеличения диаметра пучков мышечных волокон. На 1d и 1e показан отклик устройства по осям x, y и z соответственно. На этапе расширения устройство со структурой киригами расширяется по площади поверхности с небольшой деформацией по оси z. И наоборот, во время фазы сжатия устройство противодействует деформации по осям x и y и подвергается деформации по оси z. Таким образом, устройство фиксирует движение мышц во всех трех измерениях, измеряя соответствующую деформацию, которая генерирует изменение плотности магнитного потока с последующей индукцией электрического сигнала в слое MI.
Ключевая определяющая характеристика этой системы (слой MC) основана на магнитоупругом эффекте, который относится к изменению плотности магнитного потока ферромагнитного материала в ответ на внешнее механическое напряжение. Это наблюдалось в твердых металлах и металлических сплавах, таких как Fe1-xCox, TbxDy1-xFe2 (терфенол-D) и GaxFe1-x (гальфенол).
Исторически этим материалам уделялось ограниченное внимание в области биоэлектроники по нескольким причинам: изменение намагниченности магнитных сплавов в пределах биомеханических напряжений ограничено; необходимость внешнего магнитного поля вносит структурные сложности; и между магнитными сплавами и тканями человека существует значительное несоответствие механического модуля, отличающееся на шесть порядков. Однако прорыв произошел в 2021 году, когда в системе мягкой материи был обнаружен ярко выраженный магнитоупругий эффект. Эта система продемонстрировала пиковый коэффициент магнитомеханической связи 7.17 × 10-8 Т/Па, что представляет собой увеличение до четырех раз по сравнению с традиционными жесткими металлическими сплавами, что подчеркивает ее потенциал в мягкой биоэлектронике.
Функционально слой MC преобразует механическое движение внешних мышц гортани в изменение магнитного поля, а медные катушки передают магнитное изменение в электрические сигналы, основанные на электромагнитной индукции, работающие с автономным питанием. Хотя для обработки и фильтрации сигналов необходимы дополнительные схемы управления питанием, начальная фаза измерения является автономной и не зависит от внешнего источника питания. После распознавания с помощью модели машинного обучения голосовой сигнал выводится через систему актуации (1a).
Преобразование сигнала посредством гигантского магнитоупругого эффекта в мягких эластомерах можно объяснить как на микро-, так и на атомном уровне. На микроуровне сжимающее напряжение, приложенное к мягкому полимерному композиту, вызывает соответствующую деформацию формы, что приводит к магнитным взаимодействиям частиц (MPPI от magnetic particle-particle interaction), включая изменения расстояния и ориентации межчастичных связей. Горизонтальное вращение каждой субъединицы в структуре киригами (1d) и вертикальная изгибная деформация изгиба (1e) создают микроизменение магнитной плотности. В части структуры киригами (1f) вызванный деформацией угловой сдвиг φ создает концентрацию напряжения и MPPI между каждой отдельной единицей структуры киригами.
На атомном уровне механическое напряжение также вызывает магнитные диполь-диполь взаимодействия (MDDI от magnetic dipole-dipole interaction), что приводит к вращению и движению магнитных доменов внутри частиц. Как показано на 1g, к каждой магнитной наночастице был приложен крутящий момент, а сдвиг угла θ вызывает изменение плотности магнитного потока. На 1h и 1i конструкция показана во время отклика по осям x, y и z на этапе расширения, а на 1j и 1k — на этапе сокращения. На 1h и 1j показано расширение и сжатие в плоскости x и y, а на 1i и 1k показано соответствующее сжатие и расширение по оси z.
Характеристики устройства
Изображение №2
В данном исследовании ученые проводили сравнение предыдущих подходов на основе PVDF и графена для гибкого мониторинга и передачи голоса (2a). Разработанное в данной работе устройство имеет аналогичные акустические характеристики, а частотный диапазон охватывает весь диапазон слуха человека. Однако оно имеет гораздо более низкое напряжение возбуждения (1.95 В) и модуль Юнга 7.83 × 105 Па. Такой результат обеспечивает более высокий уровень комфорта при ношении, поскольку модуль упругости устройства очень близок к модулю кожи человека. Примечательно и то, что разработанное учеными устройство обладает двумя уникальными характеристиками: растяжимостью и водонепроницаемостью, которые обеспечивают обнаружение горизонтальных движений, комфорт при ношении и устойчивость к дыханию. Кроме того, устройство не подвержено повышению температуры во время использования.
Во время исследования было проведено несколько стандартных тестов, нацеленных на оценку характеристик чувствительности устройства и его эффективности при выдаче голосовых сигналов. Чтобы повысить растяжимость устройства, на MC слое устройства была изготовлена структура киригами. Такой подход не только повышает растяжимость устройства максимум до 164% при модуле Юнга на уровне 100 кПа, но и реализует изотропию. Кроме того, конструкция киригами увеличивает горизонтальную деформацию устройства, генерируя более высокий выходной ток и усиливая обнаруживаемые сигналы мышечного сокращения и расслабления. Более того, изотропия предотвращает сбои в работе устройства из-за случайных и неравномерных движений тела во время использования. Таким образом, не существует никаких требований к ориентации при ношении, что повышает удобство использования.
Растяжимая структура устройства была использована для изучения его чувствительности к степени деформации (2b). Кривая чувствительности продемонстрировала постоянство при различных нагрузках, с небольшими изменениями, наблюдаемыми при максимальной нагрузке (164%). Это изменение можно объяснить уменьшением толщины MC слоя из-за деформации, что, в свою очередь, уменьшает плотность магнитного потока при том же уровне давления, что приводит к снижению генерации тока. Присущая устройству гибкость и растяжимость реализуют плотное прилегание к горлу, обеспечивая высокое соотношение сигнал/шум (SNR от signal-to-noise ratio) и быстрое время отклика (2c).
Помимо конструктивных параметров структуры киригами, также оценивались другие факторы, влияющие на чувствительность устройства, время отклика и соотношение сигнал/шум. Увеличение количества витков катушек приводит к увеличению времени отклика и снижению соотношения сигнал/шум из-за увеличения общей толщины медных катушек. Это препятствует деформации мембраны при вибрациях, что приводит к увеличению времени отклика и снижению качества сигнала.
По мере увеличения количества витков катушки существует прямая корреляция с вероятностью укладки медных проводов. Следовательно, значительное количество образцов имеет толщину, близкую к 2 или 3 слоям меди (134 мкм и 201 мкм соответственно). Этот эффект суммирования увеличивает среднюю толщину катушки по мере увеличения количества витков.
Также ученые проанализировали взаимосвязь между характеристиками считывания и концентрацией наномагнитного порошка MC слоя. Наблюдалась полулинейная зависимость: более высокая концентрация магнитных наночастиц создает более сильное магнитное поле и, следовательно, более высокий выходной ток.
Оценка влияния различных соотношений PDMS в чувствительной мембране на работу датчика показала, что увеличение коэффициентов PDMS увеличивает время отклика и уменьшает SNR, оказывая при этом незначительное влияние на кривую чувствительности. Увеличение соотношения PDMS приводит к более мягкой мембране, которая склонна к более медленной деформации. Следовательно, устройства с более высокими коэффициентами PDMS демонстрируют повышенную чувствительность к деформациям, генерирующим шум, хотя и с меньшим временем отклика.
Наконец, было проверено влияние толщины MC слоя. Более толстый MC слой не влиял на время отклика, но уменьшал отношение сигнал/шум.
Оценка долговечности устройства, созданного с учетом оптимальных характеристик, полученных в результате вышеописанных тестов, показала, что устройство может выдержать 24000 циклов встряхивания с частотой 5 Гц без заметного ухудшения состояния.
Оценка акустических характеристик актуационной составляющей устройства оценивалась по уровню акустического давления (SPL от sound pressure level) на различных расстояниях. Результаты, представленные на 2d, показывают, что большее увеличение выходного сигнала привело к более высокому уровню звукового давления во всех тестируемых положениях. Даже на расстоянии 1 метр (типичное расстояние при обычном разговоре) устройство обеспечивало уровень звукового давления более 40 дБ, что превышает нижний предел уровня звукового давления при обычной речи (40–60 дБ). Ученые также протестировали уровень звукового давления устройства под разными углами и сравнили его характеристики с показателями предыдущих работ над акустическими устройствами.
Характеристики устройства на различных частотах были протестированы и представлены на 2e. Анализ результатов тестирования показал, что устройство может обеспечивать звук с уровнем звукового давления, превышающим обычную громкость речи, во всем диапазоне человеческого слуха.
Дальнейшее исследование уровня звукового давления в зависимости от частоты при различных нагрузках показало, что первые несколько точек резонанса показывали наибольшую акустическую мощность во всем частотном диапазоне. Поскольку устройство, находящееся под одной деформацией, имеет несколько точек резонанса, которые нелинейно изменяются при деформации, исследование изменения каждой точки резонанса затруднено. Поэтому ученые исследовали только первую резонансную точку (FRP от first resonance point; 2f). Согласно 2e, акустический выход устройства при каждом напряжении превышал нормальный порог разговора во всем диапазоне человеческого слуха. На 2f показано смещение FRP устройства вправо по мере увеличения деформации. Это позволяет устройству настраивать свои выходные характеристики в различных сценариях использования. Следовательно, устройство может показывать наилучшие выходные характеристики, просто изменяя степень деформации, создавая тем самым уникальные настройки вывода для каждого человека и реализуя адаптируемость устройства под конкретного пользователя.
Ученые также проверили влияние внедрения в устройство структуры киригами, представленной на 2g. Результаты анализа показали, что конструкция киригами оказывала незначительное влияние на сенсорные и акустические характеристики устройства. Это дополнительно подтверждает правильность решения использовать эту конструкцию из-за ее положительного влияния на гибкость.
Также были оценены дополнительные факторы, влияющие на акустические характеристики системы актуации, и окончательные параметры были определены на основе как производительности, так и массы/гибкости устройства. Было замечено, что увеличение витков катушки приводило к снижению уровня звукового давления, вероятно, из-за веса дополнительной катушки, препятствующей вибрации мембраны и, как следствие, снижения уровня звукового давления. Анализ взаимосвязи между SPL и соотношением PDMS показал, что по мере увеличения соотношения мембрана размягчалась, что приводило к снижению генерируемого звукового давления.
Уровень звукового давления устройства повысился с добавлением большего количества магнитного порошка в MC слой, достигнув плато после соотношения 4:1. Оценка влияния изменения толщины MC слоя на SPL показала, что резкое увеличение уровня звукового давления устройства наблюдалось при увеличении толщины MC слоя с 0.5 мм до 1 мм. При дальнейшем увеличении толщины слоя изменение уровня звукового давления замедлялось. В заключение было проведено SPL при различной толщине мембраны привода. Уровень звукового давления устройства увеличивался по мере увеличения толщины мембраны PDMS (вибрационная мембрана) со 100 до 200 мкм. Однако дальнейшее увеличение толщины мембраны приводила к снижению SPL.
Что касается качества акустической мощности устройства, на 2h показана форма сигнала коммерческого динамика и разработанного устройства при максимальной (164%) деформации на частоте 1100 Гц. Устройство воспроизводило голосовой сигнал точно даже при максимальной деформации, лишь с небольшими искажениями. Искажение было дополнительно объяснено на спектрограмме (2i), которая показывает, что на выходе устройства возник шум около 1400 Гц, но недостаточно сильный, чтобы существенно исказить сигнал.
Экспериментальная часть
Изображение №3
После получения предварительных результатов стандартных тестов ученые сосредоточились на сборе сигналов о движениях мышц гортани с помощью сенсорного компонента устройства (3a). Аналоговый сигнал, генерируемый вибрацией внешних мышц гортани (грудинно-щитовидной мышцы), собирался датчиком, а затем проходил через усилитель и фильтр нижних частот, показанный на 3b. Цифровой сигнал движений мышц гортани выводился и собирался для дальнейшего анализа. Чувствительность и повторяемость устройства были проверены на 3c с двумя последовательными различными движениями гортани.
Устройство способно генерировать различимые и уникальные сигналы для каждого движения мышц, что указывает на его возможность обнаруживать и анализировать различные движений гортани. Кроме того, более выраженные движения мышц горла, такие как кашель или зевота, генерировали более крупные пики, в то время как более длительные движения, такие как глотание, генерировали более длинные сигналы.
Также ученые провели эксперименты по проверке работоспособности устройства в разных условиях. Как показано на 3d, ученые попросили участника беззвучно произнести одно и то же слово («UCLA») в разных условиях, включая стояние на месте, ходьбу, бег и прыжки. Устройство смогло распознать уникальную и повторяемую форму волны слога каждого слова с лишь небольшими различиями, которые каждый раз делали участники с разной скоростью произношения. Таким образом, носимое устройство могло функционировать, не подвергаясь влиянию движений тела пользователя.
Наконец, чтобы проверить качество и точность сигнала, получаемого исключительно за счет движения мышц гортани, ученые провели исследования, чтобы сравнить нормальную и безмолвную речь (3e). Пять последовательных сигналов участника, говорящего «Go Bruins» с вибрацией голосовых связок и без нее, сравнивались на 3f и 3g соответственно. Оба теста генерировали последовательные сигналы, а слоги каждого слова были представлены различимыми волновыми формами. Сравнивая результаты тестирования нормальной речи и безмолвной, ученые наблюдали лишь незначительную потерю максимальной амплитуды сигнала безмолвной речи. Это можно объяснить тем, что вибрация голосовых связок требует все более сильных мышечных движений, генерирующих более сильные сигналы. Кроме того, на 3h и 3i после преобразования Фурье обоих сигналов по частотам наблюдалась явная потеря высокочастотных составляющих в безмолвных сигналах по сравнению с сигналами с вибрацией голосовых связок. Это открытие согласуется с гипотезой о том, что высокочастотная часть вибрации, генерируемой внутренними мышцами и голосовыми связками, отсутствует в безмолвных сигналах, оставляя более гладкую, но различимую форму волны. Таким образом, было доказано, что устройство улавливает узнаваемые и уникальные сигналы при движениях мышц гортани.
Изображение №4
На основе сгенерированных данных о движении мышц гортани был использован алгоритм машинного обучения для классификации семантического значения сигнала и выбора соответствующего речевого сигнала для вывода через актуационный компонент системы. Схема алгоритма машинного обучения представлена на 4a. Алгоритм состоит из двух этапов: обучение и классификация набора из n предложений, для которых требуется ассистентская речь. Сначала отфильтрованные данные обучения передавались в алгоритм обучения модели. Электрический сигнал каждого из n предложений был уплотнен в матрицу N-го порядка для извлечения признаков с помощью анализа главных компонент (PCA от principal component analysis) (4b). N определяется окном выборки, которое представляет собой длину сигнала самого длинного предложения. PCA применяется для устранения избыточности и подготовки сигнала к классификации. В качестве алгоритма классификации была выбрана многоклассовая классификация опорных векторов (SVC от support vector classification) с формой функции решения «один против остальных». Для каждого предложения, подлежащего классификации, остальные n-1 предложений рассматривались как единое целое, чтобы создать границу бинарной классификации для различения целевого предложения. Краткая иллюстрация процесса алгоритма опорных векторов (SVM от support vector machine) изображена на 4c.
После того как классификатор был обучен предварительно введенным тренировочным данным, его использовали для классификации вновь собранных сигналов движения мышц гортани. Данные в реальном времени подавались в классификатор, и класс (какое предложение) сигнала выдавался для выбора речевого сигнала. В дальнейшем соответствующий заранее записанный речевой сигнал воспроизводился актуационным компонентом, реализующим вспомогательную речь.
Краткая демонстрация была проведена с помощью пяти предложений, которые ученые выбрали для обучения алгоритма:
- S1: Hi Rachel, how you are doing today? (Привет, Рэйчел, как твои дела сегодня?);
- S2: Hope your experiments are going well! (Надеюсь, твои эксперименты проходят хорошо!);
- S3: Merry Christmas! (Счастливого Рождества!);
- S4: I love you! (Я люблю тебя!);
- S5: I don’t trust you. (Я тебе не доверяю).
Каждый участник повторял каждое предложение 100 раз для сбора данных. Полученный контурный график 4d показывает пример результата классификации: красные точки обозначают целевое предложение, а желтые точки обозначают остальные предложения. С помощью обученного классификатора сигнал движения гортани распознавался для соответствующего предложения, которое участник хотел сказать.
Чтобы проверить надежность и адаптируемость алгоритма к пользователю, устройство было протестировано с участием восьми участников, каждый из которых повторял предложение в общей сложности 120 раз, при этом 100 повторений были выбраны для обучающего набора и 20 были выделены в качестве тестового набора. Из 100 повторов 20 были выбраны в качестве набора для валидации.
На 4e показаны результаты валидации и тестирования семи из восьми участников, а на 4f и 4g представлена подробная иллюстрация матрицы несоответствия 8-го участника для наборов проверки и тестирования соответственно. Набор данных для тестирования достигал уровня точности в 93%. Общая точность прогнозирования модели составила 94.68%.
Голосовой сигнал каждого участника воспроизводился актуационным компонентом устройства (4h): слева показан сигнал движения мышц, преобразованный в правильный голосовой сигнал, а форма волны показана справа.
Как показано на 4i, оценка уровня звукового давления и температуры устройства во время использования участником не выявила значительного снижения уровня звукового давления или повышения температуры даже после длительного периода работы в 40 минут. На 4j показан уровень звукового давления устройства, во время его использования семью участниками с потом на коже и без него. Анализ данных показал, что устройство работало стабильно, несмотря на наличие пота на коже участника наблюдения. Наконец, на 4k показано звуковое давление устройства во время вывода голоса под различными углами обычного разговора. Устройство продемонстрировало надежное качество звука под всеми углами, что позволяет человеку использовать устройства в различных ситуациях из реальной жизни.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.
Эпилог
В рассмотренном нами сегодня труде ученые рассказали о своем изобретении — носимом и гибком устройстве, способном считывать сигналы движения мышц и преобразовывать из в акустические сигналы. Данное устройство позволяет говорить без использования голосовых связок.
Данное устройство состоит из двух компонентов. Первый компонент — это сенсор с автономным питанием, который обнаруживает и преобразует сигналы движения мышц в электрические сигналы, которые затем преобразуются в речевые. Второй компонент — это актуатор, преобразующий речевые сигналы в акустические.
Каждый из двух компонентов содержит по два слоя: слой биосовместимого силиконового соединения PDMS с эластичными свойствами и слой магнитной индукции, изготовленный из медных индукционных катушек. Между двумя компонентами находится пятый слой, содержащий PDMS, смешанный с микромагнитами, который генерирует магнитное поле. Используя мягкий магнитоупругий сенсорный механизм, устройство способно обнаруживать изменения в магнитном поле, когда оно изменяется в результате механических сил — в данном случае движения мышц гортани. Встроенные индукционные катушки в магнитоупругих слоях помогают генерировать электрические сигналы высокой точности для дальнейшего их преобразования в акустические.
Готовое к использованию устройство весит 7.2 грамма, при этом его модуль упругости сопоставим с таковыми у человеческой кожи. Время отклика устройства составляет всего 40 мкс, а соотношение сигнал/шум составляет 17.5. Эти параметры указывают на то, что устройство не только отлично работает, но и не вызывает дискомфорта во время ношения. Точность устройств в преобразовании сигналов составила 94.68%.
В будущем ученые намерены продолжить свою работу, а именно расширить словесный запас устройства посредством машинного обучения и приступить к испытаниям при участии людей с нарушениями речи. Авторы разработки уверены, что их творение будет крайне полезно для тех, кто ввиду болезни, травмы или хирургического вмешательства лишились возможности говорить.
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?