Американский инженер и аспирант Корнеллского университета Жуйдун Чжан создал очки с сонаром под названием EchoSpeech. Устройство предназначено для цифрового анализа и озвучивания беззвучных команд человека, которые отдаются с помощью лицевой артикуляции.
На очках установлены специальные миниатюрные динамики, микрофоны и небольшая батарейка, которой хватает на 10 часов автономной работы. Также там есть система беспроводной связи для передачи данных по беспроводному каналу на смартфон, где приложение-компаньон обрабатывает речь пользователя с помощью специальных алгоритмов на базе ИИ и преобразует в команды или проводит их запись.
Принцип работы EchoSpeech:
- два направленных вниз миниатюрных динамика установлены на нижней стороне левой рамки очков, а два небольших микрофона расположены под правой частью оправы;
- динамики излучают неслышимые ухом звуковые волны, которые отражаются от движущегося рта пользователя и фиксируются микрофонами;
- эхо-сигналы от лица анализируются в режиме реального времени специальным алгоритмом на смартфоне, подключённом по беспроводной сети. Этот алгоритм обучен связывать определённые звуковые колебания с точными движениями лица и преобразовывать безмолвные команды в цифровые элементы.
Для использования очков EchoSpeech на разных людях необходимо проводить калибровку устройства в течение нескольких минут, чтобы система адаптировалась к мимике конкретного пользователя. Разработчик проекта оценил точность преобразования команд в 95% в случае выполнения правильной первоначальной настройки. В текущей версии приложения система понимает до 31 безмолвной или очень тихой команды от пользователя.
Передача данных в мобильное приложение и обработка всех команд на смартфоне позволяет очкам EchoSpeech оставаться компактными. Все вычисления в рамках анализа данных происходят локально на устройстве и не требуют выхода в интернет.
Чжан рассказал, что его устройство имеет несколько вариантов применения, включая беззвучное управление различными устройствами, возможность диктовки сообщений при громком заднем фоне, а также в режиме совместной работы с голосовым синтезатором речи.
В настоящее время университет работает над коммерциализацией этой технологии и идеи Чжана.
