В Техасском университете в Остине создали нейросеть для чтения мыслей, которая сканирует и распознает паттерны активности мозга и преобразовывает их в текст. Система, названная семантическим декодером, способна вернуть речь людям, пережившим инсульт.
Этот новый интерфейс мозг-компьютер отличается от других технологий «чтения и подавления мыслей», поскольку его не нужно имплантировать. Исследователи из UT Austin сделали неинвазивные снимки активности мозга, используя функциональную магнитно-резонансную томографию (фМРТ). Материал использовался, чтобы реконструировать воспринимаемые человеком или воображаемые им стимулы, и прогнать их через семантический декодер.
МРТ дает изображения отличного качества, но измеряемый сигнал зависит от уровня кислорода в крови. Импульс нейронной активности вызывает повышение и понижение уровня кислорода в крови в течение примерно 10 секунд, что очень медленно. Поскольку в естественном разговорном английском языке используется более двух слов в секунду, изображение мозга может «содержать в себе» более 20 слов.
Вот тут-то и появляется семантический декодер. Он использует модель кодирования, аналогичную той, что используется в ChatGPT от Open AI и Bard от Google. Эта же модель может предсказать, как мозг человека будет реагировать на естественную речь. Чтобы «обучить» декодер, исследователи записали реакцию мозга трех человек, пока те слушали 16 часов устных историй.В результате, декодер смог с достаточной точностью предсказать, как мозг человека отреагирует на конкретную последовательность слов.