Команда исследователей безопасности разработала модель глубокого машинного обучения, которая может распознавать набранный текст по звуку клавиатуры. Точность распознавания на записях, сделанных с помощью смартфона, достигает 95%.
Для первого шага такого рода атак злоумышленнику необходимо получить запись нажатий клавиш на клавиатуре. Сделать это можно с помощью диктофона, расположенного рядом с жертвой, заражённого вредоносным ПО смартфона или звонка с помощью сервисов видеосвязи. После этого записанный звук можно обработать с помощью нейросети, чтобы получить расшифровку нажатий.
Исследователи обучали свою модель машинного обучения на звуках клавиш, записанных с MacBook Pro. Каждую клавишу записали 25 раз. Полученные звуки визуализировали в виде спектрограммы, чтобы получить частотную характеристику клавиш.
После этого провели серию экспериментов с MacBook Pro, iPhone 13 mini в качестве диктофона, Zoom и Skype. Важно отметить, что во время записи смартфон находился в 17 сантиметрах от ноутбука. Результаты экспериментов показали, что в случае с «живой» записью точность распознавания составляет 95%. Если использовать Zoom, то точность снижается до 93%, а Skype — до 91,7%.
Пользователям, опасающимся акустических атак нового типа, рекомендуют использовать биометрическую аутентификацию, чтобы не дать злоумышленниками украсть пароль. Также рекомендуется включать на фоне белый шум или звук, имитирующий нажатия клавиш, а также не использовать механические клавиатуры.
