Студент Копенгагенского университета Тони Белтрамелли [Tony Beltramelli] в своей дипломной работе представил метод, позволяющий декодировать набираемый на 12-кнопочной клавиатуре код на основе датчиков движения «умных» часов. Это может быть клавиатура банкомата, домофона, или экран телефона, залоченного при помощи цифрового кода.
Чем «умнее» гаджет, тем больше в нём функций, которые можно обратить в уязвимости и обернуть во вред его владельцу. Про разные способы отслеживания пользователей смартфонов мы писали уже неоднократно. «Умные» часы также готовят немало сюрпризов в области информационной безопасности.
Работа студента основана на ранней разработке преподавателя из университета Иллинойса, разработавшего с группой студентов приложение для умных часов Samsung Gear Live. Их приложение отслеживало движения руки с часами во время набора текста на клавиатуре. И хотя текст набирается двумя руками, по движениям одной руки можно не только определить, на какие кнопки пользователь нажимал пальцами левой руки, но и попытаться восстановить набираемый им текст.
При наборе на 12-кнопочной клавиатуре задача приложения упрощается. Студент использовал алгоритм машинного обучения нейросетей "Recurrent Neural Network — Long Short-Term Memory". Приложение написано для Sony SmartWatch 3, его исходники доступны на GitHub. Из-за технических ограничений часов данные приходится сначала передавать на связанный с ними смартфон по Bluetooth, а тот уже отправляет их на удалённый сервер для обработки.
Sony Smartwatch 3
По заявлению Белтрамелли, точность распознавания набранных чисел достигает 73% для сенсорных экранов и 59% для кнопочных устройств. Если же пытаться использовать алгоритм с новым устройством, на котором нейросеть ещё не прошла тренировку, точность находится в районе 19%.
Конечно, люди обычно носят часы на менее активной руке, поэтому, скорее всего PIN-код карты в банкомате или терминале человек будет вводить другой рукой. Но эта работа показывает, что гаджеты, призванные решать некоторые проблемы в жизни, порой сами порождают новые проблемы.
