Группа исследователей из Института инженеров электротехники и электроники (IEEE) разработала систему PinMe, позволяющую на основе открытых данных и информации от различных датчиков смартфона отслеживать его местоположение с точностью, сравнимой с GPS. В связи с этим исследователи призывают производителей гаджетов добавить программное решение, отключающее работу всех датчиков, а не только GPS.
Учёные обнаружили брешь в безопасности смартфонов. Сопоставляя информацию с акселерометра и гироскопа с открытыми данными — картами и отчётами о погоде, они смогли определить местоположение человека, его маршрут и вид транспорта.
Разработанное исследователями приложение PinMe показывает, как с помощью методов машинного обучения и информации от безобидных датчиков позволяют получить важные сведения о жизни человека, отмечает доцент кафедры электротехники Принстонского университета Пратик Миттал (Prateek Mittal), соавтор исследования. В отличие от спутниковой навигации, информация с датчиков не требует разрешения на доступ.
«Хакеры могут убедить корабль или беспилотный автомобиль, что те находятся в месте, отличающемся от их реального местоположения, что может стать проблемой для американских морских судов, осуществляющих навигацию по международным водам, например, или для безопасности пассажиров автономных автомобилей», — говорит Нирей Джха, профессор Принстонского университета и соавтор исследования. По его словам, команда PinMe уже общается с технологическими компаниями о лицензировании приложения в качестве навигационного инструмента.
Для эксперимента учёные собирали данные со смартфонов Galaxy S4 i9500, iPhone 6 и iPhone 6S, которые использовали три человека в течение суток после установки приложения PinMe. Подопытные ходили пешком, ездили на автомобиле, поезде, летали в самолёте по Филадельфии, Далласу, Принстону и другим городам.
Для начала PinMe считывал информацию о последнем IP-адресе смартфона и статусе сети, чтобы определить последнее подключение к Wi-Fi — так приложение получало отправную точку для дальнейшей работы. Затем приложение использовало алгоритм, которому его «натренировали» с помощью машинного обучения, чтобы распознать разницу между ходьбой, вождением, полётом и другими способами передвижения. Для этого использовались данные с сенсоров — направление и скорость движения, периодичность остановок, а также высота над уровнем моря.
После определения способа передвижения PinMe включало новый алгоритм и начинало составлять маршрут пользователя. Сервис OpenStreetMaps использовался для получения актуальных навигационных данных. Google Maps помогала определять местоположение благодаря сопоставлению с картой высот над уровнем моря. Чтобы уточнить маршрут, приложение использовало метеосервис Weather Channel: точная информация о температуре и давлении воздуха помогает нивелировать влияние погодных условий на собранную датчиками информацию. Данные о маршрутах сопоставлялись с расписанием авиакомпаний или железнодорожных линий.
При путешествии из Филадельфии в Даллас на самолёте приложение сначала определяет вид транспорта по изменениям высоты над уровнем моря и разгону, а затем — по часовому поясу, погоде и расписанию находит место взлёта и посадки.
На иллюстрации ниже зелёным и жёлтым цветом отмечен маршрут, отслеженный с помощью PinMe — движение на автомобиле и пешком, чёрным — построенный по данным GPS маршрут.
Эти исследователи не стали первыми, кто использовал акселерометры для слежки за людьми. В 2010 году японская телекоммуникационная корпорация KDDI, оператор мобильной связи au, разработала приложение для отслеживания перемещений сотрудников в компании. Целью разработчиков был тотальный контроль над сотрудниками с целью повышения эффективности их работы. Данные с акселерометра позволяли определить движение по ровной поверхности и по лестнице, скорость движения, походы в туалет. Более того, смартфон на талии уборщицы мог определить разницу между мытьём полов, подметанием и вытряхиванием мусорного бака.
В 2015 специалисты из Нанкинского университета в Китае использовали данные с акселерометра, чтобы следить за передвижением людей в метро: «Поезда в метро двигаются по рельсам, поэтому их шаблоны движения отличаются от автомобилей и автобусов, передвигающихся по дорогам, И поскольку не существует двух абсолютно одинаковых участков, соединяющих соседние станции метро, шаблоны движения поездов на различных временных интервалах также можно различить между собой». Для работы необходимо составить карту метро, чтобы затем определять маршруты с точностью от 70% до 92%.
Научная работа опубликована 5 февраля 2018 года на сайте Библиотеки Корнелльского университета. DOI: 10.1109/TMSCS.2017.2751462.
Учёные обнаружили брешь в безопасности смартфонов. Сопоставляя информацию с акселерометра и гироскопа с открытыми данными — картами и отчётами о погоде, они смогли определить местоположение человека, его маршрут и вид транспорта.
Разработанное исследователями приложение PinMe показывает, как с помощью методов машинного обучения и информации от безобидных датчиков позволяют получить важные сведения о жизни человека, отмечает доцент кафедры электротехники Принстонского университета Пратик Миттал (Prateek Mittal), соавтор исследования. В отличие от спутниковой навигации, информация с датчиков не требует разрешения на доступ.
«Хакеры могут убедить корабль или беспилотный автомобиль, что те находятся в месте, отличающемся от их реального местоположения, что может стать проблемой для американских морских судов, осуществляющих навигацию по международным водам, например, или для безопасности пассажиров автономных автомобилей», — говорит Нирей Джха, профессор Принстонского университета и соавтор исследования. По его словам, команда PinMe уже общается с технологическими компаниями о лицензировании приложения в качестве навигационного инструмента.
Для эксперимента учёные собирали данные со смартфонов Galaxy S4 i9500, iPhone 6 и iPhone 6S, которые использовали три человека в течение суток после установки приложения PinMe. Подопытные ходили пешком, ездили на автомобиле, поезде, летали в самолёте по Филадельфии, Далласу, Принстону и другим городам.
Для начала PinMe считывал информацию о последнем IP-адресе смартфона и статусе сети, чтобы определить последнее подключение к Wi-Fi — так приложение получало отправную точку для дальнейшей работы. Затем приложение использовало алгоритм, которому его «натренировали» с помощью машинного обучения, чтобы распознать разницу между ходьбой, вождением, полётом и другими способами передвижения. Для этого использовались данные с сенсоров — направление и скорость движения, периодичность остановок, а также высота над уровнем моря.
После определения способа передвижения PinMe включало новый алгоритм и начинало составлять маршрут пользователя. Сервис OpenStreetMaps использовался для получения актуальных навигационных данных. Google Maps помогала определять местоположение благодаря сопоставлению с картой высот над уровнем моря. Чтобы уточнить маршрут, приложение использовало метеосервис Weather Channel: точная информация о температуре и давлении воздуха помогает нивелировать влияние погодных условий на собранную датчиками информацию. Данные о маршрутах сопоставлялись с расписанием авиакомпаний или железнодорожных линий.
При путешествии из Филадельфии в Даллас на самолёте приложение сначала определяет вид транспорта по изменениям высоты над уровнем моря и разгону, а затем — по часовому поясу, погоде и расписанию находит место взлёта и посадки.
На иллюстрации ниже зелёным и жёлтым цветом отмечен маршрут, отслеженный с помощью PinMe — движение на автомобиле и пешком, чёрным — построенный по данным GPS маршрут.
Эти исследователи не стали первыми, кто использовал акселерометры для слежки за людьми. В 2010 году японская телекоммуникационная корпорация KDDI, оператор мобильной связи au, разработала приложение для отслеживания перемещений сотрудников в компании. Целью разработчиков был тотальный контроль над сотрудниками с целью повышения эффективности их работы. Данные с акселерометра позволяли определить движение по ровной поверхности и по лестнице, скорость движения, походы в туалет. Более того, смартфон на талии уборщицы мог определить разницу между мытьём полов, подметанием и вытряхиванием мусорного бака.
В 2015 специалисты из Нанкинского университета в Китае использовали данные с акселерометра, чтобы следить за передвижением людей в метро: «Поезда в метро двигаются по рельсам, поэтому их шаблоны движения отличаются от автомобилей и автобусов, передвигающихся по дорогам, И поскольку не существует двух абсолютно одинаковых участков, соединяющих соседние станции метро, шаблоны движения поездов на различных временных интервалах также можно различить между собой». Для работы необходимо составить карту метро, чтобы затем определять маршруты с точностью от 70% до 92%.
Научная работа опубликована 5 февраля 2018 года на сайте Библиотеки Корнелльского университета. DOI: 10.1109/TMSCS.2017.2751462.