Как компьютерное зрение распознает поведение человека по перемещению ключевых точек
Безопасность вокзалов, аэропортов, станций метро и промышленных предприятий зависит от физиологического состояния диспетчеров – сотрудников единых информационных центров. «Компьютерное зрение» поможет снизить риски опасных ситуаций на этих объектах. Работу над проектом вели сотрудники Санкт-Петербургского Федерального исследовательского центра (СПб ФИЦ) РАН, Санкт-Петербургского государственного университета и Новосибирского государственного университета.
«Компьютерное зрение» – это новое программное обеспечение, которое с помощью нейросети анализирует такие состояния человека, как сонливость, усталость, голод. Оно поможет выявить случаи переутомления диспетчеров и повысить безопасность на промышленных и транспортных объектах.
«Мы разработали программное обеспечение, которое при помощи «компьютерного зрения» по ряду параметров позволяет распознать степень утомляемости оператора компьютера. В первую очередь такая программа поможет избежать ошибок и снижения качества работы для специалистов критически важной для общества и государства инфраструктуры», — рассказывает старший научный сотрудник СПб ФИЦ РАН Алексей Кашевник.
Отметим, что ученые СПб ФИЦ РАН последние годы ведут проект по разработке и внедрению системы Drive Safely. Его цель — с помощью «компьютерного зрения» предотвращать аварийные ситуации, контролируя состояние водителя по таким параметрам, как приём пищи, сонливость, непристегнутый ремень и агрессивность манеры вождения.
Для работы «компьютерного зрения» используются нейросети openpose и selflow, которые ищут человека в кадре и строят оптический поток. На основе этого создаются графики движения ключевых точек на теле человека, затем они анализируются. По сути, компьютерное зрение распознает объекты на видеоматериалах, при этом способно замечать признаки, которые соответствуют определённому поведению (например, когда человек утомился).
В новом проекте исследователи увеличили набор параметров для определения усталости оператора (ранее это были зевота, частота вдохов и выдохов и доля времени, в течение которого глаза водителя были закрыты в единицу времени).
Ученые при помощи специального датчика-трекера изучили стратегию движения глазного яблока оператора, которая показывает утомление центральной нервной системы. Такая стратегия складывается из ряда факторов: скорость перемещения взгляда, кривизна его траектории и так далее.
«Мы научили программу распознавать стратегии по данным с трекера. И сейчас система работает так: мы загружаем в неё собранную информацию. Затем программа её размечает и анализирует. На выходе получаем суммарную оценку и рекомендации о том, насколько сильно оператор нуждается в отдыхе. В ближайшее время мы оптимизируем разработку таким образом, чтобы она могла анализировать данные в режиме реального времени», — поясняет Алексей Кашевник.
Сейчас научная группа ведет поиск индустриальных партнеров для внедрения системы.
Результаты исследования опубликованы в научном журнале Sensors.
