Во всем мире активно развивается направление по мониторингу критических инфраструктурных объектов за счет использования видеоаналитики на основе нейросетей. На одном из внутренних совещаний в компании на стыке умений и опыта команды в работе с видеоаналитикой и моих познаний в транспортной тематике родилась интересная идея – о возможности создания продукта в сфере ИТС по детектированию объектов, установленных на дорогах, который бы позволил упростить и автоматизировать получение данных о состоянии всех объектов и сделать дороги безопаснее и комфортнее. О том и расскажу в этой статье.
Предыстория
Автомобильные дороги, по которым мы ежедневно передвигаемся на личном или общественном транспорте, не так просты, как кажется на первый взгляд. Они состоят из множества элементов – дорожные знаки, бортовой камень, разметка, светофорные объекты, дорожное покрытие, пешеходное и транспортное ограждение и др. И чтобы было безопасно и комфортно передвигаться по дорогам, каждый из них важно поддерживать в идеальном состоянии, получая, в свою очередь, точную и оперативную информацию об их состоянии.
Сегодня основной объем работ по сбору информации о состоянии всех вышеназванных объектов ведется в «ручном формате», а ежедневно на получение информации тратится колоссальный объем человеческих ресурсов. Регулярные выезды инженеров по всем участкам многокилометровых дорожных сетей для получения своевременной информации по текущему состоянию объектов дорожной инфраструктуры – совсем не та картина, что хотелось бы наблюдать в 2022, в зените развития высоких технологий.
Так мы решили создать продукт, которому было показано переложить монотонную работу по обнаружению дефектов объектов транспортной инфраструктуры на программно-аппаратный комплекс (ПАК) с использованием машинного зрения и ИИ, простое и недорогое решение – компактный и лёгкий в установке ПАК, который позволит обеспечить регулярный мониторинг дорог и своевременно сообщит об обнаруженном дефекте заказчику или обслуживающему подрядчику.
Kill features
Комплекс состоит из аппаратной части и локального ПО.
В аппаратную часть входит видеокамера, портативный промышленный компьютер, модуль LTE-связи, модуль GPS/GLONASS и комплект крепежа для установки в автомобиль.
ПО состоит из:
модулей сбора, хранения и передачи данных;
модулей нейросетей обработки данных;
сервиса хранения медиа данных;
сервиса хранения мета данных;
сервиса матчинга данных, трекинг данных и верификации дублей;
сервиса настройки ПАК.
Также вдобавок к основному решению мы планируем разработать веб-платформу для сбора, хранения информации и отображения информации, поступающей со всей ПАК, предоставления доступа к информации, разграничения прав доступа к данным, отображения данных в виде таблиц или на картографической подложке и формирования аналитических отчетов всей информации.
Как это работает
Комплекс устанавливается на любой автомобиль, подключается к бортовой сети автомобиля штатными методами. Может быть установлен на любой автомобиль заказчика или подрядчика, так и на подвижной состав общественного транспорта, спецтранспорт, патрульные машины.
Автомобиль курсирует по выбранному маршруту и производит фото\видео фиксацию состояния элементов дорожного покрытия, люков, дорожных знаков и искусственного освещения.
Модуль компьютерного зрения производит онлайн обработку входящей информации и при выявлении несоответствия полученных данных эталонным значениям, формирует событие и передает на Сервис приема сообщений веб-приложения по каналу LTE. При отсутствии связи LTE, Система производит накопление данных на внутренней памяти и отправку при возобновлении канала связи.
Детектирование объекта записывается в локальную базу данных и включает в себя дату и время фиксации, координаты объекта, фотоснимок или фрагмент видео, тип события, метаданные.
Серверная часть Решения выполняет агрегацию событий со всех ПАК и на основании этих данных создает общую базу данных состояния всех объектов и историю изменений по каждому из них. Также на Серверной части разворачивается программное обеспечение веб-приложения.
Веб-приложение предназначено для отображения информации о полученных дефектах элементов дорожного покрытия, люков, дорожных знаков и искусственного освещения, и их расположения на географической карте региона или в виде отчетов. Также оно позволяет разграничить права доступа к разному типу информации путем введения различных типов пользователей.
Что мы имеем сейчас
В ходе работы над проектом проверили гипотезы возможности решения задач выбранным методом и разработали четыре модуля детектирования объектов.
Сейчас система умеет:
детектировать тип, расположение и состояние дорожных знаков;
расположение и состояние (открытый/закрытый) люков на дорожном полотне;
расположение и состояние (горит/не горит) фонарей искусственного освещения;
расположение и тип дефектов дорожного полотна (трещины, ямы), критичность дефекта.
В дальнейшем мы планируем постепенно дообучать нейронную сеть детектированию новых типов объектов, которые могут потребоваться пользователям.
В целом, на 2022 ряд компаний уже занялись разработкой аналогичных продуктов, но у всех продукты находятся лишь на этапе зарождения – и сделать качественное сравнение продуктов по существу невозможно из-за отсутствия информации. Мы же готовимся к скорому пилотированию продукта с несколькими заказчиками, включая госструктуры, уже получив фрагменты видео для анализа и приступив к их обработке.
Краткие итоги
В начале работы над продуктом проверили гипотезу о том, что задача, которую мы себе поставили, может быть решена выбранным методом и для этого реализовали четыре модуля видеоаналитики. В ходе общения с отраслевыми экспертами, потенциальными заказчиками, и демонстрации реализованных функций, мы собрали большое количество положительных отзывов о перспективности нашей идеи. Использование такой технологии сделает процесс проще и удобнее, позволит сократить трудозатраты, оптимизировать процесс мониторинга, содержания и обслуживания объектов транспортной инфраструктуры, автоматизировать и цифровизировать ручной труд, благодаря использованию видеоаналитики на основе нейросетей.
Если статья покажется интересной, то в продолжение наши ребята, специалисты по ML, более подробно расскажут о технической стороне реализации продукта.