company_banner

Объектовая видеоаналитика на транспорте

    Существует большое количество задач, где процессинг и обработку контента необходимо выполнять «на краю», то есть в непосредственной близости от источника данных (камер). В частности, это касается и задач объектовой видеоаналитики, например, в рамках проектов по оптимизации транспортной инфраструктуры.

    Рассмотрим несколько совместных решений от российского интегратора ГК «Ларга» и разработчиков систем объектовой видеоаналитки, компании ComBox Technology.

    image

    Задача:

    1. Реализация счетчиков пассажиров в автобусах для контроля количества проданных билетов и получения статистики загруженности транспорта в разрезе маршрута.
    2. Контроль действий водителя (детекция курения и использования мобильных телефонов).

    Условия:

    1. Инференс нейронных сетей и исполнение аналитики «на краю» для минимизации трафика и ввиду нестабильности и высокой стоимости каналов связи.
    2. Возможность совместного и раздельного применения различных детекторов (масштабируемость).
    3. Передача данных для последующей обработки по мобильным каналам связи.

    В качестве решения мы остановились на AAEON VPC-3350S, так как это устройство обладает следующими, важными для нас, характеристиками:

    • Встроенный LTE-модуль.
    • Возможность расширения VPU ускорителем Intel MyriadX.
    • Встроенная графика Intel HD Graphics 500, на которой можно использовать аппаратные декодеры и энкодеры для обработки видеопотоков.
    • Множество LAN-портов для прямого подключения сетевых камер без необходимости установки коммутатора.
    • Широкий эксплуатационный температурный диапазон (-20+70).

    AAEON VPC-3350S
    AAEON VPC-3350S

    Рассмотрим первый кейс раздельного применения детекторов. В сфере каршеринга уже сейчас предусмотрены меры наказания в виде штрафов за курение в салонах арендованных автомобилей. Сумма штрафа варьируется в зависимости от компании от 5 до 15 тысяч рублей. В сравнении объектовой видеоаналитики и датчиков детекции дыма, датчики не улавливают вейпы и иные приспособления для курения смесей, а также практически не чувствительны при открытых окнах автомобиля. Но это не отменяет факт нарушения и, соответственно, законного наказания в виде штрафа в соответствии с договором.

    Помимо этого, на транспорте можно каскадом (последовательно) применять несколько нейронных сетей, таких как детекция курения и детекция факта/времени использования мобильного телефона. Понятно, что дальше подобные системы должны масштабироваться, например, с интеграцией телематики и подключением к CAN-шине автомобиля для отслеживания использования телефонов только при движении ТС, но это уже детали интеграции.

    Наглядный пример, что конкретно детектируем и что получаем в итоге:

    Детекция мобильного телефона в руках водителя ТС

    Детекция курения в автомобилях

    Демонстрация на ботах в Телеграме (вход – картинка с камеры смартфона или из галереи, выход – вероятность):


    Конкретно наша версия AAEON VPC-3350S укомплектована процессором Intel Atom x5 E3940. В случае необходимости можно дополнительно устанавливать платы расширения с Intel MyriadX и переносить инференс нейронных сетей на VPU без каких-либо существенных доработок, так как используется фреймворк Intel OpenVINO.

    Рассмотрим скорость инференса (FP16) на различных устройствах, включая CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius и решения других производителей:

    Скорость инференса (FP16) на различных устройствах, включая CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius и решения других производителей
    Скорость инференса (FP16) на различных устройствах, включая CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius и решения других производителей

    Таким образом, на графике iGPU процессора Intel Atom x5 E3940 мы получаем 54 FPS, а дополняя устройство VPU Intel Movidius – еще 45 FPS. Для детекции курения достаточно 15 FPS/камера, что позволит на одной графике процессора обрабатывать до 3 потоков. Также необходимо учитывать, что помимо выделения и использования ресурсов на инференс, необходимо декодировать входящий RTSP-поток. Рассмотрим тесты декодера:

    Тест декодера AAEON VPC 3350
    Тест декодера AAEON VPC 3350

    При максимальной загрузке процессора и графики мы декодируем 30 потоков 720p при 15 FPS, то есть получаем 450 кадров для 720p. Для 1080p это около 150 кадров.

    Рассмотрим состав комплекта для использования в каршеринге и основные шаги обработки данных:

    1. На автомобиле устанавливаются IP-камеры с питанием по Ethernet, PoE (одна на водителя или две: водитель, пассажир).
    2. Данные с камер поступают напрямую на вычислитель, в данном случае AAEON NVR 3350.
    3. На вычислителе выполняется декодирование и нарезка видеопотока на фреймы.
    4. Фреймы с заданным делителем кадровой частоты обрабатываются нейронной сетью.
    5. Нейронная сеть возвращает вероятность события (курение или наличие телефона в руках). Каждое изображение пропускается через эти нейронные сети последовательно. Если одна из них выдала вероятность выше, условно, 50%, то фотография и запись об этом фиксируется во временной таблице в базе данных (в памяти).
    6. На основе количества повторяющихся событий фиксируется время действия/нарушения.
    7. Если время действия превышает заданную константу (10 секунд), то происходит фиксация факта события в базе данных. Событие включает следующую информацию:
      • дата, время
      • фотография факта нарушения
      • длительность события в сек.
      • идентификатор ТС (статичный GUID)
      • номер камеры (0, 1)
      • тип события
    8. Данные о событиях по факту наличия 3G/LTE передаются на центральный сервер обработки данных с интеграцией с существующей информационной системой каршеринга для проведения билинговых операций.

    Вернемся ко второму кейсу применения AAEON VPC-3350S – детекция и счетчик пассажиров в автобусах:



    Этапы выполненных работ:

    1. Подготовительные работы (тестирование камер, выбор фокусного расстояния, постановка граничных условий задачи):
      • Разметка 600 фреймов с нескольких камер с различным фокусным расстоянием
      • Обучение нейронной сети на nVidia GPU, 10 тыс. шагов
      • Тестирование модели по валидационному датасету
      • Конвертация модели в Intel OpenVINO
      • Тестирование полученной модели в Intel OpenVINO по валидационному датасету, сравнение качества и скорости с моделью до конвертации
      • Формирование сводного отчета по быстродействию модели и качественным параметрам, согласование необходимого оборудования для исполнения (камеры, CPU, VPU)
    2. Построение архитектуры решения (край + централизованная аналитика в ДЦ)
    3. Разметка контента, 20 тыс. фреймов
    4. Обучение нейронной сети на nVidia GPU
    5. Конвертация модели в OpenVINO
    6. Разработка алгоритма траекторного анализа для выделения уникальных событий
    7. Разработка программного обеспечения для подсчета и выгрузки событий:
      • Получение и нарезка потоков на кадры с учетом делителя кадровой частоты при помощи gstreamer/ffserver
      • Партируемый интерфейс настройки подключаемых камер (зона, адресация, список источников, параметры передачи в ДЦ)
      • Хранение событий в mongoDB/PostgreSQL
      • REST API для интеграции
    8. Адаптация решения под аппаратную базу для инференса в ЦОД и «на краю»


    Непосредственно, процесс обучения:



    Интерфейс личного кабинета ГК «Ларга» для клиентов с отображением отчетов по пассажиропотоку:

    image
    Интерфейс личного кабинета ГК «Ларга» для клиентов с отображением отчетов по пассажиропотоку

    Личный кабинет для клиентов с отображением отчетов по пассажиропотоку

    Процесс детекции людей в зоне входа в автобус и разметка зон

    Алгоритм работы счетчика:

    1. Нарезка RTSP-потока на фреймы
    2. Детекция голов на каждом фрейме
    3. Траекторный анализ (удержание головы в кадре при движении)
    4. Анализ направления движения на основе последовательности пересечения 3-х заранее размеченных зон
    5. Запись событий в локальную базу данных с учетом направления движения (вход/выход)
    6. Предоставление доступа по REST API сторонним информационным системам и системам формирования отчетности

    Так как изначально предполагалось гибридное решение по инференсу нейронных сетей (краевой и обработка части данных в ЦОД), рассмотрим плюсы и минусы обоих подходов:



    Таким образом, мы получаем минимальную себестоимость потока в ЦОД при централизованной обработке, но высокие требования по наличию качественных и быстрых каналов связи. Для краевых решений – более высокая себестоимость, но минимальные требования по каналам связи и отсутствие требований к их резервированию.
    Intel
    Компания

    Комментарии 0

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

    Самое читаемое