Привет, Хабр! Мы — инженеры Фалькон Тех, и уже 8 лет мы создаем ПО с использованием ИИ и машинного зрения. Наша команда насчитывает 170+ специалистов, и мы создали систему из более чем 4 000 программно-аппаратных комплексов в Москве. Здесь мы рассказываем об умных городах и видеоаналитике.
В прошлой статье мы рассказали о себе, а в этой поговорим о технологиях. Обсудим:
почему классический видеоанализ не работает;
как ИИ меняет аналитику видеопотоков;
какой стек нужен для умных камер на дорогах;
как модульная архитектура помогает нам адаптироваться.
Почему видеоанализ дорожного движения важен крупным городам и бизнесу
В мегаполисах без контроля могут возникать проблемы. Для управления городской инфраструктурой нужна видеоаналитика, потому что она:
Снижает количество преступлений и повышает безопасность на улицах;
Минимизирует риски аварий и чрезвычайных ситуаций;
Уменьшает пробки — помогает улучшить работу городского транспорта;
Оптимизирует нагрузку на контролирующие ведомства и повышает точность контроля.
Как мы уже писали, наш первый заказ был связан с парковочными зонами — мы помогли клиенту устранить дефицит мест и собрать данные для улучшений. Решив эту задачу, мы поняли, что у нас на руках универсальная архитектура, которую можно масштабировать. Так появились новые продуктовые направления и перспективные разработки:
система интеллектуального мониторинга городских парковок;
мониторинг безопасности и инцидентов на транспортной инфраструктуре;
промышленный мониторинг;
региональная геоаналитика.
В ближайшее время добавим поточную аналитику, экологический мониторинг и ИИ-прогнозирование. В итоге получается комплексная система для управления городской средой.
Чем отличается видеомониторинг от аналитики
Мы настойчиво подчёркиваем, что делаем именно видеоаналитику, а не видеомониторинг — это принципиально разные подходы.
Мониторинг — это наблюдение с участием человека или с помощью простых автоматических триггеров. Он может вестись по данным с разных источников: температуры, уровня CO₂, скорости машин.
Видеоаналитика — это понимание происходящего на видео. Мы не фиксируем объекты в кадре, а смотрим, что это за объект, где он находится, что делает, и насколько это соответствует правилам.
Для нас видео — источник данных для анализа. Система выявляет артефакты, а эти данные используются для систем реагирования и планирования городской инфраструктуры.
Что было на рынке 8 лет назад и что изменилось
8 лет назад, когда мы начинали, видеоаналитика внедрялась лишь в инфраструктурных проектах с повышенными требованиями к безопасности. Акцент делался на базовые функции: видеонаблюдение, распознавание лиц и номеров, контроль периметра. Решения были «коробочными» и требовали значительных инвестиций в оборудование. ИИ и облачные технологии только появлялись, а интеграция с городскими системами была ограниченной.
Сегодня ситуация кардинально изменилась. Видеоаналитика стала полноценным сервисом, основанным на искусственном интеллекте, машинном обучении и облачных технологиях. По прогнозам Statista, объём рынка видеоаналитики в России к 2028 году достигнет порядка 24 миллиардов рублей, а сегмент AI CCTV — более 2 миллиардов долларов к 2030 году.
Наши решения тоже стали гораздо более гибкими и доступными для широкого круга заказчиков — от крупных транспортных узлов до малого и среднего бизнеса. Благодаря облачным и edge-решениям видеоаналитику получили небольшие организации и муниципалитеты. Ставка на автоматизацию, интеллектуальную обработку видео и интеграцию с другими системами решает проблему быстрого реагирования на инциденты без перегрузки персонала.
Почему классическая видеоаналитика не работает — и какие преимущества даёт искусственный интеллект
Стандартные системы ограничены простыми триггерами: «объект пересёк линию — сработал сигнал». В городских условиях с меняющейся погодой, тенями и движением сотен людей такая аналитика не различает контекст и даёт ложные срабатывания.
ИИ позволяет видеоаналитике перейти на новый уровень. Он обучен видеть как человек — может адаптироваться к свету, бликам, дождю, снегу, углам обзора до 5 градусов. Он отличает строительный мусор от опасности, распознаёт парковку на газоне даже под снегом. В итоге ИИ контекстно интерпретирует происходящее — почти «понимает» его.
Какие задачи мы поручили искусственному интеллекту
На одном из первых проектов мы решали две задачи: анализ загруженности парковочного пространства с отслеживанием состояния дорожной инфраструктуры и формирование доказательной базы для административных правонарушений.
Для создания такой базы необходимо анализировать видеопотоки с камер и находить на них объекты: транспортные средства и другие элементы городской сцены. Затем мы фильтруем эти объекты по геолокации: нас интересуют только те транспортные средства, которые находятся в определённой зоне. После этого фиксируем координаты, распознаём номерные знаки и сохраняем информацию в отчëт или базу данных.
Каждый из этих этапов требует нейросети: от сегментации силуэтов транспортных средств до распознавания номерных знаков с учётом шумов, искажений и погодных условий.
Современные камеры с инфракрасной подсветкой позволяют видеть номерные знаки ночью также чётко, как и днём. А нейросети дополнительно помогают распознавать номера при плохой видимости, например, при неудобном угле обзора. Также система видит плохочитаемые, грязные или стертые номера. Погодные условия, шквальный снегопад или проливные дожди, теперь тоже не страшны: здесь участвуют не только методы искусственного интеллекта, но и алгоритмы выбора наилучших кадров из потока.
Как устроена система: технологии, стек и архитектура
Наша платформа — гибкая и модульная система, способная масштабироваться под задачи разной сложности. Каждый компонент архитектуры изолирован и интегрируется через API. Это помогает нам быстро наращивать функциональность, подключать сторонние модули и оборудование, а также адаптировать логику под конкретные кейсы без изменения ядра.
Каждый блок системы выполняет свою функцию:
детекция объектов;
трекинг и распознавание;
агрегация и визуализация данных;
передача информации во внешние системы.
Мы разрабатываем отказоустойчивую систему с расчётом на высокую нагрузку (анализ тысяч видеопотоков); работу в нестабильных условиях (например, на удалённых объектах без постоянной связи); и минимизацию простоев (механизмы перезапуска, резервные узлы, адаптивная маршрутизация). По мере роста задач можно подключать дополнительные вычислительные модули.
Технологический стек
Итак, чтобы «глаз на столбе» превратился в умную систему, камеры должны уметь собирать и анализировать информацию. Нам помогает стек, который очень ценят наши технари:
Бэкенд | Rust |
Фронтенд | ReactJS, TypeScript |
Ops | k8s, terraform, ansible, puppet, AWX |
Message brokers/event loggers | RabbitMQ, Kafka |
СУБД | PostgreSQL, MongoDB, Redis, ElasticSearch |
Мониторинг/Визуализация | Grafana, Prometheus/VictoriaMetrics, Loki/VictoriaLogs, jaeger, OpenTelemetry |
CV/ML | yolo, NN, triton |
Co-location | Кластер инференса из нескольких десятков nvidia GPU |
Облачные ресурсы | Виртуализация: OpenStack |
Наши решения CV на базе ML/AI
Мы разрабатываем разное ПО для умных городов. Есть как решения на базе ML/AI, так и на детерминированном математическом аппарате, например, фильтры по сглаживанию и часть шагов по определению смещения камер.
Сейчас продовые и тестовые CV решения компании выглядят так:
Сегментация ТС;
Сегментация ГРЗ ТС;
Распознавание ГРЗ ТС (OCR модели);
Детекция и распознавание лиц;
Определение степени смещения камер;
Классификация дорожных знаков;
Подсчет людей;
Детекция открытого огня и дыма;
Обнаружение ограниченной видимости и изменение ландшафта;
Появление блюра/бликов/загрязнения на камерах;
Распознавание/сегментация дорожной разметки.
Дополнительные функции программно-аппаратных комплексов, такие как обнаружение инцидентов и возможных нарушений правопорядка, реализуются на этапе обработки данных. Соответствующие алгоритмы уже созданы и прошли тестирование в рамках пилотных проектов. При необходимости эти функции могут быть подключены к любому из программно-аппаратных комплексов.
Про оборудование: источники и гарантия качества
У нас есть ключевой технологический партнёр, крупнейший в России производитель программно-аппаратных комплексов — компания Nex Touch. Благодаря этому партнёрству наше железо обеспечивает такой высокий уровень надёжности систем.
Оборудование, конечно, в любом случае нужно обслуживать. Для этих целей в нашей компании есть отдельное подразделение, которое на постоянной основе «замеряет пульс» системы.
Первая линия поддержки — диспетчеры. Они оценивают результат системы мониторинга по работоспособности. Часть задач они решают дистанционно.
По задачам, требующим физического техобслуживания комплексов (например, если сломана камера), формируют заявку монтажным бригадам. А задачи, которые требуют работы с программной составляющей, отправляют IT-команде. Появляется два сценария:
Pipeline монтажных бригад: Монтажные бригады с вышками и машинами прикрытия передвигаются по городу в ночное время суток по маршруту, заранее составленному диспетчерской службой. По итогам проведения работ связываются с ночным диспетчером, который дистанционно проводит технический контроль и принимает работу монтажной бригады.
Pipeline IT-специалистов: Helpdesk внутри IT-подразделения, используя свои навыки и базу знаний, пробуют решить задачу своими силами. Если у них не получается, то они передают задачу сисадминам и DevOps-инженерам. Если и у них не выходит, задачу передают разработчикам.
Наша цель — быть технологическим лидером
Мы хотим решать задачи разного уровня сложности для разных клиентов. Не создавать продукты под ключ, а формировать экосистему интеллектуальных сервисов, которые делают города и бизнес более безопасными, эффективными и ориентированными на удовлетворение потребностей человека.
Именно поэтому мы инвестируем в развитие, сопровождение, отладку и контроль, ищем новых крутых специалистов и постоянно совершенствуем продукты
Хочешь создавать умные города с нами? Заходи на Хабр Карьеру — там делимся нашими условиями, требованиями к кандидатам, вакансиями с указанной зарплатой.
