Комментарии 22
Вот так с восторгом современные технари создают очередное “атомное оружие”.
Конечно думают, что создают во благо людям. И с удовольствием копаются в новейшей технологии, не задумываясь какой именно ущерб это нанесет людям и не понимая, что единожды выпустив этого джина из бутылки его обратно не затолкать, даже когда будет понятно, что так делать не стоило....
Ответьте на простой вопрос – какова вероятность, что ваше новоявленное средство измерений покажет скорость некого автомобиля 100500 км/час? Эта вероятность отлична от нуля?
Да вы, ваша компания не имеет отношения к принятию решения о выписвании штрафа. Но человек в погонах будет аргументировать просто – я в этих компьютерах, программах и тем более нейросетях ничего не понимаю, программа написала 100500 км/час значит так и было.
Понятно, что ваша компания не первая и не единственная в продвижении такой технологии, но своя доля ответственности за это у вас есть.
Точность измерения скорости проверяли так:
Испытатель садился в машину и брал с собой трекер, определяющий скорость по спутнику.
Это лишь подтверждение результатов, а сначала должен быть теоретический расчет, обоснование применяемого метода измерения и его погрешности.
Попробуйте честно рассчитать погрешность измерения скорости. Какие составляющие войдут в эту погрешность? А с учетом трекиннга и детектора нейросети…
Да и подтверждение результатов надо сделать при всех погодных условиях (дожде, снеге и прочее), при различной освещенности, запыленности, задымленности и во всех диапазонах рабочих температур. Потому что всё это влияет на оптику вашей камеры, на прозрачность атмосферы и к какому результату работы нейросети приведет никто сказать не может.
А если мы вспомним, что нейросети принято постоянно переобучать, то эксперимент с подтверждением надо проводить после каждого переобучения, опять же во всех условиях работы средства измерения.
Экономика этой разработки точно сходится, если проводить нормальный цикл испытаний?
Как оно с заявленной "дешевой альтернативой радару"?
Может заказчик был прав со своим скепсисом ;)
Но человек в погонах будет аргументировать просто – я в этих
компьютерах, программах и тем более нейросетях ничего не понимаю,
программа написала 100500 км/час значит так и было.
Мягко говоря, вы совершенно не разбираетесь в данном вопросе.
Но в целом, проблема тут в том, что КФВФ это средства измерения, причем сертифицированное. И насколько я знаю, еще никто не смог доказать, что только оптические методы измерения скорости являются таким средством.
В том то и дело, что данные комплексы полностью легитимны и имеют тип средства измерений. И человек, в должностные обязанности которого наверняка входит в том числе проверка правильности составления протокола, на основе этой легитимности и внутреннего убеждения в “компьютер не ошибается” просто штампует подсунутые ему программой решения.
Но если нормально, технически поразбираться на основе требований ГОСТ Р 8.674-2009 “ОБЩИЕ ТРЕБОВАНИЯ К СРЕДСТВАМ ИЗМЕРЕНИЙ И ТЕХНИЧЕСКИМ СИСТЕМАМ И УСТРОЙСТВАМ С ИЗМЕРИТЕЛЬНЫМИ ФУНКЦИЯМИ”, то устройства на основе недетерминированных методов измерений (в частности нейросетей) никогда не должны становиться легитимными средствами измерений.
Чтобы сразу было понятно - я разделяю измерители на основе измерения физических параметров - радарные комплексы и устройства на основе недетерминированных методов.
Остальное ниже автору публикации.
"И человек, в должностные обязанности которого наверняка входит в том
числе проверка правильности составления протокола, на основе этой
легитимности и внутреннего убеждения в “компьютер не ошибается” просто
штампует подсунутые ему программой решения."
Еще раз, вы пытаетесь додумывать за того человека, на основании своего представления "о прекрасном". Оно в корне ошибочно.
Все в цепочке от инженеров разработки КФВФ до инспектора который подписывает протокол в курсе возможностей комплексов. И то что иногда на развлекательных сайтах проскальзывают штрафы на владельцев машин которые едут на эвакуаторах, это не всего лишь крайне редкая ошибка, кожанным мешкам свойственно ошибаться и их за это реально наказывают. И по цепочке наказывают эксплуатанта (и это не ЦАФАП и даже не разработчики), техподдержку разрабов и самих разрабов.
Насчет, того что можно ли доверять нейроночкам. Пока что это проблема с ложноотрицательными исходами (добится 90+ % регистрации), чем с ложно положительными. Кроме нейроночек там еще куча эвристик и бизнес логики, которые не дают ложноположительным исходам отправляться в ЦАФАП.
Не туда воюете.
и их за это реально наказывают. И по цепочке наказывают эксплуатанта (и это не ЦАФАП и даже не разработчики), техподдержку разрабов и самих разрабов.
Примеры таких наказаний в студию.
А сколько осталось пострадавших с менее явными ошибками?
Кроме нейроночек там еще куча эвристик и бизнес логики, которые не дают ложноположительным исходам отправляться в ЦАФАП.
Если разработчики были более открыты и не боялись обсуждать эти алгоритмы на профильных ресурсах, доверия к системам возможно бы возросло.
"Примеры таких наказаний в студию."
В каком виде? Начальник Иванов обложил разраба Петрова по матери с лишением премии, потом как на него наорал по телефону эксплуатант Сидров, за то что к нему пришла бумажка из Цафапа от Волкова т.к. ЦАФАП получил кляузу из ОБЛГИБДД, что комплекс прислал нарушение которого по факту не было, что было установлено суд Брянской области. Вряд ли кто-то будет своими грязными портками размахивать на потеху публике.
Разработчики пытаются решать ворохи проблем всплывающих в процессе эксплуатации. Им точно некогда заниматься повышением доверия к комплексам ФВФ.
Я понимаю откуда такой настрой. В обществе укоренилось мнение что все эти камеры чтобы набивать деньгами карманы местных чиновников и ГИБДД. Это не так.
Вы правы в том, что неправильная работа такой системы может принести много неприятностей. Особенно с учетом того, что процедура обжалования штрафов оставляет желать лучшего. Именно поэтому мы изначально дизайним все так, чтобы она не совершала подобных ошибок и постарались рассказать об этом в статье.
Вероятность, что наше средство измерений покажет скорость некого автомобиля 100500 км/час нулевая, поскольку машина с такой скоростью не может появиться в ограниченном поле зрения камеры более одного раза, а трек не может состоять из одной точки. Безусловно, расчет погрешности проводился, она состоит из нескольких факторов, таких как погрешность определения рамки ТС детектором, ошибка преобразования координат между изображением и реальным миром, неточности, допущенные при процедуре разметки и т д.
Если какие-то из этих ошибок значительно влияют на работоспособность системы (например, серьезная ошибка при разметке), это выявляется внутренними средствами программного комплекса, которые подадут сигнал, что система не готова к эксплуатации. Некоторые же компоненты просто не могут нанести подобный ущерб, например, если нейронная сеть (которая на самом деле обучена к распознаванию в разных погодных условиях) будет значительно ошибаться в детекциях, это будет моментально замечено трекером. А в нормальной, рабочей ситуации, когда подготовительная работа к установке комплекса выполнена корректно, ошибка не превышает указанных в статье значений. И, разумеется, прежде чем появиться на дорогах, комплекс должен пройти экспертизу в соответствующих органах. Что до "нейросети принято переобучать", все вопросы с обучением нейросети решаются до выхода в прод.
Вот вы сейчас уверяете, что вам удалось содать нейросеть со стопроцентно безошибочным распознаванием. На профильном техническом ресурсе ;)
Вы действительно считаете, что это впринципе возможно?
Цифра 100500 была естественно условной и если и появится в протоколе есть хоть какая-то вероятность обжалования только на основе этой цифры. А если там будет 150 вместо 60?
Дело в принципе - вы как участвующий в такой разработке должны понимать, что измерения на основе нейросети это недетерминированный метод. Опровергнуть это можно только составив алгоритм, используя который можно нарисовать рамку трекинга без использования нейросети.
И результат работы этого метода носит вероятностный характер. Да я не сомневаюсь что разработчики приложили все возможные и невозможные усилия, чтобы не было ошибок.
Но такова сама суть метода, пусть вероятность ошибки одна тысячная, одна десятитысячная …. сколько-то но есть. Дальше множим это на миллионы проезжающих авто и получаем количество людей, кому применение такого метода может доставить неприятности. Большие или малые это как повезет.
Недетерминированные методы не должны применяться при подготовке юридических решений, потому как “лучше не осудить виновного чем осудить невиновного”.
Если вы так уверены в своём результате огласите сумму штрафа которую компания как разработчик технологии готова будет выплатить государству и сумму компенсации пострадавшему человеку. Нервные клетки человека в отличие от нейросетей не востанавливаются, так что сумма компенсации должна быть солидной. Опять же это покажет на сколько вы уверены в своем результате, вам же нечего терять, если вероятность ошибки 0.0 % ;)
Безусловно, расчет погрешности проводился, она состоит из нескольких факторов, таких как погрешность определения рамки ТС детектором, ошибка преобразования координат между изображением и реальным миром, неточности, допущенные при процедуре разметки и т д.
Вот вам и тема для следующей статьи – опубликуйте этот расчет погрешности с разбором и обоснованием. Расскажите как высобираетесь выполнять требования нормативных документов для присвоения типа средства измерений, например ГОСТ Р 8.674-2009 “ОБЩИЕ ТРЕБОВАНИЯ К СРЕДСТВАМ ИЗМЕРЕНИЙ И ТЕХНИЧЕСКИМ СИСТЕМАМ И УСТРОЙСТВАМ С ИЗМЕРИТЕЛЬНЫМИ ФУНКЦИЯМИ”
Там есть вот такие пункты:
5.3.4 При проведении испытаний, необходимых для проверки соответствия СИ или ТСУИФ требованиям настоящего стандарта, должны быть учтены следующие требования:
5.3.4.1 Основные правила испытаний и определение погрешностей
Требования, указанные в 5.3.1 и 5.3.2, должны быть проверены для каждой соответствующей влияющей величины. Если не определено другим образом в соответствующем нормативном документе на данный тип СИ или ТСУИФ, то применяют эти основные требования при условии, что каждая влияющая величина воздействует и ее влияние должно быть оценено отдельно, а все остальные влияющие величины должны быть поддерживаемыми относительно неизменными на уровне их номинальных значений.
Метрологические испытания должны быть проведены во время или сразу после воздействия влияющей величины. При этом СИ или ТСУИФ должны находиться в рабочем режиме.
А если вы еще и методику испытаний захотите обсудить на профильном ресурсе, доверие к вашим разработкам должно вырасти в глазах технической публики.
Да и известность вашей компании вырастет, а ради чего вы собственно публикуетесь.
Такие вещи нужно регулировать экономически.
К штрафу должна быть приложена видео запись. И если человек не согласен с нарушением - он подаёт заявку на человеческую экспертизу.
Если экспертиза покажет что человек прав - выплатить человеку компенсацию 1000$
Если экспертиза подтвердит правильность штрафа - накинуть человеку к штрафу 1000$ за ложную жалобу...
А деньги на компенсацию можно брать с эксплуатирующей организации, тогда они будут закупать систем понадежней. А эксплуатирующая организация может переложить часть затрат на компенсации на разработчиков системы - тогда разработчики 100 раз подумают прежде чем сделать систему которая будет давать ложные срабатывания.
И водителям хорошо, на ложно положительных штрафах еще и заработают)
Спасибо. Интересно. А что вы взяли за основу софта камеры? Majestic? И написали свой rtsp?
Мы использовали для работы с api камеры Aravis. Через него работали с камерой. Конечно, если я правильно понял вопрос.
зашел поглядеть дымящийся мини-пк. Увидел фотку новенького jetson. разочарован.
"Со временем КФВФ на нейросетях наверняка найдут применение на российских дорогах."
Они там уже есть и вполне себе работают, конечно, в паре с радарами.
что придется на ходу разбираться в нюансах работы черно-белой матрицы
Не только разбираться, но и доказать что время между кадрами соответствует измеренному с заданной точностью во всех диапазонах настроек и рабочих температур.
Кст., какой максимальный поток джетсон может получать с двух камер без выпадения кадров?
С определением номерного знака вы что-то кастомизировали в yolov5? Ведь слишком мало пикселей для его детекции с учётом того, что камера находится высоко, и судя по видео вы анализируете весь кадр.
У камеры FullHD разрешение, 2440 на 2040, поэтому у автомобилей в части кадра (обычно в половине кадра, зависит от того, как разместить камеру) достаточно крупный номерной знак для распознавания символов. В итоге у нас за трек набирается много распознаваний, мы выбираем те, где лучше видно, и оттуда берем номер.
Спасибо за ответ, но хотел бы уточнить На вход yolo вы же подаете сжатое изображение (480x480) возможно больше, но не FullHD. В случае, если автомобиль занимает значимую часть кадра, конечно работать будет все хорошо. Но на примерах в статье автомобили занимают не так много места в кадре. Получается у вас даже на сжатом изображении нормально детектируется номер?
А вроде понял. Т.е. всегда есть место, где номер корректно распознается. И грубо говоря в далеке вам и не надо детектировать номер.
Еще немного поясню, не очень понятно написал. Тут есть два этапа, сначала детекция плашки с номером, а потом распознавание того, что написано на ней. Что касается детекции, то yolo неплохо умеет находить мелкие объекты, и если дообучить - делает вполне надежно. Она детектирует номерной знак, мы его отслеживаем и выбираем такой кадр, где он будет достаточно хорошо виден чтобы распознать надпись на нем. Вырезаем из кадра знак, решейпим до 480х480 и дальше работаем уже с такой, подготовленной картинкой.
Какой инструмент OCR использовался?
Камера, нейронки и дымящийся микро-ПК: дешевая и практичная альтернатива радару