company_banner

Применение детектора курения на транспорте



Ранее мы рассказывали про детекцию курения посредством объектовой видеоаналитики. Попробуем теперь рассмотреть практические аспекты применения данных решений и конкретные отрасли внедрения, а также их преимущества для бизнеса.

На наш взгляд самой интересной сферой применения является транспорт, в частности – каршеринг, где уже сейчас предусмотрены меры наказания в виде штрафов за курение в салонах арендованных автомобилей. Сумма штрафа варьируется в зависимости от компании от 5 до 15 тысяч рублей. Возвращаясь к сравнению объектовой видеоаналитики и датчиков, датчики не улавливают вейпы и иные приспособления для курения смесей, а также практически не чувствительны при открытых окнах автомобиля. Но это не отменяет факт нарушения и, соответственно, законного наказания в виде штрафа в соответствии с договором.

Помимо этого, на транспорте можно каскадом (последовательно) применять несколько нейронных сетей, таких как детекция курения и детекция факта/времени использования мобильного телефона. Понятно, что дальше подобные системы должны масштабироваться, например, с интеграцией телематики и подключением к CAN-шине автомобиля для отслеживания использования телефонов только при движении ТС, но это уже детали интеграции.

Наглядный пример, что конкретно детектируем и что получаем в итоге:





Демонстрация на ботах в Телеграме (вход – картинка с камеры смартфона или из галереи, выход – вероятность):


Аппаратная составляющая


Если в первой статье мы говорили об Intel NUC и серверах на их основе, как вычислителях для инференса, то сейчас мы говорим об эксплуатации решения в транспортных средствах, то есть появляется влияние погодных условий (жара, холод, точка росы и т.д.). Хорошее решение оказалось у AAEON, VPC-3350S:

AAEON, VPC-3350S

Конкретно наша версия – с процессором Intel Atom x5 E3940. Инференс – на MyriadX на плате расширения. FPS в инференсе:



Тесты декодера:



Чем хороша железка и почему наш выбор пал на нее?


Нам понравилось:

  • Наличие встроенного LTE-модуля.
  • Наличие возможности расширения VPU ускорителем Intel MyriadX.
  • Встроенная графика Intel HD Graphics 500, на которой можно использовать аппаратные декодеры и энкодеры для обработки видеопотоков.
  • Наличие множества LAN-портов для прямого подключения сетевых камер без необходимости установки коммутатора.
  • Широкий эксплуатационный температурный диапазон (-20+70).

Как это работает?


  1. На автомобиле устанавливаются сетевые камеры с питанием по Ethernet, POE (одна на водителя или две: водитель, пассажир).
  2. Данные с камер поступают напрямую на вычислитель, в данном случае AAEON NVR 3350.
  3. На вычислителе выполняется декодирование и нарезка видеопотока на фреймы.
  4. Фреймы с заданным делителем кадровой частоты обрабатываются нейронной сетью.
  5. Нейронная сеть возвращает вероятность события (курение или наличие телефона в руках). Каждое изображение пропускается через эти нейронные сети последовательно. Если одна из них выдала вероятность выше, условно, 50%, то фотография и запись об этом фиксируется во временной таблице в базе данных (в памяти).
  6. На основе количества повторяющихся событий фиксируется время действия/нарушения.
  7. Если время действия превышает заданную константу (10 секунд), то происходит фиксация факта события в базе данных. Событие включает следующую информацию:
    • дата, время
    • фотография факта нарушения
    • длительность события в сек.
    • идентификатор ТС (статичный GUID)
    • номер камеры (0, 1)
    • тип события
  8. Данные о событиях по факту наличия 3G/LTE передаются на центральный сервер обработки данных с интеграцией с существующей информационной системой каршеринга для проведения билинговых операций.

Вместо резюме


В статье мы постарались поделиться опытом реализации и интеграции решений в области ИИ на примере транспортной инфраструктуры. Что самое главное, большинство объектов автоматизации уже оснащено камерами, и можно обрабатывать существующие потоки без какой-либо существенной модернизации.
Intel
Компания

Комментарии 35

    0
    В случае малого замкнутого пространства (машина) что мешает просто загородить камеру листочком или зеркальцем?
      0
      Ничего не мешает, но возможна и скрытая установка камеры под зеркалом. Да и мало кому в голову придет такая манипуляция. Тогда уж проще выйти из машины и покурить на улице. Смысл мер в том, чтобы не курили там, где этого делать нельзя (в том числе в соответствии с договором, который заключается в каршеринге и прилагаемых к нему правилах).
        0
        Курильщики очень изобретательны в реализации своих желаний.
        Проще кинуть шапку в угол приборки, чем лезть на улицу под дождь. Ну и в пробке так просто не выйдешь подымить.

        И еще, я тут подумал, а если человек будет семечки щёлкать? Очень уж похожа механика движения. Будет ли конечное решение принимать человек или сразу автоматически?
          0
          Способ решить или частично решить проблему много, например: скрытая установка камеры, дублирование камер, как источников данных (благо они — условно, расходный материал, так как снижением FPS на указанной модели AAEON можно обрабатывать до 4 потоков), детекция фактов перекрытия камер с информированием внутри мобильных приложений и т.д. Тут, условно, пойдет «изобретательность» одних на «изобретательность» других…

          По семечкам, зубочисткам во рту и карандашам — не будет ничего. Нет дыма или пара, как обязательных признаков.

          Изначально все пилоты запускаются под контролем людей. То есть используется частичная автоматизация. В зависимости от результатов планово идет переход в полностью автоматический режим.
            0
            По семечкам, зубочисткам во рту и карандашам — не будет ничего. Нет дыма или пара, как обязательных признаков.

            Ну не совсем. Допустим зимой в момент прогрева машины человек ест семечки и выдыхает пар, так как в машине всё еще дубак.
            Вообще интересно посмотреть на конечную реализацию!
              0
              В кадре должна быть сигарета/вейп (предмет), лицо, дым и событие должно повторяться во времени. Экспериментов с семечками и выдыхаемым паром мы, конечно, не делали, но с высокой долей вероятности все будет хорошо. Но с наступлением зимы обязательно проверим такой сценарий…

              Ссылка на демку с распознаванием по фото (бот в Телеге) указана в статье. Можно на ней экспериментировать. Мы со своей стороны, периодически будем обновлять сетку и улучшать параметры детекции и классификации.
                0
                Потестил я бота. Сигарету он конечно находит.
                Но вот на фото в анфас я держусь за ус. Т.е. в кадре лицо+рука, сигареты нет в принципе. Сеть говорит, что 99,92% я курю. То же самое проверил, съев тестовую семечку. Тоже выше 99% что курю…
                На фото в профиль лицо и рука в 10см, со слегка отставленным большим пальцем (без сигареты) — 99.92% курю. Фото лицо + просто кулак на расстоянии более 20см — курю 99%
                Пока процент захвата ложных целей очень высок ( Достаточно в кадре появится руке и всё. Сработало. Т.е. семечки пока есть на камеру у вас нельзя…
                Да еще под подозрение попадает куча людей, которые в задумчивости теребят усы или просто в носу ковыряются…

                Дым сеть тоже находит. И срабатывает на него. Т.е. я выдыхаю дым (в кадре нет ни сигареты, ни руки) — вероятность 100% что я курю. Непонятно, что будет зимой с паром от дыхания в холодной машине… Тут и пар и регулярность действия…
                Головоломная задачка.
                Короче, удачи!
                  0
                  Да, семечка нас подвела :) Посмотрели тестовые загруженные фото, часть из них неверно классифицируются после конвертации модели TF -> OpenVINO, но параметры конвертации можно подобрать. Посмотрим в эту сторону. Возможно, детекция по фото не столь показательна, как на потоке, когда действия повторяются и в них есть общая уверенность за счет анализа множества кадров. Суть в том, что одна ошибка на конкретном кадре не дает ошибки в анализе множества (потоке). Возможно, доработаем бота на тест с обработкой роликов. Благо, на это есть тестовый NUC и AAEON.
                  0

                  И уверен, с леденцами на палочке или зубочистками вы тоже ещё намучаетесь… ))

                    0
                    Леденцы, карандаши и прочие подобные предметы мы проверили и отсекаем. И там нет дыма, как важного признака. Повторюсь, что анализируется лицо (OpenVINO face_detection 0001/0004 с расширение полигона), наличие сигареты/вейпа, дыма. Часто влияет освещение, что, в принципе, видно на примере работы бота, когда у всех разные камеры и условия съемки, но в рамках конкретных внедрений сетку можно (нужно) дообучать.
                      0
                      Ну пока не работает (.
                      Я проверил палец в носу, большой строительный карандаш во рту и даже детский совочек в зубах. Везде вероятность выше 99.90%. А у совочка так вообще 100%. И, естественно, ни дыма, ни сигареты в кадре не было.
                      Можете в боте глянуть ) Выглядит просто эпично )
                      Правда на высунутый язык не сработало %)

                      Вот кстати, про освещение. Ночное скудное освещение с миганием от столбов (постоянно) и от встречных фар (не постоянно) будет сильно осложнять дело. Да еще резкая светотень…

                      Наверное, надо отлаживать прямо на машине. Установить во все машины сотрудников и пусть набивают базу. Кто семечки ест, кто чипсы, кто в носу ковыряется, а кто и курит украдкой…

                      По поводу видеопотока — согласен, процент ошибок будет значительно меньше, чем в статике. Но повторяющиеся движения могут всё подпортить… Я не зря семечки привел — частота поедания семян подсолнуха как раз примерно совпадает с частотой затяжек )
                        0

                        Так я, в принципе, это и написал. По отдельным фреймам с разным освещением без единого преобразования картинки, результаты так себе. При хорошем освещении они будут значительно лучше. Савочек станет савочком, а не сигаретой или вейпом, хотя внешнее сходство у них и есть :) А на потоке с адаптацией под условия эксплуатации — минимизируются ошибки ложных срабатываний. Плюс практический опыт и частота появления совочков в реальных условиях тоже сильно помогает. Думаю, что на следующей неделе попробуем показать потоки с живых авто с детектором (по согласованию с водителями, разумеется) и дадим возможность в бот загружать видео, чтобы детекция была полноценной, а не по отдельному фрейму, вырванному из контекста.

            0
            В одном каршеринге мне поддержка разрешила курить в машине (очень долго ждала эвакуатор), но я редко это делала. А сейчас их совсем запретили. Думаю что лучше разрешить курение в машинах, просто плашку передвигаешь в приложении, списывают 100 и все.
              0

              Это уже вопрос условий самой компании, владельца сервиса. Но так как есть некурящие и им не приятно сидеть в машинах, где прокурено предыдущим водителем, то вряд ли такая схема будет массово применяться. В крайнем случае, сами автомобили можно делить как для курящих и не курящих. Но машин ещё не так много, чтобы их разделять на два непересекающихся пула. И на уровне государства мы всё-таки боремся с курением (рестораны, номера в отелях и т.д.). Поэтому в машинах вряд ли дадут сделать исключение, даже если это будет востребовано.

          0
          То есть конечное решение принимается автоматически? Без живого просмотра «тревожных кадров»?
          Кстати, можно и в договор включать пункт о запрете на закрытие камеры. Ибо нефиг. Распознавать это легко, сразу звонок бота арендатору — снимите портянку с объектива.
            0

            В будущем — да. При пилотировании — с участием человека в автоматизированном режиме (просмотр и одобрение событий фиксации фактов нарушений). Оператору отображается фрейм с максимальным значением вероятности плюс ролик для просмотра в архиве -15+15 секунд всего события.


            Перекрытие камер — да, можно отслеживать. И, например, отправлять соответствующее сообщение пуш-уведомлением на телефон, с которого была осуществлена аренда. В договорах можно вводить штрафные санкции за наличие множества таких нарушений (отправлено 3 и более уведомлений при исправной работе самой камеры).

            0
            Мы сами строим цифровой концлагерь, блин…
              0
              Почему? Что плохого в детекции курения и дооснащении, в том числе, существующих комплексов новыми видами аналитики? Почему, если в машине курить нельзя и это явно прописано в договоре аренды, то это можно нарушать и не нужно за это штрафовать?
                0

                Тут я вижу две проблемы:
                Во-первых вы предполагаете полностью автоматическую систему, что уже само по себе не нормально, т.к. уже сейчас во многих случаях почти нереально доказать, что это не клиент верблюд, а разработчики и эксплаутанты ИИ дятлы.
                И во-вторых это демаргинализует ситуацию, в которой на человека наставлены сотни камер и датчиков, за предназначением которых у человека нет контроля. И откуда клиент будет знать, что за ним следит только модель, определяющая курильщиков, но не, напрмер, еще и модель, вычисляющая его предпочтения и взгляды исходя из деталей поведения. И эти данные будут использованы для в той или иной степени дискриминации человека либо маркетологами, либо режимом.

                  0
                  Немного не так. Я дословно написал «Изначально все пилоты запускаются под контролем людей. То есть используется частичная автоматизация. В зависимости от результатов планово идет переход в полностью автоматический режим.».

                  Доказать реально все. Есть событие, фиксация факта нарушения, есть фото и видео в архиве, по которым можно сделать проверку конкретного инцидента. Если ошибки единичны, то проще проверять инциденты, а не каждое событие, которых гораздо больше, чем инцидентов.

                  Мы все-таки говорим о коммерческом секторе и основной доход у них не со штрафов за курение, а с аренды автомобилей. Курение в салоне сказывается на основном направлении бизнеса (жалобы, скидки для новых клиентов, кто взял машину с прокуренным салонам, химчистка и т.д.). Цель не штрафовать всех подряд, а пресечь и снизить число нарушений правил, четко описанных в договорах аренды.

                  Второе опасение — сказочное и не законное. Также и ноутбук может следить за своим пользователем через фронтальную камеру и делать тоже самое. Но ведь не делает… И тут вопрос имиджа бренда (что будет если узнают, что делает — большой имиджевый риск и потенциальный ущерб). Но если договор аренды будет разрешать собирать такие метрики с пользователей и пользователь будет осведомлен об этом, то это уже его право соглашаться с указанными условиями и брать автомобиль в аренду или отказаться.
                    0
                    Если ошибки единичны, то проще проверять инциденты, а не каждое событие, которых гораздо больше, чем инцидентов.

                    Если ошибки единичны, проще не делать ничего. И именно так уже делают. И именно потому, что коммерческие компании.
                    Но даже если это не так, это уже цифровой концлагерь с презумпцией виновности.


                    И тут вопрос имиджа бренда (что будет если узнают, что делает — большой имиджевый риск и потенциальный ущерб).

                    После того, что в последние десятилетия компании делают постоянно, можно уверенно сказать, что это не работает. Фейсбук раза три как должен был бы разориться, Mail.ru уже давно был бы сверхубыточным, но нет же.


                    это уже его право соглашаться с указанными условиями и брать автомобиль в аренду или отказаться.

                    До того момента, пока вопрос не будет ставиться как жить или умереть, жить в нормальных условиях или в непреемлемых. И вы ускоряете наступление такого будущего.

                      0
                      Стоп. Если так мыслить, то можно сказать, что все автомобилисты опасны и потенциально вышли на дороги, чтобы давить других людей. И люди опасны, так как вышли уничтожать других людей. Возможность же такая есть? Есть! Но мир почему-то развивается по другому сценарию. И это хорошо. Так почему же вы думаете, что в детектор курения будут ставить что-то еще априори?

                      Также есть причинно-следственная связь. Штрафы вводятся не для обогащения, а для минимизации нарушений. Штрафуем -> меньше нарушают -> больше ТС в эксплуатации и больше довольных клиентов -> выше лояльность к бренду. Здесь нет идеологии цифрового концлагеря и тем более презумпции виновности. Здесь могут быть ошибки, которые нужно и будут обрабатывать, но вручную обрабатывать весь поток событий намного сложнее и вероятность получить ошибки при ручной обработке выше, чем при рассмотрении конкретных инцидентов. Чем не понравится подход?
                        0
                        Ну, у нас не центральная европа, так что, не всё так идеально.

                        Если так мыслить, то можно сказать, что все автомобилисты опасны и потенциально вышли на дороги, чтобы давить других людей. И люди опасны, так как вышли уничтожать других людей. Возможность же такая есть? Есть!

                        К сожалению, если мыслить глобально, именно из таких принципов следует исходить для максимальной безопасности. Человек может не обладать умыслом убить тебя, он просто может быть дураком. Например, золотое правило мотоциклиста «Выезжая на дорогу, помни — каждый человек хочет тебя убить». Для водителей авто — это тоже верно. С поправкой на клетку безопасности.

                        Также есть причинно-следственная связь. Штрафы вводятся не для обогащения, а для минимизации нарушений.
                        Я знаю как минимум две крупные и успешные конторы, у которых бизнес-модель учитывает и использует модель больших штрафов для максимизации прибыли.
                        Я уже молчу про все системы микрозаймов.

                        При этом я ЗА видеонаблюдение, как инструмент отлова неадекватов.
                        Потому что если в договоре прописано, в приложении в шапке прописано и в салоне машины написано огромными буквами — «нельзя курить». А человек курит, то это, скорее, признак общей неадекватности личности.
                        Если же штрафы будут нацелены скорее на рассеянных людей — плохо.

                        К сожалению, все новые технологии несут и добро и зло. И реакция на хай-тек во все времена вызывала массовые истерии. Вон 5G как хаят, что она мозг кипятит )
                          0
                          С подходом, описанным вами в начале — можно сказать стоп всем инновациям и прогрессу, в принципе. Они несут зло в массы, но это же не так. Мы за развитие и прогресс и описанная технология не подразумевает, что в нашем решении будут какие-то другие сетки детекции, таргетирования или классификации, кроме заявленных в описании. И переход от автоматизированных систем к автоматическим должен и будет происходить под строгим контролем людей. Конечную цель вы описали верно, она не в штрафа, а в предотвращении запрещенных действий.
                  0
                  Ну-ну, и гарантия есть, что технология не попадет в лапы государства?
                  Те, кто делали «аналитику» по распознаванию лиц и автомобильных номеров, тоже себя успокаивают, что «что плохого?»
                    0
                    Разные сферы и области применения. В этом посте рассказывали об адаптации детектора курения к применению в каршеринге. До этого был пост о решении в целом и преимуществах метода в сравнении со стандартными датчиками и газоанализаторами — habr.com/ru/company/intel/blog/493726. Там как раз внизу под спойлером более подробно о сферах, где гос сектор тоже присутствует (школы, сады, метрополитен и т.п.).
                      0
                      Ознакомился. Все еще хуже, чем я думал.
                        0
                        Ну приспособимся
                        image

                        Будет у нас мода-киберпанк. Всякие там пиксель-очки, дазл-макияж и индивидуальная светодиодная засветка лица. А так же бум на криптовалютные платежные карточки. Кстати, тема.
                          0

                          И это, кстати, один из векторов атаки. Подробно писали недавно на Хабре про one pixel attack — https://m.habr.com/ru/post/498114/. На примере применяемых повсеместно ResNet50.

                            0
                            Я и говорю — живем в век перемен )
                          0

                          Что плохого в развитии и прогрессе?


                          Если так мыслить, то можно сказать, что все автомобили опасны, так как автомобилисты потенциально вышли на дороги, чтобы давить других людей. Запретить! Но мир почему-то развивается по другому сценарию. И это хорошо. Так почему же вы думаете, что в детекторе курения есть что-то плохое? Курить в общественных местах нельзя, как и возле школ и детских садов. А там курят. И стандартными датчиками эти нарушения не выявить никак. А по видеоаналитике можно.  


                          Также есть причинно-следственная связь. Штрафы вводятся не для обогащения, а для минимизации нарушений. Штрафуем -> меньше нарушают -> больше ТС в эксплуатации и больше довольных клиентов -> выше лояльность к бренду. Здесь нет идеологии цифрового концлагеря и тем более презумпции виновности. Здесь могут быть ошибки, которые нужно и будут обрабатывать, но вручную обрабатывать весь поток событий намного сложнее и вероятность получить ошибки при ручной обработке выше, чем при рассмотрении конкретных инцидентов. Чем не понравится подход?

                            0
                            Что плохого в развитии и прогрессе средств репрессий? Ну как вам сказать. Все плохого :)
                            Средства распознавания и другой АИ можно было прикрутить к анализу состояния дороги и погодных условий, и автоматического управления занчениями дорожных знаков, отображающих рекомендуемую скорость, включения знаков типа «скользко», автоматическим созданием реалтайм-карты качества дорог и тд. Нет, вместо этого понаставили знак 40 и влепили средства контроля скорости со штрафами. Офигенный прогресс.
                            Средства распознавания лиц вообще применимы только в частной конторе для СКУД. Нет, понаставили везде и ищут «нарушителей режима самоизляции» и всяких «нарушителей» на митингах. Развитие, ага. Полицейского государства.
                            В Китае — так вообще полный киберпанк.
                            А уж детекция курения вообще мирных применений не имеет — чисто репрессивная технология.
                            Вот и выходит, что ваш «прогресс» работает только на цифровой концлагерь с милой допфишкой — грабежом в пользу охраны.

                              0

                              Все что вы отметили верно и к сожалению имеет место быть. Но предлагаю не ограничивать науку из-за политики, если последняя может оказаться недобросовестной. В этом случае правильно ограничивать «политику». Риторический вопрос о вилке — это полезный столовый прибор или опасное оружие «один удар — четыре дырки». Нам как разработчикам, совсем не хотелось бы останавливать «полезный» прогресс из-за рисков его негативного использования. Спросите в чем польза? Она безусловно есть! Многие люди не курят и совсем не хотят, чтобы они и тем более их дети были пассивными курильщиками. Детекция курения поможет пресекать факты курения в неположенных, а это как раз общественные, местах. Для этого и законы соответствующие принимались. Можно вести предупредительно-разъяснительную работу, хотя штрафы, зачастую эффективнее… Так мы устроены. Но для чего мы принимаем запреты, если люди не уважающие окружающих и законы, могут эти запреты спокойно нарушать? Многое зависит от общества. Недавно общался с западными коллегами и они считают, что такой детектор им не очень нужен, так как люди очень законопослушны, и закон это скорее договоренность, а не запрет. Бывает и по-другому, когда правовой нигилизм это предмет гордости, вседозволенность — извращённое понимание свободы, а неуважение прав и интересов окружающих — признак личного превосходства. И как с этим справляться? Я понимаю и уважаю вашу озабоченность и тоже не приветствую злоупотребления. Но в таком случае, всё-таки, предлагаю бороться не с разработками которые позволяют принести пользу, а с их недобросовестным использованием. И это вопрос нашей гражданской позиции и личной ответственности.

                  0
                  можно будет поставить такие камеры в туалетах авиалайнеров
                    0
                    Ну, конкретно такие — точно нет, это все-таки аналитика по камерам видеонаблюдения… А в аэропортах, на вокзалах, рядом с детскими садами и школами, в машинах и поездах — легко.

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое