Опасные производства: мы следим за тобой, %username% (аналитика видео)


    Один товарищ — без каски, второй — без перчатки.

    На производствах есть много не самых хороших камер, в квадраторы которых смотрят не самые внимательные бабушки. Точнее, они там просто с ума сходят от однообразности и не всегда видят инциденты. Потом медленно звонят, а если это был заход в опасную зону, то иногда звонить в цех смысла уже нет, можно сразу родственникам рабочего.

    Прогресс дошёл до того, что робот может увидеть всё и дать люлей каждому, кто нарушает. Например, напомнив по SMS, лёгким разрядом тока на оповещатель, вибрацией, противным писком, вспышкой яркого света или просто сказать руководителю.

    Конкретно:

    • Очень легко распознавать людей без каски. Даже лысых. Увидели человека без каски — сразу алерт оператору или начальнику цеха.
    • То же самое касается очков и перчаток на опасных производствах, страховки на поясе (правда, мы смотрим только на карабин пока), светоотражающих жилетов, респираторов, шапочек для волос и других СИЗ. Сейчас система обучена распознавать 20 типов СИЗов.
    • Можно точно считать людей на объекте и учитывать, когда и сколько их было.
    • Можно подавать тревогу при заходе человека в опасную зону, причём эта зона может настраиваться по факту запуска-остановки станков.

    И так далее. Самый простой пример — цветовая дифференциация укладчиков кирпичей и заливщиков бетона по цвету каски. Для помощи роботу. В конце концов, жить в обществе с отсутствием цветовой дифференциации, значит не иметь цели.

    Как воруют на стройке


    Один из видов распространённого воровства — это когда подрядчик обещал привести на объект 100 рабочих, а по факту привёл 40–45. А дом всё строится и строится. Всё равно их никто точно посчитать по факту не может. Как в известном анекдоте: если на стройке поселится медведь и будет жрать людей, то никто не заметит. Так и генподрядчик не имеет никакой возможности проконтролировать бригады. Точнее, даже если использовать СКУД, его всё равно обманут, как вот в этом посте про кота-терминатора.

    Обычно СКУДов на стройках нет либо они только на вход.

    Мы ездили меняться опытом к высокоразвитым цивилизациям и увидели, что у них у каждой профессии (точнее, роли) есть свой цвет каски. Вот кирпичи кладут укладчики — у них каски синие, бетон заливают заливщики — у них зелёные, рядом ходят всякие умники — у них жёлтые, поэтому перед ними надо делать два раза «ку». И так далее.

    А нужно всё это, чтобы очень легко детектировать каждую роль. На объекте стоит несколько десятков довольно дешёвых камер, которые дают что-то вроде 320х200 в цвете. Считаются рабочие по каскам в реал-тайме, и к каждой камере привязан конкретный участок строительства. В итоге всё это в конце дня в аналитике сшивается в учёт графиков по зонам: кто, в каком количестве и на каком участке работал.

    В общем, мы переняли опыт. Только пока мы его присматривались, нейросети шагнули далеко вперёд, и появилось много новых детекторов. Ещё несколько лет назад они были довольно капризными и нестабильными, а сейчас позволяют очень точно ловить самые интересные ситуации. Не в последнюю очередь из-за скорости обработки детекторы нередко ошибаются на отдельных кадрах, а на видеопотоке с небольшими изменениями ракурса мы получаем отличный практический результат.

    А если я нацеплю вторую каску на пояс?


    Сначала мы узнали, что рабочий может получить две каски и одну из них нацепить на задницу. У нас появилось сразу два детектора: поиск скелета и определение цветового пятна на соответствие с вершиной этого скелета и поиск синхронно движущихся объектов. По второму оказалось детектировать проще: например, человек с каской на заднице почти никогда не осматривается этой каской. Потому что для этого надо вращать головой. А это движение очень легко детектируется. Точнее, мы не знаем, что там именно детектируется на самом деле (это ж нейросеть), но обучилась она очень быстро и ловит нарушителей, можно сказать, по походке.


    Мы строим модель человека.

    Дальше мы просто строим теплокарту в реальном времени и отчёты в конце дня.

    Соответственно по такому же принципу — обучением нейросети — легко детектируются:

    • Каски.
    • Халаты.
    • Жилетки.
    • Сапоги.
    • Торчащие волосы.
    • Страховочные карабины.
    • Респираторы.
    • Защитные очки.
    • Корректное ношение куртки (важно для электрооборудования: может шандарахнуть в машзале на производстве).
    • Вынос крупных инструментов за периметр.

    В общей сложности сейчас уже обкатали 29 детекторов. Единственный момент — поскольку мы работаем на опасных производствах вроде химии или добычи, там есть требования к типам перчаток. Например, длинные и короткие. В этом случае надо, чтобы они были разного цвета: длину под рукавом по видеокамере определить очень сложно.

    А вот тут часто были сработки по крысам. Отдельного детектора крыс у нас нет, но зато есть детектор объектов, мешающих работе станка:



    Что ещё детектируется?


    Мы обкатывали детекторы на химических производствах, в добывающей сфере, в атомной отрасли и на стройках. Оказалось, что незначительными усилиями можно закрыть ещё несколько требований, которые раньше решались теми же бабушками, ошалело пытавшимися разглядеть что-то на картинке через плохое разрешение и с плохим фреймрейтом. Конкретно:

    • Поскольку мы всё равно строим скелетную модель каждого работника, можно определять падения. По падению можно сразу останавливать станок, рядом с которым он находится (в пилотных внедрениях такой интеграции не было, были просто тревоги). Ну это если у вас есть IioT.
    • Конечно, нахождение в опасных зонах. Это очень легко, очень точно и очень полезно всем. На металлургических предприятиях люди работают рядом с чанами кипящей стали, закалять сталь полезно, но иногда опасно стоять немного не с той стороны С учётом работы разных узлов и оборудования можно менять эти опасные зоны, задавать им расписание и так далее.
    • Другой очень полезный детектор про наличие СИЗ контролирует ответственность сотрудников и проверяет, что им ничего не угрожает. Вот тут бабушка очень ответственно подходит к задаче учёта и носит все положенные ей СИЗ. Похвально!




    Очень легко был реализован контроль поведения — конкретно спит работник или нет. Пока мы тестировали всё это, правила эволюционировали от «В этой зоне должен быть человек в зелёной каске» к «В этой области человек в зелёной каске должен двигаться». Пока нашёлся только один умник, который просёк фишку и включил вентилятор, но и это тоже оказалось легко поправить.

    Химикам было очень важно фиксировать всякие струи пара, дым. В нефтянке — целостность труб. Огонь — вообще стандартный детектор. А ещё есть проверка закрытых люков.



    Точно так же детектятся забытые вещи. Мы обкатывали это на одном из вокзалов ещё пару лет назад, там это почти не имеет смысла из-за большого количества событий. А вот на производствах, особенно на химических, очень удобно следить за вещами в чистой зоне.

    Интересно, что прямо с видеоаналитики мы умеем считывать показания приборов в зоне камеры. Это актуально тем же химикам, производственные комплексы которых имеют высокий класс опасности. Любое изменение вроде замены датчика — пересогласование проекта. Это долго, дорого и больно. Точнее, ДОЛГО, ДОРОГО и БОЛЬНО. Поэтому у них Интернет вещей придёт поздно. Сейчас они хотят видеонаблюдение на счётчики и считывать данные, оперативно на них реагировать и сокращать потери из-за неожиданно и незамеченно вышедшего из строя оборудования. На основании актуальных данных счётчиков можно построить цифровой двойник предприятия, внедрить предикативный ТОиР, но это уже совсем другая история…Контроль уже есть: мы пишем сейчас проактивную аналитику по совокупности данных. И отдельно — модуль предсказания замены батарей.

    Ещё одна невероятная штука — оказалось, что в зернохранилищах и в хранилищах материалов типа щебня можно снимать кучу с 3–4 ракурсов и определять её края. А определив края — давать объем зерна или материала с погрешностью до 1 %.

    Последний детектор, который мы писали, — контроль усталости водителя, типа «клевков носом», зевания и частоты моргания. Это для HD-камер, где видно глаза. Скорее всего, ставиться будет в диспетчерские. Но главная потребность — в БелАЗы, КамАЗы на карьеры. Там, бывает, машины падают, поэтому сейчас на добыче заставляют что-то придумывать, чтобы водителя контролировать. Робот лучше бабушки.

    Про тачки. Например, тема с контролем усталости активно применяется автопроизводителями не только БелАЗов, КамАЗов и прочих МАЗов. Уже в обычные рядовые автомобили производители встраивают системы предупреждения об усталости водителей, но пока у них достаточно простые решения, анализирующие только положение авто относительно разметки и характер движения руля. Мы же пошли дальше и детектим поведение человека, которое намного сложнее.

    Еще один кейс слежки за водителем — детекция неправильного поведения при пользовании машинами car sharing. В них нельзя говорить по телефону без hands free, есть, пить, курить и много чего другого.



    А, и последнее. Мы уже несколько лет как умеем делать трекинг объекта между камерами — когда, например, что-то стырили, нужно проверить, каким путём и как. Если на объекте — 100 камер, то поднимать материал замучаешься. А тут система сформирует остросюжетный триллер про Оушена и его друзей автоматически.

    В чём отличие от системы двухлетней давности? Теперь это не просто распознавание вроде «лысый в оранжевой куртке из одной камеры вышел и почти сразу в другую зашёл», а строится математическая модель помещения, и по ней — гипотезы о движении объекта. То есть всё это стало работать на зонах с перекрытиями и местах со слепыми пятнами, причём иногда обширными. Да и детекторы теперь гораздо лучше, ведь есть библиотеки, которые определяют возраст по лицу. На HD-камерах можно задавать ориентировки вроде «мужчина 30 лет с женщиной 35 лет».

    Так что, возможно, лет через 5–7 мы закончим с производствами и пойдём к вам домой. Для безопасности. Это в ваших же интересах, гражданин!

    Ссылки


    КРОК
    265,22
    №1 по ИТ-услугам в России
    Поделиться публикацией

    Комментарии 41

      +15
      Впечатляющая работа. Реально круто, наконец то до заказчиков доходит что 1000 камер на заводе сами по себе ничего не решают. Ну и с постоянным наблюдением неизбежно будет трансформироваться ТБ и условия труда. Потому что регулярна ситуация когда по ТБ вообще нельзя сделать то что сделать надо. И испокон веков люди на местах забивали на ТБ. И только автоматический контроль позволит выявить нестыковку между ТБ, реальными условиями и желаниями.
        +1
        Так что, возможно, лет через 5–7 мы закончим с производствами и пойдём к вам домой. Для безопасности. Это в ваших же интересах, гражданин!

        Звучит угрожающе :)
          +10
          Ждем отслеживание аплодирования, во время телевизионных выступлений
          –1
          Если посмотреть на это с точки зрения афоризма: «Любая концепция, доведенная до абсурда, являет собой своего рода совершенство, если принять условия этой концепции», то это совершенство.
          Но если посмотреть с точки зрения работников — это абсурд. Есть достаточно много ситуаций, где видео не нужно для выполнения служебных обязанностей, а необходимость чтобы наказать работников — снять премии, прикрыть ж… начальника, показать деятельность и т.п.
          К сожалению инструкции и требования пишут люди далекие от понимания рабочих процессов. Всё должно быть в меру. А тут как с российским законодательством — запретить, наказать, оштрафовать, «как бы чего не вышло». Но не вложить денег в безопасные технологии.
            +4
            Так это же и есть так штука которая выявит для руководства то что
            инструкции и требования пишут люди далекие от понимания рабочих процессов

            ибо это огромная проблема управления. Я давно думаю об этом и не знаю как её решать. Дело собственника бизнеса придумывать как вести бизнес, а не работника. И когда компания хоть сколько-то большая можно обнаружить как на местах на инструкции кладут болт и делают как получается. А потом сверху собственник смотрит и думает, что же лажа то получается. И он пытается узнать что не так, а ему с мест говорят что всё так, вот хозяина работаем, только бы вы поменьше нас дрючили инструкциями. А по делу никто сказать не может. Иногда дело принимает такое состояние что вообще исполнители считают управленцев дибилами и наоборот. А это вообще не про нормальный бизнес история.
              +1
              К сожалению проблему управления эти камеры не решат. Это поможет провести единоразовые акции по разгребанию какого-то события. Камеры это инструмент и вопрос о том кто и как этим инструментом пользуется. Некомпетентность рабочих камера покажет, но некомпетентность менеджмента более вредна.
              У mtivkov есть ряд хороших публикаций об «огромных проблемах управления».
              image
                0
                Спасибо, почитаю, раньше не обращал внимания.
                  0
                  Ну это опять же вопрос организации. Понятно что весь массив видео невозможно отсмотреть — это надо надсмотрщиков больше чем рабочих, но мониторить процессы вполне можно, отсматривая в день по 2-3 дневных сеанса камеры — вполне реально.
                  Разовые нарушения поймать конечно сложно (раз в неделю вася забыл каску на перекуре), но системные (каски не закупили) вполне можно обнаружить.
                  Другое дело если этим не занимаются вообще (службы контроля нет или сократили или или устроили родственника директора, который забил болт) — поставили бабушке-вахтерше монитор, разделенный на 16 частей, она через неделю забыла что надо напоминать про каски и все, потом видео только для разбора инцидентов.
                +1
                Не все правила одинаково полезны, но статистика говорит сама за себя. К счастью, предприятии готовы вкладываться в технологи обеспечения безопасности на производстве и уже много делают, причем не для галочки, а чтобы создать безопасные условия труда для своих работников.

                И есть устойчивое ощущение, что руководство даже больше заботится о своих работниках, чем сами работники, которые намеренно нарушают правила охраны труда. В этом плане видеоаналитика и носимые устройства, типа умной каски или браслетов, очень помогут.
                image
                  0
                  «Ложь, наглая ложь и статистика» как иллюстрация. Было бы полезнее отобразить соответствие между предприятиями с и без инженера по охране труда, размер предприятий. Там где такая должность есть, там инженер головой отвечает за каждый несчастный случай и затерроризирует всех если что-то увидит «не так». Он ходит и все высматривает. А вот в мелких конторах легко увидеть даже отсутствие спецформы и защитных средств при работах.
                    +1
                    Одна из проблем статистики в малых компаниях, в частности, в том, что она неверно собирается. Не все несчастные случаи оформляются правильно — часто там просто понятийно договариваются.

                    Мы работаем с теми, кому важно получать именно такие решения. И там количество фактических производственных травм и несчастных случаев уменьшается. Что касается чисел — это вопрос к заказчикам и их желанию их публиковать, а не к нам.
                      0
                      Посмотрел «обзор несчастных случаев на производстве» за 2018 год. Не увидел случая, который бы предотвратила бы эта система — сунул пальцы под гильотину, пришел пьяный на работу…
                  0
                  К сожалению инструкции и требования пишут люди далекие от понимания рабочих процессов.

                  Иногда да. Ничего не мешает вам (через начальство) высказать претензию и подкорректировать.

                  Но такие вещи как правила дорожного движения, правила электромонтажа, жесткие инструкции авиапилотов и т.п. — написаны не просто так, а чьей-то кровью.
                  +8
                  Котик внимательно следит за большущей «лазерной указкой» :)
                  Хотя по-хорошему, тому, кто стоит слева, надо было бы снять кота со станка.
                    0
                    Это надо станок тормозить.
                    А так, есть вероятность, что со стороны кота никаких резов не будет и он благополучн прокатится до отбоя.
                      0
                      А вдруг кота перемкнет и он кинется на лазер поиграть? А по поводу «останавливать»… ну хотя бы по-кыс-кысать его, чтобы он сам спрыгнул, не?
                        0
                        У меня из четырёх кошек, на «кыс-кыс» отзываются две, и то, или пожрать, или погладиться.
                        А пытаться достать — также может шугануться куда попало… или под лазер, или в механику-приводы.
                    0
                    Есть защита от забастовок и саботажа путем забегания полностью разукомплектованного рабочего-провокатора в опасный цех ради аварийного автоматического останова производства и последующего гемора по пусконаладке?
                      0
                      Умеем делать, активно предлагаем, видим интерес.

                      В нашем случае, защита выстроена как блокирование доступа на площадку (интеграция со СКУД) и передача сигнала ответственному за участок прямо в мозг, телефон.
                        +3
                        Пересек желтую черту — предупредительная сирена, пересек красную — включается автоматическая турель и вызывается робот-уборщик.
                          0
                          все как в довоенном мире Fallout 4
                          +1
                          самый простой саботаж — выполнять ВСЕ инструкции.
                          +6
                          Прямо вижу, как в постсоветских реалиях это всё превращается в систему лишения рабочих премии по каждому пустяку. Вроде «снял каску, чтобы волосы поправить, и сразу надел обратно. А по инструкции должен был терпеть до конца смены». Так что да, экономия выйдет знатная.
                            +3
                            Это точно,
                            первое время будут встречаться руководители использующие систему только для наказания.
                            Это как СКУД, создан чтобы никто лишний не ходил там где не надо, а в итоге используется для лишения премии за опоздание
                            0
                            а так конечно реально интересные и полезные вещи можно делать в наше время
                              +6
                              Главное — аккуратно умолчать о всех неработающих ситуациях, точности детектирования, способах обойти систему, том через сколько дней систему отключают, и.т.д., и.т.п.
                              Вообще печально читать статью о том как всё прекрасно, зная что слишком часто описанные вещи не работают.
                              Сильно-сильно реже можно привести пример когда работает, когда внедрено, когда не ограничилось одним пилотом.
                              И такая система обычно выглядит куда сложнее и нетривиальнее.

                              Обычно раньше в блоге Крока были более реалистичные статьи:)
                                +5
                                Тренд роботов-надсмотрщиков обнаружен!
                                На производствах где инструкции пишутся теми кто реально в теме техпроцесса подобный контроль соблюдения инструкций выглядит как очень крутая штука.
                                  +1
                                  Сейчас они хотят видеонаблюдение на счётчики
                                  Вы обманули всю систему Дорогих и Больных согласований :). Похвально!
                                    +1
                                    Вы так и не написали главного.
                                    Что с котом-терминатором?
                                    0
                                    там где фотки со скелетом человека — хватает ли на практике возможностей обычного openpose или у вас какая-то специальная модифицированная версия?
                                      0

                                      /На производствах где инструкции пишутся теми кто реально в теме техпроцесса подобный контроль соблюдения инструкций выглядит как очень крутая штука./


                                      Не очень круто это будет выглядеть где инструкции пишутся теми, кто не вылазит со своих кабинетов и тех. процесс сами смотрят по камерам...

                                        0
                                        стесняюсь спросить, а что с ценами?
                                        интересовались за детектор касок у одного производителя — около 2М (с сервером) и не протестировать, у другого — 20к (без сервера) и демо без проблем (правда на нашем оборудовании не завелось).
                                          +1
                                          Вы не понимаете в чем фишка. В эти 2 млн входит XX% отката лицам принимающим решение, или лицам, лоббирующим ваш проект.
                                            0
                                            всюду заговор?) эта фирма не участвует в тендерах, старается не работать с конечными потребителями, запросом занимался только я — мне то они могли сказать об «интересах», но сказали что вряд ли вы вообще этой аналитикой заинтересуетесь.
                                          +2
                                          Я в детстве ожидал, что роботы будут на производстве работать, а люди контролировать их. А оказалось все наоборот. Люди работают, а роботы надсмотрщиками над ними стали…
                                            0
                                            Пока так дешевле. KUKA не всем по карману.
                                            0
                                            Добрый день!
                                            Есть ли у вас реализованные проекты по электронному проходу в бц или другие общественные места? без участия охраны, журналов, записи, потерей заявок и тд.
                                              0
                                              Есть внедрённые решения по распознаванию лиц в офисном здании и магазине. Подобное решение мы внедрили, например, при создании «умного» офиса для Алросы. На одном крупном промышленном предприятии поставили уличные терминалы с алкотестерами, там же стоят наши турникеты с алкотестерами и диагностические терминалы. Такие терминалы — крутая штука для предрейсовых и предсменных осмотров. Все эти системы можно интегрировать со СКУД.
                                              У нас у самих используется система распознавания номеров автотранспорта. Для ТС из «белого» списка шлагбаум открывается автоматически.
                                              +1
                                              Кажется, вы упустили один важный нюанс, дело в том, что распознать «жилетку» довольно просто, в отличие от защитных очков, перчаток, а так же спит ли работник или меняет изоляцию в обмотке эл.двигателя, а может быть заносит данные в журнал и т.п. чтобы избежать ложных срабатываний и увеличить точность, нужно в разы увеличить количество камер, а это приводит к резкому увеличению стоимости как всей инфраструктуры, так и стоимости обслуживания, включая места операторов и т.п. и вот тут возникает вопрос, готово ли предприятие с 2 000 или с 20 000 работниками в России платить такие деньги за охрану труда? По личному опыту, низкая заработная плата рабочих в регионах, очень слабо коррелируется большими затратами на охрану труда, даже на ведущих предприятиях в регионах.
                                                +1
                                                Так что, возможно, лет через 5–7 мы закончим с производствами и пойдём к вам домой. Для безопасности. Это в ваших же интересах, гражданин!

                                                Так точно! Сити 17 — лучший город на земле!


                                                Не зря ведутся дискуссии на тему того, как жить без GPS-маячка в виде GSM-связи и без оплаты по банковским картам. Мы слишком долго жуём сопли, скоро думать будет поздно и большой брат будет проникать в каждый дом, а закончится это всё почитанием великого и солнцеликого утром, в обед и за ужином.

                                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                Самое читаемое