Распознавание лиц на стройке



    В один яркий солнечный день, когда на стройке работа просто кипит, всё вокруг ярко и позитивно, и прямо хочется вечерком пожарить шашлык, на объект проник бывший сотрудник одного из подрядчиков. Он прошёл мимо проходной, помахал рукой охраннику, который знал его в лицо (но не знал, что он уволен), и зашёл внутрь. Там он пошёл к своим друзьям из Центральной Азии. Через полчаса они уже жарили шашлык и наслаждались жизнью.

    Нюанс в том, что костёр они развели между двух газовых баллонов.

    Один из баллонов почему-то взорвался. Как говорится, ничего не предвещало, и вот баллон почему-то повёл себя нетипично. Если вы видели, как с этими баллонами обращаются в родных для героев рассказа регионах, то можете представить себе и их искреннее недоумение от произошедшего.

    Все остались живы и даже более-менее целы (ничего необратимого). Шашлык улетел, но на орбиту не вышел. Шампуры не проткнули никого внизу и сбоку. А вот к неудавшимся космонавтам приехала полиция, скорая и чуть ли не Спортлото.

    Пришлось побеспокоиться, но не так сильно, как в тот день, когда на стройку приезжала проверка от ФМС. Тогда выяснилось, что очень многие работают по документам братьев. То есть один в семье делает себе комплект бумаг, устраивается на стройку — а дальше вместо него ходит брат. Не близнец, но для отечественного неокортекса почти неотличимый.

    За одного такого родственника на стройке накладывается штраф от 500 тысяч рублей и выше, и стройка может быть приостановлена от 14 до 90 дней. А это кончается очень, очень печально для генподрядчика и заказчика.

    Именно после этого инцидента позвали нас решить задачу ИТ-средствами.

    Да-да, это продолжение истории про кота-терминатора


    Первые опыты были в виде турникетов с проекторами инфракрасной сетки, они делали 3D-сканирование лица (за счёт восстановления геометрии) и пропускали тех, кто в базе данных.

    Возможно, вы уже читали наш пост про первые внедрения системы распознавания лиц на проходных по видео. Краткий сюжет: большой магазин, несколько сотен человек персонала и ещё примерно треть от этого количества — грузчики, подрядчики, уборщики и прочие люди из аутстаффа, которые постоянно меняются. Задача была пропускать только своих и следить за тем, чтобы сколько людей прошло по турникету, столько пропусков и было. Многие уходили на обед вчетвером, а возвращался один с четырьмя пропусками. В среднем рабочий обманывал работодателя на 4 часа в неделю.

    Тогда система распознавания давала достаточно высокий процент ложноотрицательных случаев — до 2,5% было с нашей стороны. Это грязные лица, фингалы, махание руками перед лицом, перекрытия, каски, очки и всё прочее. Мы не могли проконтролировать часть факторов, поскольку в той части проекта собирали данные с обычной камеры видеонаблюдения, чтобы сначала оценить масштабы проблемы.

    С тех пор технологии шагнули далеко вперёд, и появилась возможность распознавать лица точно при большом перекрытии. Главное — иметь камеры достаточного разрешения и несколько кадров с лицом, из которых можно выбрать лучшие без перекрытий. Так мы начали ловить магазинных воров — вот этот детектив.

    На этом строительном объекте нужно было:

    1. Впускать на объект только тех, у кого есть пропуск. Если у бригады подрядчика пропуска на месяц — то ровно через месяц система перестанет их впускать. Железно.
    2. Впускать на объект только тех, у кого лицо соответствует образцу в базе данных. При выдаче пропуска сотрудник безопасности объекта проверяет документы и фотографирует человека на веб-камеру на терминале (примерно как при получении пропуска в Ленинскую библиотеку в Москве), и лицо почти сразу появляется в базе на сервере ядра распознавания.



    Типовые ситуации:

    1. По чужому пропуску пытается пройти другой человек. Тревога, охрана останавливает его и разбирается вручную.
    2. На объект пытается пройти бывший сотрудник. Охрана не пускает его.
    3. На объект пытается прийти сотрудник, которого не должно быть: охрана просит получить пропуск и приходить с ним.

    Ещё каждый вечер руководителям отправляется отчёт о том, сколько было заявлено людей на работы и сколько пришло по факту. Это очень важно, потому что одно из самых больших мошенничеств подрядчиков — это заявить 50 человек, а по факту прислать на стройку 30. А после отчитаться про 50.

    Ещё эти данные по фактическому количеству людей в духе «Сегодня должно было быть 600 человек, а пришло 450» помогают понять, что сроки уже срываются. Сразу, а не через неделю-две-три-месяц.

    Что было до этого


    До этого была система идентификации по рисунку вен на ладони. Это прямо классический случай, и мы уже в который раз приходим переделывать за такими системами. Они плохо работают даже в стерильных офисах, куда сотрудники умудряются пронести чебурек. После контаминации чебуреком или любой другой жирной пищей этот самый рисунок меняется.

    На нашей стройке было много рядовых людей с жирной пищей в организме, героев с грязными руками и один супергерой. Нет, у него не было проблем с аутентификацией из-за потери рук. Это было бы меньшей из его проблем. Всё гораздо интереснее: у электрика с точки зрения системы просто не было этого самого рисунка. Мы не знаем, как он добился такого уровня анонимизации, но сыграл один из двух факторов: либо то, что он постоянно скручивал провода голыми руками, либо то, что эти самые скрутки довольно регулярно били его током в пальцы в ответ.

    В общем, остались только лица и радужки глаза.

    Радужки медленнее и чуть дороже. А утром на стройку приходят автобусы, и с 7 до 8 нужно впустить примерно 600 человек.

    Мы посидели пару дней на охране и записали всё то, что могло пригодиться для внедрения. Как ведут себя рабочие при приходе и уходе. Как быстро ходят через проходную. Что делают в момент прихода и ухода, идут ли друг за другом, носят ли каски, какая бывает погода на объекте и как влияет на их вид, перекрывают ли друг друга на турникете, как часто возвращаются разноцветными после лакокрасочных работ и так далее.

    Решение




    На каждый турникет устанавливаются две камеры: одна смотрит на входящих, другая — на выходящих.


    Место установки камеры.

    На территории объекта внутри периметра стоит небольшая охлаждаемая кондиционером серверная, у нас там стойка. В стойке — два сервера и коммутатор. Первый сервер принимает видеопоток камер и выделяет из него наиболее удачные кадры с лицами. Второй сервер получает «чистые» кадры с лицами и запускает на них ядро распознавания, сравнивая эти лица с базой людей.

    Бизнес-логика крутится на первом сервере, там же рядом запущен софт управления турникетом. Если в кадре было только одно лицо, и оно имеет право прохода — турникет открывается. Если что-то не так — оповещается охранник.

    № п.п.



    Наименование



    Кол-во



    1



    IP камера, 2Мп, WDR, PoE



    4



    2



    Сервер видеобработки и Сервер приложений. Портативный компьютер на базе процессора Intel i7, 16 Гб RAM, 250 Гб SSD



    1



    3



    Сервер видеораспознавания. Портативный компьютер на базе процессора Intel i7, 16 Гб RAM, 250 Гб SSD



    1



    4



    Коммутатор 4-8 портов с поддержкой PoE, 100-1000 Мбит/с



    1



    5



    Web-камера, FullHD



    1




    Под нашу задачу вендор заявил 1 ошибку (ложноположительное и ложноотрицательное срабатывание) раз в 4 месяца. Вот их тесты. Мы знаем, что система отличает близнецов последние лет пять (тесты для сотрудников ФСБ, они же спрашивали, можно ли пройти по отрубленной голове — нет, нельзя, мышцы «обвиснут» и потеряют форму, и вообще там много интересных тестов). Понятно, что вендор заявляет данные для «тепличных» условий, но если закопаться в таблицы, видно, что там используются изображения хорошего качества.

    На практике получить такие изображения получается не всегда, тем не менее, мы создали почти «тепличные» условия внутри бытовки с проходной.

    Вся интеграция, управляющий софт и подготовка изображений — наша разработка. Интернет решению не нужен, вся связь по обычному медному кабелю внутри объекта. Но если его подключить — будет постоянный мониторинг, отчёты через электронную почту и удалённая помощь-поддержка для операторов второй линии.

    Параллельно охрана выставила очень жёсткий режим проверки: теперь никаких «ну мне просто спросить», всё через пропуск, а любой пропуск — через занесение лица в базу данных.

    Результаты


    На практике обнаружилось, что поскольку отделка ещё не началась, «зелёные человечки» с объекта не выходят. Максимум — грязь, но это мы уже проходили на Чемпионате мира по футболу, там была фанатская раскраска. Распознавание лиц теперь больше ориентируется на геометрию лица и строит объёмную модель внутри ядра. Проблем с грязью не было. Небольшие синяки тоже не влияли: основные опорные точки — вокруг носа. Один пришёл вообще весь в солидоле, кажется, и мы ждали, что он не распознается. Но ничего, прошёл.

    Очереди утром почти пропали. Раньше там скапливалась большая толпа, а теперь два турникета запускают 700 человек за час с учётом разбирательств с охраной и махания руками «ну мне же надо, там бригада ждёт».

    Помещение пришлось чуть доработать, чтобы не было лишних засветок лица, камеры расставить так, чтобы не было перекрытий. Головные уборы (каски) и очки реально представляли проблему, но было введено правило, что всё это надо снимать перед проходом через турникет. Повесили таблички с рисунками.

    Заказчик начал получать отчёты о фактическом количестве людей на стройке, что кого-то из подрядчиков очень сильно огорчило.

    Про окупаемость системы я ничего сказать не могу, поскольку основной коммерческий случай — предотвращение штрафа ФМС в 500 тысяч и закрытия строительства на 14-90 дней. Система стоит дешевле этого штрафа, но проверки случаются нерегулярно, поэтому экономический эффект рассчитать сложно. Но старожилы говорят, оно того полностью стоит.

    Собственно, конец рассказа.

    Ссылки


    КРОК
    603,91
    IT-компания
    Поделиться публикацией

    Комментарии 83

      +1

      просто интересно — а сильно подбитый и опухший глаз?

        +6
        Алгоритм на лице использует 64 точки. На практике фингал под глазом или сильно опухший глаз не оказывает значительного влияния. Точность определения практически не изменяется. Проводили опыт, закрывали глаз рукой. Получали доли процента падения точности распознавания.
          +2
          Алгоритм или нейронная сеть?
          0
          [del]
            +2
            подозреваю, что там не одни роботы на проходной работают и если сотрудник изменит внешность или ему её изменят, всегда можно решить вопрос через охрану.
            • НЛО прилетело и опубликовало эту надпись здесь
                +2
                аж жииир с екрана потек! а давай ты еще раз прочитаеш текст, только внимательно:

                500 000р єто за ОДНОГО человека, а не на весь объект стройки! Но штраф то еще ладно, а вот остановка работ на 3 месяца, это уже ОЙ!

              +1

              Возникает резонный вопрос: почему сервера два, а не один? Неужели одна такая машина не способна всё переварить?

                +2
                Можно, но тогда время ожидания значительно возрастет, а в час пик проход человека должен занимать не более 2 секунд, иначе люди на работу вовремя не попадут.
                  +2
                  Скажите это нашей СБ, время прохода через турникет ~25 секунд, потому что алкотестер, а на работу приезжает пара тысяч. Правда, турникетов 6 штук и приезжают все не одновременно, в течении пары часов, но поначалу бывало опаздывали
                    +1
                    С таким-то юзернеймом только алкотестеры и проходить!
                      +2
                      «Пить надо в меру. Д. Неру.»
                      Про алкотестеры можно отдельный пост писать, может, уважаемый INedelskiy поделится кейсами?
                +15
                Где же видео, графики, результаты. Читал с ожиданием. ну вот сейчас будет экшен, а его не оказалось…
                  +3
                  … еще не делали расчеты для «типовая кпп с распознаванием лиц» (в виде контейнера)?
                    0
                    Типовую здесь сложно рассчитать, так как много зависит от схемы интеграции с турникетом, выбором камер под конкретный объект.
                    Напишите нам на почту свою задачу и мы сможем ее рассчитать.
                      +5
                      Так интересна именно вся система под ключ, чтобы можно было привести контейнер, поставить на стройке в случайном месте например, и пропускать, на вход базу сотрудников, на выходе график кто когда куда во сколько.
                        +12
                        Ничего вы не понимаете в продажах :) Вы сначала скажите, что вы строите — а мы вам посчитаем. Жилой дом на 3 этажа? Одна цена. Высотный небоскрёб? Другая. Ничего плохого, просто выжимание максимума пользы из ситуации.
                          0
                          Что никак не отменяет наличия в продаже типовых сборных домиков, например.
                            +1
                            Да ни фига, даже про домики везде написано «цена от», и указана на домик без утепления, окон, пола и крыши. А когда собирешься покупать — начинается «а мы вам посчитаем».
                    0
                    а как же собакены? их не распознаете или они через турникет не ходят?
                      0
                      Собакенов не распознаем. Если речь про собак.
                      0
                      А как работники отреагировали на систему распознавания лиц? Есть информация?
                        +2
                        Охранники поначалу ворчали, что не будет система работать и все останется по-старому: по пропускам и карточкам.
                        Но когда система сняла с них часть нагрузки и в час пик они только корректировали проход отдельных личностей, они ощутили плюсы решения.
                        Рабочим подрядчика нужно было объяснить один порядок входа и выхода, а дальше они ее подхватили. Быстро и прикладывать ничего не нужно к турникету.
                          +10
                          А должны были опасаться снижения зарплаты и сокращения штата
                            0

                            Так ведь система распознавания лиц не будет строить здание вместо рабочих.

                              +1
                              Охранники должны были опасаться, а не строители :)
                                0
                                Ну в любом случае эта система не заменит живых людей, только упростит процесс и даст больше прозрачности.
                                Впрочем если вместо охранников установить пару турелей…
                                  0

                                  "пора бы фотоэлементам заменить этих парней...." (С) БГ

                                    0
                                    (С) БГ
                                    (С) Максим Леонидов, «Секрет», Ленинградское Время.
                                    прямо очень в тему ))



                          +5
                          На этом строительном объекте нужно было:

                          Впускать на объект только тех, у кого есть пропуск.

                          Интересно было бы посмотреть сравнение false positive срабатываний системы и охранника, потому, что в примере про шашлыки проблема была как раз в этом.
                            0
                            Чего-то я не понял… то есть охранники не распознают двух похожих братьев из южных республик, а проверяющие прям мгновенно? А они это как делают? Учитывая что даже по отпечаткам пальцев не выйдет, ибо у них только один комплект для изучения.
                              +2
                              Охранники могут его просто пропустить как уже знакомого, так как на потоке глаз замыливается.

                              А проверяющие на то они и проверяющие, чтобы отлавливать такие расхождения в ходе проверки.
                                0
                                Но у проверяющих небось есть тот набор отпечатков, что привязан к документам…
                                  0
                                  А они прямо с мобильными сканерами выезжают на объекты?
                                  Да и потом, не знаю как сейчас, но раньше вахтовики никакие отпечатки не сдавали (по крайней мере, из пределов ЕАЭС/ТС).
                                    +1
                                    Без понятия, я только предположил. Возить сканер, если идет целевая «охота» несложно, особенно если они «братьев» целенаправленно ловят… Как-то они должны их опознавать, особенно если фотографии несильно отличаются…
                                      +1
                                      Возить портативный сканер — нет никакой проблемы :) Посмотрите на модель Futronic FS80H — это сканер отпечатков пальцев размером с 2 коробка спичек, поставленных один на другой. Так что ноут с таким сканером привезти — не вижу сложностей.
                                  –1

                                  Балонама самоубилася, засем ругаеся насяльникама?

                                    0
                                    А если я надену футболку на которой будут напечатаны лица, как система справится?
                                      +1
                                      Алгоритм включает режим liveness, который отличает лицо живого человека от фотографии человека или его видео на гаджете.
                                      0
                                      А для распознавания лиц используется нейронка вроде FaceNet?
                                      Как проходит регистрация нового лица, сколько фотографий нужно, как долго переобучать сеть?
                                        +4
                                        Используем нейросеть нашего партнера – одного из лидеров рынка.
                                        Для обучения сети нужны месяцы и миллион фотографий. Новое лицо заносится в базу через интерфейс web-приложения. А в качестве источника для получения фотографии на объекте используется web-камера.

                                          +5

                                          Уважаемые минусующие, напишите, пожалуйста, с чем вы не согласны. Я к этим людям никакого отношения не имею, но хочу понять что тут не так.

                                        0
                                        Не было ли заказов от транспортников?
                                          0
                                          Пока такие запросы не поступали.

                                            +1
                                            У транспортников есть свои погремушки.
                                            Про общегородскую систему распознавания в Москве и про то, как парня внесли в базу, чтобы просто следить за ним, но менты напутали и задержали его:
                                            zona.media/article/2018/10/10/axel
                                              0
                                              Я больше про маршруточников и водителей дальних автобусов: типа план отработали, а дальше в карман. Таксистам сейчас вроде сложнее левачить.
                                            0
                                            я правильно понимаю, что для распознавания используются алгоритмы американского вендора? российский findface не пригодился?
                                              +6
                                              Используем алгоритм распознавания лиц компании Vision Labs.
                                              0
                                              Был кот-терминатор, теперь электрик-хамелеон без опознавательных знаков
                                                0
                                                До этого была система идентификации по рисунку вен на ладони. Это прямо классический случай, и мы уже в который раз приходим переделывать за такими системами… Всё гораздо интереснее: у электрика с точки зрения системы просто не было этого самого рисунка. Мы не знаем, как он добился такого уровня анонимизации, но сыграл один из двух факторов: либо то, что он постоянно скручивал провода голыми руками, либо то, что эти самые скрутки довольно регулярно били его током в пальцы в ответ


                                                Вот тут комментарий врача хотелось бы. Наверняка рисунок вен (вен? не отпечаток пальцев?) таки был, а проблемы в системе или методе их обнаружения.
                                                  +1
                                                  Наверняка рисунок вен

                                                  По его венам текла уже совсем не
                                                  кровь
                                                  — Тут пришли анализы. — Что там, доктор? — В вашем спирту крови не обнаружено.
                                                    0
                                                    Даже если крови там не обнаружено, вены, сосуды для движения жидкости все равно остались!
                                                      +1
                                                      Просто это были уже не вены, а корни этилового вулкана.
                                                  0
                                                  На сервере видеообработки тоже нейросеточка или без этого обошлись?
                                                    0
                                                    Тоже нейросеть для поиска и выделения лица.
                                                  0
                                                  Спасибо, интересно. Вопрос про безопасность:
                                                  Я так понимаю что храниться хэш сканирования 64 точек лица. Как в этом случае определяется вероятность совпадения? проверка хэш это только «да» или «нет».

                                                  Давно интересовал этот вопрос в отношении всех систем сканирования физиономии, например в банках.

                                                    0
                                                    Хэш хранит векторное описание лица по 64 точкам. Соответствие векторов в описании двух лиц и дает понимание о точности их совпадения.
                                                    +8
                                                    А в какой момент все работники подписывают согласие на обработку своих биометрических данных? И имеют ли они возможность от этого отказаться, не потеряв работу?
                                                      +2
                                                      В идеале — при отказе от ОБД работник не проходит автоматическую идентификацию и вынужден при каждом проходе удостоверять свою личность у вахтера и безопасника (у двоих — чтобы минимизировать человеческий фактор). Это займет около двух минут вместо двух секунд — думаю, быстро останутся только самые принципиальные.
                                                        0
                                                        присоединяюсь к вопросу
                                                          +3
                                                          Из прошлой публикации КРОК:
                                                          Секрет в одностороннем алгоритме. Нужно сохранить такой перцептивный хэш от лица, чтобы нельзя было по хэшу восстановить человека, но можно было по человеку получить такой же хэш. Там есть ещё пара юридических ухищрений и деталей про то, что нельзя хранить ряд идентификаторов. В итоге законы по ПД соблюдены. ФСТЭК давала нам подтверждение, что система видеораспознавания лиц не хранит персональные данные.
                                                          0
                                                          очень многие работают по документам братьев. То есть один в семье делает себе комплект бумаг, устраивается на стройку — а дальше вместо него ходит брат.

                                                          А первый что тогда делает? Не вижу изюминки.
                                                            +3
                                                            человек с документами оформляется на вторую-третюю-четвертую работу, на которых в последующем работают его родственники без документов
                                                              0
                                                              А что мешает им самим оформиться?
                                                                +2
                                                                Это вроде дорого и не так просто, нужна прописка, виза, подтверждения знания языка и т.п. Иначе не было бы множества нелегально работающих в России.
                                                              0
                                                              Устраивается на другую стройку, туда тоже ходит его брат.
                                                                +1

                                                                Может заболел

                                                                +1
                                                                Обожаю такие истории. Очень интересно и с юмором написано.
                                                                  0
                                                                  Система стоит дешевле штрафа в 500 тыс. Нет ли здесь ошибки, Вы хотите сказать, что система распознавания на нейронной сети с видеокамерами, аппаратурой, отчетами и т.д. стоит меньше полумиллиона рублей?
                                                                    0

                                                                    Думаю, стоит учитывать и остановку строительства, наверняка это выходит недешёвым.

                                                                      0
                                                                      А так же количество проверок на протяжении всего строительства.
                                                                      +2
                                                                      В базовом варианте – да. К тому же, можно подключить систему как услугу из расчета на количество установленных камер. Штраф в 500 тыс. — минимальная сумма, их может быть несколько, а если стройку приостановят, то застройщик несет убытки на порядок выше.
                                                                        0
                                                                        А что тут удивительного? У того же Ivideon распознавание лиц можно по подписке брать (от 1700 руб/канал). Из капитальных затрат остаются только камеры: ru.ivideon.com/face-recognition
                                                                        +1

                                                                        Сбербанк тоже с вашей системой играется?

                                                                          0
                                                                          Портативный компьютер на базе процессора Intel i7

                                                                          Всё считается на CPU? Что-то я не заметил в тексте ничего про видеокарту.
                                                                            0
                                                                            Да, на CPU
                                                                              0
                                                                              А сколько кадров в секунду оно переваривает и какое разрешение, если не секрет?
                                                                                0
                                                                                30 fps, Full HD

                                                                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                          Самое читаемое