Результаты тестирования алгоритмов российских биометрических компаний на мировом рынке

    В России обсуждают вопросы о создании мега Национального биометрического Центра с объемом базы данных 100 – 150 млн. записей. А в Госдумму уже внесен проект закона об обязательной биометрической регистрации. Так как работать все это, теоретически, обязано на патриотическом оборудовании, то есть из соображений защиты информации желательно и мозги и оборудование географически должно располагаться внутри страны, я думаю, вам будет интересно ознакомится с тем, что же хорошего, теоретически, у нас может с этим получиться.

    Совсем недавно завершилось двухлетнее тестирование pVTE-12 (Fingerprint Vendor Technology Evaluation 2012) при национальном институте стандартов США (НИСТ).



    Цель тестирования – оценка реальных возможностей систем идентификации по отпечаткам пальцев на сегодняшний день. Это самое крупное тестирование (крупные базы и типы данных), которое длилось в течение двух лет.

    Тестовые данные поделены на три группы:

    А – отпечатки двух указательных пальцев без сегментации объемом 1.6 млн. записей.
    B – отпечатки десяти пальцев, в группе 4+4+2 (это съем четырех пальцев + большого с каждой руки) с сегментацией. Объем базы 3 млн. записей.
    С – прокатные и контактные отпечатки десяти пальцев в группе 4+4+1+1 с сегментацией. Объем базы 5 млн. записей.

    Задача: за ограниченное количество времени осуществить поиск информации в режиме «один ко многим». Компании, не уложившиеся во временное ограничение снимались с теста. Потому все компании подготовили новые скоростные алгоритмы идентификации.
    В протоколе фиксировалось не только точность сравнения но и скорость. Поэтому для тестирования компании предоставляли два варианта алгоритма: быстрый и более медленный.

    Из 22 двух компаний только 18 смогли пройти хотя бы один тест. Это практически все известные в мире биометрические компании (NEC, 3M, Safran и пр.) а так же две российские – Сонда, Папиллон и еще несколько новых менее известных.

    Код компании	                Наименование			Тесты
     
    C				afis team			A, B, C
    D				3M Cogent			A, B, C
    E 	 			Neurotechnology 	        A, B, C
    F				Papillon			A, B, C
    G 		 		Dermalog			A, B, C
    H				Hisign Bio-Info Institute       A, B, C
    I				NEC 				A, B, C
    J				Sonda 				A, B, C
    K				Tiger IT 			A
    L				Innovatrics 			A, B, C
    M				SPEX				A, B, C
    O				ID Solutions 			A, B, C
    P				id3				A
    Q				Morpho 				A, B, C
    S				Decatur Industries 		A, B, C
    T				BIO-key 			A
    U				Aware 				A, B, C
    V				AA Technology 			A, B, C
    


    Самый важный тест — это тест «С» на базе 5 млн. записей. По точности первые три места заняли гиганты — NEC (Япония), Morpho/Safran (Франция) 3M Cogent (США).

    А наша компания Сонда (суровая Челябинская!) в режиме поиска контактных отпечатков по прокатным заняла 4-ое место!
    В режиме поиска контактных по контактным и прокатных по прокатным — 5-ое.

    Вероятность ошибки на уровне 0.3 % и отличается от группы лидеров где-то в два раза, однако по скорости сравнения и по длине математического кода Сонда превосходит лидеров.

    Что касается Папилона, то очень жаль. По видимому, ребята что-то сделали не так с алгоритмами и вероятность ошибки от группы лидеров отличается в 40-100 раз и составляет от 5 до 20%, что на практике конечно же, недопустимо.



    По результатам тестов НИСТ выделил пять компаний, которые предоставили оптимальные алгоритмы с учетом трех факторов: точность идентификации, скорость сравнения и требуемые ресурсы: Сонда (Россия), Innovatrics (Словакия), Morpho (Франция), IDSolutions (США) и AA Technology (Китай).



    В след за этим событием, хотелось быть получить комментарий о результатах теста у нашего местного специалиста по биометрии ZlodeiBaal.

    Полный отчет о тестировании: nvlpubs.nist.gov/nistpubs/ir/2014/NIST.IR.8034.pdf

    Similar posts

    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 23

      +2
      Эх… продули наши. Вот что значит, когда над алгоритмом работает один человек всего.
        0
        В точку…
          0
          Алгоритм, справляющийся с биометрией по радужке глаза мы сделали будучи зелёными студентами за пол года втроём. При этом показывал он вполне себе сравнимые результаты с лидерами области.
          Почти вся математика, лежащая в биометрии имеет те же сроки разработки. Хороший и качественный продукт делается где-то за пол года-год вдвоём (конечно, не с нуля, а при активном чтении статей). Исключения могут составлять методы биометрии, где сложные установки снятия данных, которые нужно разрабатывать (3д лицо, например).
          Так что «над алгоритмом работает один человек» — это более-менее норма. Приятнее работать вдвоём-втроём, когда можно устроить мозговой штурм/мини-соревнование, обсудить с кем-то стратегию разработки. Но реально хороший специалист может сделать и в одиночку, на мой взгляд (естественно, он не должен кроме алгоритма разрабатывать ещё и весь обвес, железо, серверную часть и протоколы).
            0
            Но вряд ли 10 человек сделают алгоритм хуже, чем получилось у одного? Вот 4 компании и пролезли вперед Сонды.
          0
          Я слышал, что продукция Сонда используется в Белоруссии (на гос. уровне), это так? Возле Миасса есть озеро Тургояк. Я там как-то встретил на отдыхе товарища, который мне рассказал про это. Похоже, что он в Сонда работал.
            +2
            Продукция Сонды по всему миру используется. Кстати, название этой фирмы склоняется.
              0
              Я хотел уточнить, та ли это система, которая использовалась для опознания минского подрывника. Помнится там целая история была. Этот подрывник уже делал бомбы, одна из них не разорвалась (банка из под пива). С неё сняли отпечатки тогда. В Белоруссии у всего мужского населения берут отпечатки, но когда очередь дошла до взрывника, то его пропустили (по халатности вроде бы). Отпечатки с банки были отправлены в Интерпол и там хранились. Когда подрывника поймали, сравнили отпечатки — они совпали с теми, которые были найдены на той самой неразорвавшейся банке.

              Это всё при помощи Сонды делали? Вот что мне было интересно.
              0
              Их продукция и в России используется на гос. уровне, как и Папилона.
                0
                А где в России используются АДИС Сонды?
              0
              Насколько мне известно в Белоруссии Сонды не было никогда.
                0
                Я уточнил:
                «Это конечно слухи, там используется национальная АДИС „Дакто“. Но слухи имеют некоторое основание.
                В 1997 году была попытка сделать объединенную систему, которая к сожалению провалилась. Тогда Сонда передала минчанам модуль обработки отпечатков пальцев и получения шаблонов. Сравнение отпечатков у них было свое. Но с тех пор изменилось многое, возможно и минчане сейчас имеют полностью свою программу.»
                  0
                  В Индонезии в национальную биометрическую систему входит.
                  0
                  А когда я в Папилоне работал, казалось, что мы лучшие (╯°□°)╯︵ ┻━┻
                    +2
                    Очень круто, что есть все-таки конкурентные на миров уровне алгоритмы в РФ!

                    А правильно я понимаю, что фиксировался FPIR=10^-3 или иначе вероятность ложного совпадения? Почему выбирался для тестирования такой слабый уровень? Ведь 10 пальцев. 10^-3 означает что при поиске по базе в 5млн будет 5 000 ложных совпадений? Или это по одному пальцу такой FAR?

                    Ну и если правильно, то как так? Это из-за того, что с бумаги были пальцы или почему так? Вроде один палец может давать EER на уровне 0.2%-0.3% (по отчетам нейротехнолоджи, которых вы сделали :) )
                      0
                      FPIR считается не для одной проверки, а для всей базы. FPIR=10^-3 означает, что при поиске по базе в 5 млн. отпечатков будет 10^-3 ложных совпадений.
                        0
                        не очень понимаю, «при поиске по базе в 5 млн. отпечатков будет 10^-3 ложных совпадений».
                        т.е. для единичного сравнения FAR 10^-9 получается? верно?

                        Т.е. нужно 1000 раз запустить поиск по базе в 5млн и только в одном случае произойдет ошибка? То конечно больше похоже на 10 пальцев. Но тогда еще вопрос: а почему тогда FNIR не сильно отличается для базы 1.6млн и для базы 5млн? Ведь при 3х кратном увеличении базы и FNIR примерно пропорционально увеличится.
                          0
                          не прав, FNIR может и не обязательно так драматически расти при росте базы. Но тем не мене, величина FNIR получается не совсем алгоритм характеризует, а уменьшается при уменьшении количества образцов в базе (ну и наоборот)?
                            0
                            При неизменных настройках алгоритмов FPIR зависит на малых величинах от размера базы линейно (потому что каждая запись в базе может дать ложное срабатывание) — а FNIR вообще не меняется (потому что в базе количество «правильных» записей не зависит от размера самой базы).

                            Сама по себе величина FNIR алгоритм вообще не характеризует — алгоритм характеризует зависимость FNIR/FPIR при фиксированных внешних условиях (качество отпечатков в базе, размер базы, структура базы и пр.)

                            Почему же FNIR на разных базах вообще отличались? Потому что настройки алгоритмов изменяли таким образом, чтобы подогнать их к одному значению FPIR.
                      0
                      да, спасибо. Ну я про «подогнать их к одному значению FPIR» и говорил. Вот как-то в голове не уложилось, что FNIR/FPIR зависит от размера базы, обычно как-то стараются отвязаться от размера базы, чтобы характеризовать алгоритм. Оно, конечно, тоже не честно. Но для СКУД полезно. Можно сразу прикинуть, что при базе в N человек система начнет путать Петю с Васей.

                      Т.е. для единичного сравнения у вас 0.2*10^-9 при 0.3%. Впечатляет. Таким образом, оттиск отпечатков на бумаге получается как раз намного лучше, чем любой цифровой сканер?
                        +1
                        Статья хорошая, почитал с большим интересом, спасибо.
                        На счёт Папилона — уже натыкался на некачественную работу от них. Собственно в моей статье про биометрию по глазам про них было пару абзацев:)
                        Как я понимаю, все алгоритмы у них были написаны ещё в 90ые и с тех пор математика не развивается. Не знаю, по каким причинам, но, конечно, досадно, что крупнейшая фирма, ведующая почт всей биометрией в гос-секторе не поддерживает хотя бы минимального исследовательского уровня.
                          +1
                          А зачем им поддерживать какой-то там уровень, если они умеют выигрывать тендеры?
                          0
                          Интересно что и Сонда и Папилон находятся в Миассе.

                          Only users with full accounts can post comments. Log in, please.