Обратный поиск изображений: руководство от детективного агентства Bellingcat


    Кадр одного из онлайновых расследований Bellingcat

    Международное агентство Bellingcat опубликовало несколько советов по идентификации людей и географических локаций на фотографиях с помощью функции «Поиск изображений» в поисковых системах.

    Оказалось, что в этом отношений нет равных российской поисковой системе «Яндекс. Картинки». По одному образцу движок находит фотографии этого лица в совершенно другой обстановке и освещении, что говорит о продвинутом распознавании лиц. У Google и других компаний нет ничего подобного, признают специалисты. Таким образом, «Яндекс» можно назвать безусловным лидером по обратному поиску изображений.

    В опубликованном руководстве разъясняются базовые методы онлайн-расследований, с акцентом на идентификацию лиц и адресов.

    Поиск похожих фотографий по образцу лица в «Яндексе», Google и Bing.



    В первом примере «Яндекс» нашёл многочисленные фотографии искомого лица из разных источников (среди лучших результатов только в двух случаях представлены посторонние люди), причём результаты отличаются от исходного изображения, но показывают одного и того же человека. Google вообще ничего не нашёл, а в результатах поиска Bing оказался только один результат с тем же человеком (пятое изображение, вторая строка).

    Специалисты Bellingcat постоянно используют «Яндекс» в расследованиях и не выражают особенной паранойи по поводу его российского происхождения. Это первый инструмент, к которому они прибегают в работе. На втором месте — Bing, где в поиске есть несколько уникальных функций, как выделение конкретной области изображения для поиска.

    Google подходит для самого простого обратного поиска. Например, идентификации известных людей на фотографиях, поиска источника изображений, определения автора произведения искусства и так далее. Однако если вы хотите найти похожие изображения (не точные копии), то будете разочарованы.

    Например, при поиске человека, который пытался напасть на журналиста BBC на митинге Трампа, Google находит источник обрезанного изображения, но не может найти никаких дополнительных изображений его или кого-то хоть немного похожего.





    Хотя Google не очень помог в поиске других экземпляров лица этого человека или похожих на него людей, он всё же нашел оригинальную, не обрезанную версию фотографии, с которой был сделан скриншот.

    Тестирование


    Для тестирования различных методов и механизмов поиска обратных изображений специалисты Bellingcat взяли несколько изображений, представляющих различные типы исследований, включая как оригинальные фотографии (ранее не загруженные в интернет), так и переработанные. Они отмечают, что теперь поиск может работать не так, как во время тестирования, поскольку после публикации статьи поисковые системы уже проиндексировали эти фотографии и интегрировали их в свои результаты.

    Тестовые фотографии включают в себя ряд различных географических регионов с исходными материалами в Западной Европе, Восточной Европе, Южной Америке, Юго-Восточной Азии и Соединенных Штатах. На каждой из этих фотографий выделены отдельные объекты в изображении, чтобы проверить сильные и слабые стороны каждой поисковой системы.

    Одна из тестовых фотографий: дворец Олисова в Нижнем Новгороде, Россия (оригинал, ранее не загруженный в сеть):



    Отдельно: белый внедорожник в Нижнем Новгороде:



    Отдельно: трейлер в Нижнем Новгороде:



    На здании в Нижнем Новгороде, как и на других фотографиях, наилучшие результаты показал поиск по изображениям «Яндекса». Журналисты Bellingcat говорят, что его результаты настолько впечатляющие, что иногда кажутся какой-то чёрной магией, хотя и не без ошибок.

    В данном случае «Яндекса» без труда опознал это здание. Он нашёл фотографии, сделанными под тем же углом, а также нашел с других ракурсов, включая 90° против часовой стрелки (см. первые два изображения в третьем ряду) с точки зрения исходного изображения.



    «Яндекс» также без труда опознал белый внедорожник на переднем плане фотографии как Nissan Juke.



    Наконец, в самом сложном изолированном поиске этого изображения «Яндекс» не смог идентифицировать неприметный серый трейлер перед зданием. Некоторые результаты выглядят так же, как на исходном изображении, но ни один из них не соответствует действительности.



    По сравнению с этими результатами выдача Google и Bing выглядит просто смешно, хотя Google корректно классифицировал трейлер как travel trailer.

    Если поиск изображения не даёт результата, в некоторых случаях помогают простые трюки:

    • зеркальное отображение фотографии;
    • применение цветовых фильтров;
    • удаление из кадра ненужных элементов, которые могут затруднять поиск.

    Вспомогательные инструменты


    Кроме стандартного поиска изображений, Bellingcat рекомендует несколько вспомогательных инструментов при проведении онлайновых расследований.

    Во-первых, есть специализированные инструменты для обработки определённых типов фотографий. Например, приложение Merlin Bird ID от Cornell Lab чрезвычайно точно определяет тип птиц на фотографии или предлагает возможные варианты.

    Или FlagID, где можно вручную ввести информацию о флаге и выяснить его происхождение.



    Если на фотографии встретились символы неизвестного языка, то можно вручную повторить их с помощью инструмента рукописного ввода Google Translate.







    Пикселизация и размытие


    Как подробно описано в этом треде Twitter, можно пикселизировать или размыть элементы фотографии, чтобы обмануть поисковую систему — и сосредоточиться только на фоне. На этой фотографии пресс-секретаря Руди Джулиани точное изображение не даёт возможности понять, где сделан снимок.



    Но если размыть/пикселизировать женщину в середине изображения, то «Яндекс» способен проанализировать другие элементы изображения: стулья, картины, люстры, ковры, настенные узоры и так далее.



    После этого «Яндекс» точно знает, где было сделано изображение: это популярный отель в Вене.





    Исследователи Bellingcat делают вывод, что движки обратного поиска изображений значительно продвинулись в последнее десятилетие, и прогресс продолжается быстрыми темпами.

    Прогрессу способствует большой рост поисковой базы. Крупным интернет-компаниям удалось убедить пользователей разместить на своём хостинге архивы личных фотографий, на которых и обучается Искусственный Интеллект:

    Именно с этой целью Google Фото и Яндекс.Диск предлагают бесплатное хранилище фотографий в неограниченном количестве. Это бесконечное количество материала для машинного обучения.

    Они прогнозируют, что в скором времени на базе Facebook или Instagram начнёт работать общедоступная программа распознавания лиц, что нанесёт серьёзный удар по конфиденциальности в интернете, но также увеличит эффективность цифровых расследований.



    GlobalSign
    Компания

    Комментарии 44

      +6
      белый внедорожник в Нижнем Новгороде

      Это не внедорожник, а малюсенький переднеприводный паркетник Nissan Juke
        +20
        Вы только что доказали, что краудсорсинг серьезно догоняет ИИ в плане распознавания изображений ;)
          +8
          Да это же crowdfinding)
          +1
          Бывают и полноприводные версии. Но я по фотке их не различу, может яндекс сможет :)
            +1
            .
            +24
            Мне кажется что Google в какой-то момент просто урезали функционал поиска по картинкам, возможно в связи с ограничениями законодательства. Пару лет назад обратный поиск по картинке давал много релевантных результатов, в какой-то момент — перестал
              +9
              Скажите уж прямо — порномоделей больше не ищет.
                +3
                ищет!
                  0
                  Ай, с языка сняли! А то зачем он еще такой нужен )))
                  «Друг интересуется» и всё вот это такое
                  0
                  Мне кажется, Google в последнее время (несколько лет?) стал и по тексту искать хуже.
                  То ли настолько много мусорных сайтов появилось, то ли подсчёт релевантности стал очень странным. Наиболее заметное — по поиску NNN стало вылезать гораздо меньше сайтов «форум об NNN» и гораздо больше «купить NNN». Интересно, а заказ рекламы у Гугла не влияет на положение в поисковой выдаче?..
                    0
                    Работал в поддержке Google — на этот вопрос ответ был «конечно не влияет», а технические детали могут знать разработчики ядра) Косвенно — может да, с увеличением трафика — растёшь в выдаче, напрямую — вряд ли, гуглу себе дороже такую связь выстраивать
                  +4
                  Google раньше выдавал очень качественные результаты поиска по лицам, но в какой-то момент данный функционал ограничили.
                    +9

                    Боюсь, Яндексу тоже довольно скоро придется "разучиться".
                    По крайней мере доступному публично...

                      +15

                      Ну вот после этой статьи и отключат, так как расследования Bellingcat направлены в основном против тех, кто может неофициально надавить на Яндекс.

                        –2
                        думаю что у котиков просто появился инструмент, который делает это лучше яндекса, вот они и слили технологии. будет жаль, если я ошибаюсь
                          –2

                          Они не котики, они мышки.

                            0
                            Сомневаюсь. Где взять такую базу изображений, как у Яндекса и Гугла?
                              0
                              как и у фейсфиндера или сеуса — спарсить соцсеточки.
                        +16
                        Известно после чего :-)
                        Когда поиск по картинкам шимпанзе стал выдавать негров. Или наоборот.
                        Был скандал.
                        Вот и отключили.
                          –4
                          Звучит как байка, давайте пруфы.
                              –1
                              Здесь речь идет про негров и животных, а коммент talik был про всех людей. Это все еще байка.
                              0
                              например тут cnews.ru/news/top/2018-01-16_google_ubral_iz_fotopoiskovika_slovo_gorilla

                              Компания Google убрала из лексикона Google Photos слово «горилла», поскольку механизм распознавания изображений подписывал им фото афроамериканцев с очень темным цветом кожи. Этот факт был установлен два года назад, и с тех пор Google так и не смогла научить систему отличать приматов от представителей негроидной расы.


                                0
                                Я думал они африканцам закажут крупную выборку фоток горилл за $1млн и научатся различать — профит и одним и другим. А оно вот как решили — слово «горилла» убрать.
                                  0
                                  Может в фоне нейронка до сих пор учится это различать, но пока не стопроцентное совпадение.
                          +1
                          Ну не знаю…
                          Взял сейчас 3 фото моих знакомых, оставил только лица, прогнал на Яндекс.Картинках — нулевой результат, ни одного совпадения в списке «похожих». Большинство из списка, на мой взгляд, совершенно не похожи на оригиналы.
                            0
                            Загружал разные свои фото. Ничего яндекс не нашел, хотя профили в соц.сетях есть.
                            0
                            Таким образом, «Яндекс» можно назвать безусловным лидером по обратному поиску изображений.

                            Согласен. Около года назад он помог мне найти очень старую знакомую, фотографии которой были аж за 2010 год. Нашёл без труда, после чего я понял, что Яндекс таки ищет по лицам, а не просто по контрольной сумме цветовой гаммы.

                            Но всё же присоединюсь к опасениям комментаторов выше — как только про фичу прознают массы, Яндексу придётся её отключить. А если ещё и обиженки найдутся…
                              +1

                              Сейчас много других face finder'ов

                                +2
                                Можно парочку?
                                Вчера хотел фотку с одного подозрительного аккаунта поискать, а оказывается: один из face finder'ов стал закрытым, у второго сервер не отвечает, третий требует номер, но смска от него так и не приходит.
                                  +1
                                  findclone.ru рабочий, правда база ВК кажется у него немного старовата
                                    0
                                    Вот еще: search4faces.com
                                    Этот ищет и в однокласнниках.
                                    Послабее findface и findclone, но пока бесплатный.
                                +2
                                У Googla было качественнее, но потом видимо за разглашение публичных данных, сократили
                                  +6
                                  А ещё надо учесть, что большинство людей и мест, интересующих Bellingcat, находятся в России, где у Яндекса, бесспорно, максимальная обучающая выборка.
                                    0
                                    в скором времени на базе Facebook или Instagram начнёт работать общедоступная программа распознавания лиц, что нанесёт серьёзный удар по конфиденциальности в интернете, но также увеличит эффективность цифровых расследований.
                                    У Фейсбука уже была такая функция — подсказывала посторонних на твоих фотографиях для отметки. Вот из-за возмущений про конфиденциальность доступ к ней и прикрыли.
                                      +1
                                      Просто у яндекса к каждой фоточке досье: имя, адрес, должность.
                                        +3
                                        Недавно ради интереса поискал по своему фото из резюме
                                        Яндекс нашел мне кучу моих же фото, которых я сам никогда раньше не видел.
                                        Я очень удивился
                                          0
                                          Аналогично. Кое-что из своих фото даже решил удалить. Но после удаления с сайтов Яндекс все равно находит.
                                          +1

                                          Я раньше пользовался поиском по картинке Гугла и находил он всё вполне адекватно, потом всё поломали, скорее всего намеренно. Думаю скоро и Яндекс поломали.

                                            +1
                                            Так им никто не рассказзывал что у нас в интернет файл загрузить можно по паспорту и точным координатам, а иначе придется скачать его обратно?
                                              0
                                              +1 к тому, что у гугла искусственно зарезанные алгоритмы в поисковике, в том же google photo он идеально сортирует фотографии по лицам
                                                0
                                                Только белых. Азиатов очень плохо, а про «гориллу» и поиск негроидов много написано выше
                                                0

                                                Blade runner PC game, размывал изображения людей до того, как это стало мейнстримом

                                                • НЛО прилетело и опубликовало эту надпись здесь

                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                  Самое читаемое