Ещё один поиск Вк по фото

[rsashka]

Спасибо, было интересно, лишь бы теперь вас не посадили (сарказм).

[AivanF]

Благодарю :)

[IAChernyshov]

За что, собственно, должны посадить?

[leventov]

del

[Bonio]

Как оптимизировать поиск картинок по базе перцептивных хешей в mysql? Там тоже идёт сравнение расстояния между хешами и делаются битовые операции между искомым хешем и всеми сохраненными в базе. Делается одим запросом, но при этом обходится вся база целиком.

[AmberSP]

nmslib, annoy

[Celsius]

Потратить время и ресурсы, но не получить профита это печально.
Тогда ведь уже был faiss и всякие навороты для СУБД, позволяющие делать моментальный поиск векторов разными метриками, всяко шустрей самописных велосипедов.

У меня тоже были мечтания о таком сервисе, но масштабами побольше — захватить твиттер и фейсбук, можно даже собирать имена, номера телефонов, социальные связи.
Самое сложное это воркеры, как ни странно, но общедоступная информация не доступна, поэтому паукам надо имитировать пользователей, долго и нудно вытаскивать информацию. Даже если учесть, что новые пользователи появляются медленней чем происходит индексация, мощности нужны впечатляющие, арендовать ботнет эффективней и дешевле, чем законно арендовать мощности датацентров.

145% у некоторых государств есть такие сервисы для спецслужб, социальные сети это просто потрясающий кладезь информации, которую пользователи сами несут.

[al_sh]

Для поиска евклид/косинус пользуют что-то типа faiss/HNSW, иначе, довольно скоро станет больно любой СУБД

[AivanF]

Библиотека face_recognition, основанная на плюсовой DLib. Да, у них был такой момент, что они выиграли даже международное соревнование со своим алгоритмом, но с т.з пользователей это совсем не важно ведь, для них фича была именно в более-менее точном и быстром поиске профилей Вк по фото лица, а уж что там под капотом их мало интересует.

[kova7ev]

FindClone.

[Destructive]

Это он и есть.

[galqiwi]

Помню, что, когда два года назад я запустил face_recognition, он одну фотографию обрабатывал за ~секунду, что много. А какая у вас получилась скорость обработки? Сколько/на скольки ядрах фотографий в секунду?

[nidalee]

А так получается что есть люди первого сорта у которых есть кнопка и второго — без. И разрыв в возможностях только растёт.

Я думаю, что в скором времени такой сервис появится в дарквебе, как всегда бывает с данными для спецслужб. Если не уже. Причем скорее всего это тот же findface.
Вопрос будет только в скорости доступа к этому счастью — Tor все-таки.

[DmitryIQB]

Отличная статья! Респект)

[AivanF]

Спасибо :)

[SerJ_82]

Так ведь Файндфейс до сих пор работает, только называется findclone))
Сколько писал разрабам — вообще не отвечают… Интересовала возможность настройки поисковой выдачи.

[alexeishch]

Довольно интересно. Я пробовал dlib/facerecognition — но питон мне меньше нравится в итоге я питоновские байдинги переделал в extern C и импортировал в C#. Вышло довольно неплохо, но точность высокая только для хороших фотографий, когда лицо не повернуто. Иначе там получается много с дистанцией ~0.5 что уже ближе чем значение отсечки 0.6, но тем не менее степень похожести недостаточная.
Еще любопытный момент, у dlib на CUDA и на AVX2 отличаются результаты вычисления вектора для одного и того же лица. Я спросил у автора библиотеки про это — он ответил что это не баг, а фича.

В целом это интересная тема для разобраться — но в дальнейшем она никак не пригодится. В облаках есть свои АПИ для этого, а в России чуть ли ни несколько коммерческих продуктов которые это умеют делать лучше чем dlib.

В дальнейшем можно было бы самому научить нейросеть на основе выкачанных данных — но видеокарты нынче дорогие