Глубокое обучение для идентификации картин

[Exchan-ge]

Задача идентификации картин состояла в том, чтобы по изображению, приходящему от мобильного приложения, найти в базе данных соответствующую картину, затратив на это менее одной секунды.

Это не так актуально.
Гораздо интереснее функция, позволяющая найти нужное изображение по его словесному описанию.
Например: молодой человек и девушка стоят у телескопа на вершине горы. Молодой человек стоит к зрителю спиной, а девушка — лицом.
(Картина достаточно хорошо известная )

А также пример неверного срабатывания идентификации по ключевым точкам

Хороший функционал для поиска родственников

[CryptoPirate]

Очень круто!
Особенно интересна возможность находить похожие картины. Многие художники копировали известные работы или просто подражали существующим во время обучения.

[VladVin]

Классная статья и интересный подход. Только в таблицу с замерами я бы добавил единицы измерения времени.

[FelisRattus]

Спасибо, добавил перед таблицей что время в секундах.

[CryptoPirate]

Вы пробовали прогнать ваш софт по картинам типа как у Джованни Паоло Панини?
У него есть Картинная галерея с видами античного Рима и Картинная галерея с видами современного Рима.
Есть ещё Давид Тенирс Младший, у него такого добра тоже много.

[FelisRattus]

Только что попробовал, находит в целом как надо, если удастся поймать картину в кадр.
И даже некоторые фрагменты, если они в базе есть.

[Imrais]

для сиамской сети не могу понять смысл лосс функций max( d(a,p) — d(a,n) + margin). как я понимаю должно быть max( d(a,p) — d(a,n) + margin, 0)? возможно я зануда

[FelisRattus]

Да, вы правы. Исправил.

[4knowledge]

Недавно проходило похожее по задаче соревнование www.kaggle.com/c/landmark-retrieval-challenge
Методы были по-мощнее, правда таких требований к скорости не было

[Kwent]

Судя по первому месту подход примерно тот же (фича экстратор значительно мощнее, да), а суть примерно та же — взяли фичи, загнали в knn (они говорят, что ключевые точки у них не взлетели), что лишний раз показывает применимость подобного подхода.
А вот DBA их интересная вещь, похожа на mixup на первый взгляд, в любом случае, спасибо за интересную наводку.