Comments 3
научиться классифицировать 41 тысячу с чем-то классов персонажей (если быть точными — 41421), где в каждом классе всего одно изображение
Не понял. Какой смысл классифицировать персонажи, если заранее известно, что любой персонаж присутствует в единственном экземпляре? И как это соотносится с заголовком "мэтчинг", я же правильно понимаю, матчинг - это установить соответсвие между одним персонажем на разных картинках. И последнее, вы прямо использовали классификационную голову из 41 тыс элементов? Или был какой-то трюк?
Многие гравюры в базе данных Британского музея имеют копии, не раскрашенные или раскрашенные в разные цвета; а количество копий у каждой гравюры неизвестно. Наша цель была найти дубликаты персонажей с разных гравюр для каждого из 41 тыс персонажей, если дубликатов не было, то модель выводила просто внешне похожих персонажей на искомого. Это задача мэтчинга, построенного на векторах-аутпутах модели контрастивного подхода.
Про реализацию: разумеется, обучить модель классификации на 41 тыс классов требует очень много ресурсов, и наших вычислительных мощностей и данных не хватило на такую задачу. Поэтому “трюком” было контрастивное обучение, которое, грубо говоря, позволяет сделать векторные представления внешне схожих персонажей максимально близкими друг к другу (более подробный подход описан в статье SimCLR, ссылка на нее есть в посте выше). Поскольку при помощи SimCLR мы получаем вектора, то классификационная голова нам не нужна.
мы их спарсили (исключительно в исследовательских целях) для дальнейших манипуляций.
Хотя на сайте Британского музея написано, что можно использовать изображения только с дозволения музея, — но это неправда. Такие гравюры давно перешли в общественное достояние. Скорее всего, суд внутри Великобритании займёт сторону музея и признает его абсурдные претензии на авторское (!) право в течение двухсот лет. Однако суды во всех других странах не будут защищать претензии этого музея.
Мэтчинг персонажей. Level Hard