Wildberries перезапустила функцию поиска товаров по фото на сайте и в мобильном приложении, в 3 раза увеличив точность распознавания объектов. Обновленная нейросеть, обученная на базе из миллионов наиболее популярных на маркетплейсе товаров, позволяет пользователям эффективнее находить интересующие их предметы по загруженным изображениям, рассказали Хабру в компании.
Новая архитектура поиска, использующая комбинацию нейросетей и векторных баз данных, обеспечивает повышенную релевантность выдачи, предлагая именно тот предмет, который изображён на фото. К примеру, если пользователь ищет кресло конкретного дизайна или свитшот с определенным принтом, система автоматически определит модель, покажет актуальные цены и аналогичные товары.
В мобильном приложении также появилась возможность кадрировать изображение и выделить именно ту область, где находится искомый товар. Таким образом, если на изображении оказалось несколько объектов, пользователь может выделить только зону с той вещью, которую хочется найти на маркетплейсе.
Как и во многих современных рекомендательных системах, для поиска объектов на изображениях применяется векторизация: в базе данных хранятся миллионы векторов фотографий товаров, и загруженная картинка также векторизуется, сравнивается с базой и предлагаются самые близкие по совокупности параметров карточки товаров.
С определением объектов помогает детектор YOLO, а для векторизации найденных объектов производился выбор из самых актуальных эмбединговых моделей с HuggingFace. Мы решили остановиться на BLIP-2 и DinoV2, которые объединили и дообучили на 5 млн изображений и 950 млн параметров.
По сравнению с предыдущей версией, у нового поиска по фото метрика точности распознавания товара выросла более чем в 3 раза.
