«Яндекс» обновил алгоритмы поиска по картинкам, теперь система одновременно анализирует изображение и текст на странице, где оно размещено. Это позволяет учитывать возможные расхождения между фотографией и её описанием, рассказали Хабру в пресс‑службе компании.
Раньше «Поиск» анализировал изображение и текст отдельно. Теперь эти данные оценивают вместе. В результате система должна точнее определять объект на фотографии в случаях, когда текстовое описание содержит ошибку или относится к другой модели.
Изменение актуально для поиска товаров, автомобилей, смартфонов, одежды, мебели и других объектов, которые могут быть похожи друг на друга. Например, если на странице показана фотография одной модели телефона, а в описании указана другая, алгоритм может определить модель по самому изображению и учесть это при формировании результатов.
В компании сообщили, что после внедрения новой технологии доля релевантных изображений в верхней части выдачи увеличилась.
В основе обновления лежит мультимодальная модель, которая обрабатывает изображения и текст совместно. Чтобы использовать её в поиске без увеличения времени ответа, «Яндекс» обучил большую модель, а затем разработал на её основе несколько более компактных моделей для разных этапов обработки. Часть наиболее ресурсоёмких вычислений выполняется заранее.
