Исследователи из НИУ ВШЭ разработали алгоритм, определяющий по фотографиям пользователя в галерее его предпочтения и интересы. Сообщается, что алгоритм работает на 2-12% точнее аналогов. Разработку можно будет использовать для персонализации товаров и контента.
Исследователи опубликовали работу в журнале Pattern Recognition. Отмечается, что рекомендательные алгоритмы обычно используют текстовые данные, а учёные из НИУ ВШЭ в Нижнем Новгороде и Санкт-Петербургского отделения Математического института имени В. А. Стеклова РАН разработали модель, которая использует для построения рекомендаций фотографии.
В системе задействованы две нейронные сети, работающие одновременно. Первая распознаёт объекты на фотографиях, а вторая классифицирует их, определяя место, в котором была сделана фотография, распознаёт возраст и пол людей на снимках, различает транспортные средства, музыкальные инструменты, предметы и продукты питания. Также система может распознавать сценарии. К примеру, если фотография была сделана в тёмное время суток или на закате, то нейросеть отметит это.
Исследователи отметили, что во время разработки старались сохранить безопасность пользовательских данных. Для этих целей использовали нейронные сети, оптимизированные для мобильных платформ. На обработку каждой фотографии система тратит 30-100 мс.
В ходе испытаний исследователи установили, что их решение работает на 2-12% точнее аналогов. Также команда учёных разработала тестовое мобильное приложение, которое по фотографиям пользователя подбирает 10 подходящих ресторанов.
