Первый релиз открытого инструмента для тестирования поиска по продуктам
В нескольких недавних постах обсуждался многообещающий и достаточно простой способ оценки качества поиска по продуктам с использованием намерений. Спешим представить открытый автоматизированный инструмент для такого рода тестирования — Intent-based Search Quality. Идея сводится к использованию заранее подготовленных «фокусированных» запросов, ценность которых заключается в их прямолинейности и однозначной интерпретации.
Если вас заинтересовал подход, обязательно обратите внимание на пост “Я намереваюсь купить” или самый простой способ оценить качество продуктового поиска. Переход от стандартного A/B тестирования к тестированию с использованием намерений может показаться не совсем очевидным.
Суть подхода
«Фокусированные» запросы предоставляют очень простой и достаточно надежный способ для валидации результатов поиска. В первом приближении, к слову, его реализация может сводиться к проверке наличия всех ключевых слов из запроса в названии возвращаемых продуктов.
Естественно, позиция продукта в финальной выдаче тоже важна. Для поиска в мобильном приложении, например, куда критичнее первый результат и несколько последующих. Для обычного поиска (привычный десктоп) все сводится к наличию релевантных результатов на первой странице.
Насколько хорош поиск Walmart?
Я намереваюсь купить — действительно мощный подход, поскольку совершенно не требует «ручной» валидации результатов поиска. Давайте попробуем узнать насколько хорош Walmart (в данном случае продолжим использовать пакет запросов для бренда fiskars). Итак, «fiskars steel chopping axe»:
А давайте это все автоматизируем
В принципе результат кажется хорошим, но присмотревшись легко можно заметить совершенно нерелевантные опции. Выполнить необходимые проверки без участия человека достаточно легко, заглянем в отчет:
Результат негативный, поскольку в финальном наборе слишком много действительно нерелевантных продуктов (нем не нужен колун и мачете тоже заберите). Естественно, оценочную функцию легко заменить на менее «агрессивную». В последующих версиях надеемся реализовать более гибкий скоринг продуктов и расширить базовый функционал.
Вердикт
В текущем варианте Walmart не впечатлил, его Fiskars-рейтинг не очень высок:
Не стоит думать, что все совсем плохо. Во многих, даже не самых тривиальных, случаях результаты корректны, но для дальнейшего улучшения поиска как раз необходимо подсветить все потенциально проблемные моменты. Используя предлагаемый инструмент всегда есть возможность:
- перейти на другой скоринг
- убрать неугодные запросы
- поправить поиск :)
Предоставим вам возможность оценить сложность запросов: