“Зачем вам шуруповерт, возьмите лучше этот чудесный самокат”, — наверняка вам знакома похожая ситуация. Современные интернет-магазины (а уж тем более маркетплейсы) озадачивают потенциального покупателя такой горой нерелевантных товаров, что, порой, может возникнуть желание обратиться в старый добрый специализированный магазин с двумя опциями и продавцом-экспертом.
Попробуем взглянуть на проблему со стороны спецов, которые всеми силами стараются улучшить продажи в своем интернет-магазине. С ростом ассортимента, поиск становится ключевым компонентом, стабильность и качество которого влияет на прибыль непосредственно.
Другими словами, стратегия “раз, раз и в продакшн” может ощутимо повлиять на плотность волосяного покрова ответственных индивидуумов. А постоянное тестирование и, уж простите, достаточно покрытие — очень даже хороший путь в мир добрых единорогов и безоблачной беспроблемности. Но как?
Рассмотрим возможные альтернативы (автор позволил себе упростить некоторые моменты, ради привлечения сестры таланта).
Дружненько садимся и ручками проверяем основные поисковые запросы. Топ1000 будет достаточно? Или может лучше Топ10000? А вдруг в длинном “хвосте” редких запросов зарыт существенный процент прибыли? Ой, а для каждого нового инкремента нужно все повторить?
Собственно, необходимо постараться ответить на два простых (на первый взгляд) вопроса:
Сколько продуктов, из выбранных, являются релевантными? (Precision)
Сколько релевантных продуктов выбрано? (Recall)
Минутка занудства:
Сложность, очевидно, в необходимости знать какие продукты релевантны для каждого конкретного запроса. По сути, речь идет о “золотом наборе” результатов поиска, с которым и необходимо сравнивать текущие результаты. Таких наборов необходимо много (для каждого запроса, в котором мы заинтересованы), кроме того, наборы не являются статичными: появление новых продуктов или окончание продаж старых — однозначный повод перестроить “золотые наборы”. Как минимум, в рамках одной категории.
Одним словом — не самый простой способ. От слова очень.
CTR необходимо мониторить всегда, но в контексте рассматриваемой задачи это тот случай, когда если и что-то заметил, то все равно уже поздно. Полезно? Безусловно. Решает проблему? Однозначно нет, поскольку о проблеме лучше знать до того, как о ней узнает покупатель.
Очень интересно, но как? И, самое главное, кем? Краудсорсинг с выборочной и кросс проверкой? Девочки из HR отдела? Тот случай, когда очень хочется позвать добрых добрых роботов и нагрузить их работой по самое небалуйся. Роботу не тяжело!
Стойте, стойте, это все хорошо, но можно тоже самое, но проще и дешевле?
Intent-based поиск уже давно не новость, но как намерения могут помочь упростить и, что очень важно, автоматизировать проверку поиска? Рассмотрим простой пример, некто очень хочет приобрести Leatherman Skeletool. Указанные ключевые слова однозначно описывают конкретный продукт (опустим цвет).
Итак, имея вполне однозначное желание, человек отправляется в интернет-магазин в надежде оформить заказ как можно быстрее (кому интересно терять время на несущественные мелочи). Отметим еще раз: поисковый запрос однозначно описывает желание человека. Более того, запрос выглядит вполне достаточным для валидации поиска.
Walmart, кстати, мог бы и лучше постараться.
А есть ли другие, подобные, запросы, которые однозначно описывают намерения покупателя? На самом деле таких запросов очень много. Обобщив, можно выделить как минимум два класса поисковых запросов:
Таким образом, не так сложно создать полностью автоматизированный инструмент для базовой валидации поискового решения. Процент покупателей с четкими намерениями достаточно велик (зависит от конкретного магазина), более того, именно покупатели с четкими намерениями быстро теряют терпение, не получая желаемого. Eще один пример безальтернативных результатов — Maxxis Bighorn:
К слову, «негативные варианты» очень важны важны. Например, если в ассортименте магазина нет некоторых продуктов, не стоит их “находить”. И уж тем более смешными выглядят результаты, полученные путем неоправданного упрощения исходного поискового запроса (очень старый подход, к слову):
Распознавание и правильная работа с намерениями покупателя — ключ к успеху. Следующая статья будет посвящена автоматизированному инструментарию и существенной экономии бюджета на тестировании. Качественный поиск без большой команды тестеров вполне реален.
Попробуем взглянуть на проблему со стороны спецов, которые всеми силами стараются улучшить продажи в своем интернет-магазине. С ростом ассортимента, поиск становится ключевым компонентом, стабильность и качество которого влияет на прибыль непосредственно.
Другими словами, стратегия “раз, раз и в продакшн” может ощутимо повлиять на плотность волосяного покрова ответственных индивидуумов. А постоянное тестирование и, уж простите, достаточно покрытие — очень даже хороший путь в мир добрых единорогов и безоблачной беспроблемности. Но как?
Рассмотрим возможные альтернативы (автор позволил себе упростить некоторые моменты, ради привлечения сестры таланта).
АБ тестирование
Дружненько садимся и ручками проверяем основные поисковые запросы. Топ1000 будет достаточно? Или может лучше Топ10000? А вдруг в длинном “хвосте” редких запросов зарыт существенный процент прибыли? Ой, а для каждого нового инкремента нужно все повторить?
F-measure (Precision/Recall)
Собственно, необходимо постараться ответить на два простых (на первый взгляд) вопроса:
Сколько продуктов, из выбранных, являются релевантными? (Precision)
Сколько релевантных продуктов выбрано? (Recall)
Минутка занудства:
Сложность, очевидно, в необходимости знать какие продукты релевантны для каждого конкретного запроса. По сути, речь идет о “золотом наборе” результатов поиска, с которым и необходимо сравнивать текущие результаты. Таких наборов необходимо много (для каждого запроса, в котором мы заинтересованы), кроме того, наборы не являются статичными: появление новых продуктов или окончание продаж старых — однозначный повод перестроить “золотые наборы”. Как минимум, в рамках одной категории.
Одним словом — не самый простой способ. От слова очень.
Clickthrough rate (CTR)
CTR необходимо мониторить всегда, но в контексте рассматриваемой задачи это тот случай, когда если и что-то заметил, то все равно уже поздно. Полезно? Безусловно. Решает проблему? Однозначно нет, поскольку о проблеме лучше знать до того, как о ней узнает покупатель.
Субъективная оценка релевантности?
Очень интересно, но как? И, самое главное, кем? Краудсорсинг с выборочной и кросс проверкой? Девочки из HR отдела? Тот случай, когда очень хочется позвать добрых добрых роботов и нагрузить их работой по самое небалуйся. Роботу не тяжело!
Стойте, стойте, это все хорошо, но можно тоже самое, но проще и дешевле?
Четкие намерения сильно упрощают оценку качества поиска
Intent-based поиск уже давно не новость, но как намерения могут помочь упростить и, что очень важно, автоматизировать проверку поиска? Рассмотрим простой пример, некто очень хочет приобрести Leatherman Skeletool. Указанные ключевые слова однозначно описывают конкретный продукт (опустим цвет).
Итак, имея вполне однозначное желание, человек отправляется в интернет-магазин в надежде оформить заказ как можно быстрее (кому интересно терять время на несущественные мелочи). Отметим еще раз: поисковый запрос однозначно описывает желание человека. Более того, запрос выглядит вполне достаточным для валидации поиска.
Walmart, кстати, мог бы и лучше постараться.
А есть ли другие, подобные, запросы, которые однозначно описывают намерения покупателя? На самом деле таких запросов очень много. Обобщив, можно выделить как минимум два класса поисковых запросов:
- Запросы с уникальным названием конкретного продукта
- Запросы с уникальным названием бренда и конкретного продукта
Таким образом, не так сложно создать полностью автоматизированный инструмент для базовой валидации поискового решения. Процент покупателей с четкими намерениями достаточно велик (зависит от конкретного магазина), более того, именно покупатели с четкими намерениями быстро теряют терпение, не получая желаемого. Eще один пример безальтернативных результатов — Maxxis Bighorn:
Плохие стратегии или к вам идет Skelita
К слову, «негативные варианты» очень важны важны. Например, если в ассортименте магазина нет некоторых продуктов, не стоит их “находить”. И уж тем более смешными выглядят результаты, полученные путем неоправданного упрощения исходного поискового запроса (очень старый подход, к слову):
Распознавание и правильная работа с намерениями покупателя — ключ к успеху. Следующая статья будет посвящена автоматизированному инструментарию и существенной экономии бюджета на тестировании. Качественный поиск без большой команды тестеров вполне реален.
Разное
- Во время написания статьи ни один поисковый сервис не пострадал (но покраснели многие).
- «Плохой» поиск в Mvideo
- Смешных человечков можно взять тут.
- Автор не рекомендует покупать skeletool (хрупкий), а шины норм :)