Комментарии 3
А наши пользователи вводят "конкретная имевшаяся ввиду рыба", потом пролистывают выдачу, на первом месте которой эта самая "конкретная имевшаяся ввиду рыба", эдак, страницы до пятой, и смотрят один ролик. Как объяснить это поведение, кроме как эффектом от подстановки автокомплита (которую пользователь не заметил), мы не придумали.
А так, во всех метриках в этой статье подразумевается их усреднение по пользователям, за счет чего влияние небольшого числа «нелогичных» пользователей мало заметно.
P.S. Сервис — tumblr? :)
Возможно, Вы правы. Мы только начали собирать метрики с поиска, так что "усреднение" пока не работает — зато как раз этих "сумасшедших" заметили. Зато, судя по MAP20, качество выдачи тем больше, чем популярнее конкретный запрос. 10% запросов у нас в логах пришли больше чем от 20 уников, и по ним метрика максимальная, а к "уникальным" запросам качество заметно просаживается.
X — минимальное число уников, спросивших одно и то же; Y — MAP20
Отсюда встает еще один поведенческий вопрос: а не будет ли определение качества по кликам/покупкам просто следствием того, что переход с 1 на 2 страницу имеет вероятность 50%, с первой на третью — 25%, и т.д? Кстати, а это нормировать как-то можно?
PS. Нет, не tumblr.
Метрики качества ранжирования