Comments 28
Научите пожалуйста Yandex отличать Сокольники от Сокол, а запрос «Купить пиццу» от «Купить проститутку». Ну невозможно так дальше. Пруф versusit.ru/google-vs-yandex
UFO just landed and posted this here
Вот я забыл как зовут певца «Moby», и вначале протестировал коллег — спросил — «лысый белый певец с очками, зарубежный». Один в шутку сказал — Элтон Джон. Так вот оказалось гугл также думает, что это Элтон Джон :) У Яндекса в картинках нашло. У Yahoo, Bing, Duckduckgo на втором месте упоминание какое-то.
Мы стараемся подсвечивать в сниппетах не только слова запроса, но и все используемые синонимы, что помогает пользователю понять, почему он видит тот или иной документ.
Часто кроме синонимов выделяются дополнительные слова, например для «вечерний макияж» это «самостоятельно», «фото» — как выбираются такие слова?
Совершенно верно, спасибо за наблюдение.
В сниппетах действительно подсвечиваются не только слова запроса (вместе с синонимами) — которые поясняют, о каком предмете та или иная страница, но и наиболее типичные намерения пользователя в отношении объекта запроса — которые объясняют, какую задачу он может решить с помощью данной страницы (купить, смотреть, в домашних условиях, отремонтировать).
Это часть механизма «интентный поиск»: clubs.ya.ru/company/55417
В сниппетах действительно подсвечиваются не только слова запроса (вместе с синонимами) — которые поясняют, о каком предмете та или иная страница, но и наиболее типичные намерения пользователя в отношении объекта запроса — которые объясняют, какую задачу он может решить с помощью данной страницы (купить, смотреть, в домашних условиях, отремонтировать).
Это часть механизма «интентный поиск»: clubs.ya.ru/company/55417
Тогда если можно еще один вопрос. Возьмем поисковый запрос «телевизор», по нему в результатах поиска подсвечиваются «купить» и «смотреть онлайн», т.е. это различные намерения пользователя. Вы пишите, что акронимы учитываются при ранжировании документов:
А как обстоят дела со словами, которых нет в запросе пользователя, но которые выражают возможные намерения? Имеются ввиду те слова, которые выделяются в сниппетах, в данном примере это «купить» и «смотреть онлайн». Использование этих слов в тексте документа оказывает влияние на его релевантность запросу? Если да, то может возникнуть интересный курьез. Все тот же запрос «телевизор» в результатах поиска есть страница интернет-магазина на которой пользователю предлагают совершить покупку (потребность «купить»), если добавить на эту же страницу слова «смотреть», «посмотреть», «онлайн», то получится, что данный документ с точки зрения текстовой релевантности начинает отвечать сразу 2 потребностям (просмотр онлайн и покупка), хотя на деле это может быть совсем не так. Учитывается ли данный момент?
У акронимов, особенно 2-3 буквенных — больше всего вариантов расшифровок. Чем больше неоднозначность акронима, тем меньший вес мы даём ему при ранжировании.
А как обстоят дела со словами, которых нет в запросе пользователя, но которые выражают возможные намерения? Имеются ввиду те слова, которые выделяются в сниппетах, в данном примере это «купить» и «смотреть онлайн». Использование этих слов в тексте документа оказывает влияние на его релевантность запросу? Если да, то может возникнуть интересный курьез. Все тот же запрос «телевизор» в результатах поиска есть страница интернет-магазина на которой пользователю предлагают совершить покупку (потребность «купить»), если добавить на эту же страницу слова «смотреть», «посмотреть», «онлайн», то получится, что данный документ с точки зрения текстовой релевантности начинает отвечать сразу 2 потребностям (просмотр онлайн и покупка), хотя на деле это может быть совсем не так. Учитывается ли данный момент?
Отвечает ли страница интенту — Яндекс определяет не по ключевым словам. Поэтому, если вас беспокоит, что конкуренты будут насыщать текст страницы словами интентов, не волнуйтесь — с точки зрения ранжирования это бессмысленно.
Но вообще ваш вопрос относится к интентам — которые похожи на обсуждаемые здесь расширения лишь тем, что тоже подсвечиваются в сниппетах.
Но вообще ваш вопрос относится к интентам — которые похожи на обсуждаемые здесь расширения лишь тем, что тоже подсвечиваются в сниппетах.
Большое спасибо за интересный и информативный пост.
Не могли бы вы, на основании поста подсказать, как попадают следующие сайты в выдачу по написанным ниже запросам?
«тренажер Гоша Воронеж» (робот тренажер для оказания первой помощи) — кроме нормальных результатов выдаются вакансии компании «Рив Гош».
«купить глобус Воронеж» — 1 турагентство, 1 туроператор, 2 сайта про тороговый дом и 1 про книжный магазин. В названии у всех фигурирует глобус.
«купить скелет человека Воронеж» — новость о том, что в Воронеже нашли скелет человека.
«Стерилизатор Воронеж» (явно же имеется в виду прибор) — выдаются сайты о стерилизации кошек
«купить географические карты Воронеж» — зачем в запрос подмешиваются Яндекс-Карты?
Не могли бы вы, на основании поста подсказать, как попадают следующие сайты в выдачу по написанным ниже запросам?
«тренажер Гоша Воронеж» (робот тренажер для оказания первой помощи) — кроме нормальных результатов выдаются вакансии компании «Рив Гош».
«купить глобус Воронеж» — 1 турагентство, 1 туроператор, 2 сайта про тороговый дом и 1 про книжный магазин. В названии у всех фигурирует глобус.
«купить скелет человека Воронеж» — новость о том, что в Воронеже нашли скелет человека.
«Стерилизатор Воронеж» (явно же имеется в виду прибор) — выдаются сайты о стерилизации кошек
«купить географические карты Воронеж» — зачем в запрос подмешиваются Яндекс-Карты?
Даже про глобус более общо спрошу:
Когда идет запрос «купить+название товара+город», то зачастую выдаются компании, в названии которых есть название товара.
Вот ещё примеры таких запросов:
«купить морковь воронеж»
«купить магнит воронеж»
«купить ландыши воронеж»
«купить лес воронеж»
Почему так получается? Неужели Яндекс допускает, что человек, по запросу «купить морковь воронеж» хочет заказать услуги в агентстве Любовь-Морковь?
Когда идет запрос «купить+название товара+город», то зачастую выдаются компании, в названии которых есть название товара.
Вот ещё примеры таких запросов:
«купить морковь воронеж»
«купить магнит воронеж»
«купить ландыши воронеж»
«купить лес воронеж»
Почему так получается? Неужели Яндекс допускает, что человек, по запросу «купить морковь воронеж» хочет заказать услуги в агентстве Любовь-Морковь?
Из перечисленных примеров к расширениям относится разве что стерилизатор. Это хороший пример ошибки на имя деятеля (в данном случае инструмента). Мы расширяем слово, используемое в одном контексте (стерилизатор для бутылочек), другим словом, которое имеет отношение уже ко множеству контекстов (стерилизация кошек, банок). В идеальной ситуации должна была сработать контекстная модель, которая бы исключила это расширение в контексте данного запроса. Но она ошиблась.
Что касается остальных запросов — ошибки выдачи связаны с региональным ранжированием. Чем меньше у Яндекса данных по запросам (мало переформулировок, мало ссылок), тем сложнее сформировать релевантную выдачу. К сожалению, именно этот эффект можно наблюдать на низкочастотных региональных запросах, которые преимущественно и представлены во всех ваших примерах.
Тем не менее, при разработке и совершенствовании поисковых алгоритмов мы пытаемся выделять такие классы запросов, выдачу по которым можно улучшить и на имеющихся данных. Например, с помощью новых факторов машинного обучения — в том числе касающихся тематической рубрикации объектов запроса и определения ролей объектов. В этом направлении мы постоянно совершенствуемся; возможно, при одном из очередных обновлениий выдача по этому классу запросов улучшится.
В любом случае, спасибо за фидбек!
Что касается остальных запросов — ошибки выдачи связаны с региональным ранжированием. Чем меньше у Яндекса данных по запросам (мало переформулировок, мало ссылок), тем сложнее сформировать релевантную выдачу. К сожалению, именно этот эффект можно наблюдать на низкочастотных региональных запросах, которые преимущественно и представлены во всех ваших примерах.
Тем не менее, при разработке и совершенствовании поисковых алгоритмов мы пытаемся выделять такие классы запросов, выдачу по которым можно улучшить и на имеющихся данных. Например, с помощью новых факторов машинного обучения — в том числе касающихся тематической рубрикации объектов запроса и определения ролей объектов. В этом направлении мы постоянно совершенствуемся; возможно, при одном из очередных обновлениий выдача по этому классу запросов улучшится.
В любом случае, спасибо за фидбек!
Вам спасибо за обстоятельный ответ!
Про контекст — был ещё один запрос, который теперь показывается правильно. «Кружки воронеж» (кружки из которых пьют, имелось в виду).
Год назад примерно, по этому запросу выходило 10 сайтов ночных клубов(и подсвечивалось слово клуб).
Я правильно понимаю, что сначала использовался Матрикснет и в общую выдачу добавлялись сайты о крУжках и о кружкАх, потом срабатывали синонимы (кружкИ -> клубы), в выдачу добавлялись сайты клубов(всяких). А потом все это вместе ранжировалось и сайты ночных клубов, как наиболее продвигаемые, выходили на первые позиции?
Про контекст — был ещё один запрос, который теперь показывается правильно. «Кружки воронеж» (кружки из которых пьют, имелось в виду).
Год назад примерно, по этому запросу выходило 10 сайтов ночных клубов(и подсвечивалось слово клуб).
Я правильно понимаю, что сначала использовался Матрикснет и в общую выдачу добавлялись сайты о крУжках и о кружкАх, потом срабатывали синонимы (кружкИ -> клубы), в выдачу добавлялись сайты клубов(всяких). А потом все это вместе ранжировалось и сайты ночных клубов, как наиболее продвигаемые, выходили на первые позиции?
Вот вы ещё говорите про определение ролей объекта. Это что-то типа запросы «избитые милиционерами» и «избитые милиционеры»? (извините за пример, ничего лучше в голову не пришло)
Меняются роли и выдача должны быть совершенно разная. Сейчас же там все вперемешку.
Меняются роли и выдача должны быть совершенно разная. Сейчас же там все вперемешку.
Очень тонкое замечание, тут действительно объекты выступают в разных ролях. Немного улучшить выдачу в данном случае помог бы более жесткий приоритет точной формы, но вмешиваются другие факторы ранжирования. Однако данная проблема не связана напрямую с поисковыми расширениями, об учете синтаксических связей в запросе мы расскажем в другой раз.
Всё супер, ИИ рулит, поиск фореве.
Но, БЛИН, КАК ОТКЛЮЧИТЬ всю эту машинерию, когда она гонит туфту??? Как ею управлять?
Вот у nigma.ru/ в результатах поиска все их расширения в левой колонке выводятся, можно выключить неважные, запретить отвлекающие — очень здорово. Как минимум, увидеть их все. Очень здорово.
Скажите, у них патент на это? Что вам мешает сделать так же и даже лучше?
Но, БЛИН, КАК ОТКЛЮЧИТЬ всю эту машинерию, когда она гонит туфту??? Как ею управлять?
Вот у nigma.ru/ в результатах поиска все их расширения в левой колонке выводятся, можно выключить неважные, запретить отвлекающие — очень здорово. Как минимум, увидеть их все. Очень здорово.
Скажите, у них патент на это? Что вам мешает сделать так же и даже лучше?
Мы даем возможность управлять выдачей, когда знаем, что меняем ее радикально — т.е. большинство результатов найдены не по исходным словам запроса, а по расширениям. В этом случае цена ошибки очень велика, и мы даем пользователю поискать точно так, как он нас спросил.
Например, с теми же цвейгами из статьи — в начале выдачи есть приписка:
Но даже такие подсказки оказываются редко востребованы пользователями.
Например, с теми же цвейгами из статьи — в начале выдачи есть приписка:
В выдачу по запросу «конъюнктивит у цвергшнауцеров» были добавлены результаты по похожим запросам. Искать только «конъюнктивит у цвергшнауцеров»Аналогичные подсказки есть в случае опечаточного исправления.
Но даже такие подсказки оказываются редко востребованы пользователями.
А как вы оцениваете результативность выдачи? Как определяете степень удовлетворения пользователя вашими эвристиками?
Уточню: вы говорите о результативности работы конкретно расширений, или об удовлетворённости пользователя результатами поиска в целом?
А разве «результативности работы конкретно расширений» может оцениваться иначе, как через влияние на «удовлетворённости пользователя результатами поиска в целом»?
А разве «результативности работы конкретно расширений» может оцениваться иначе, как через влияние на «удовлетворённости пользователя результатами поиска в целом»?
Качество расширений может оцениваться, например, их точностью и полнотой (и, конечно, их комбинацией — мы используем F-меру).
Результативность расширений мы оцениваем как их вклад в совокупное качество поиска.
Для измерения совокупного качества поиска мы используем метрику pfound (см. популярный и подробный рассказ), в ней на расширения приходится несколько процентов. Pfound — не единственная метрика, основанная на оценках асессоров, известны также nDCG и другие.
Используем и анализ поведения пользователей, например метрику TDI и A/B тестирование (совсем популярно про них недавно рассказывал Илья Сегалович).
За ссылки — спасибо. Но по сути — 8-О…
F-мера требует измерения «полноты» и «точности». А вот их оценить — задачка не однозначная ни разу. «Оценка совокупного качества поиска» — того же поля ягода. Вы вот pfound используете.
А в «популярной версии» его описания по вашей ссылке — опять же волшебное " А далее мы фактически имеем дело с голосованием пользователей за ту или иную систему ранжирования, о котором они сами не знают. При этом мы, конечно, проводим статистический анализ и видим, значимо ли улучшение или нет. ", про суть которого и пытаюсь выспросить, и волшебная оценка «вероятность того, что пользователь найдет ответ в этом документе». И маги-асессоры, задающие её в одно из четырёх значений с потолка.
И ещё есть иногда метрика счастья на суррогатных задачах, померенная у редких подопытных суррогатных кроликов, и она коррелирует с волшебством.
(Поиск с опорой на личную историю поиска — тоже возмутил — это же палка о двух концах! Этой фичей вы искусственно сужаете кругозор пользователя, делаете вид, что интернет у него маленький. А потом оказывается, что маленький интернет у каждого свой. Как пользователю найти что-то новое, если вы новое от него прячете?)
nDCG — это способ суммировать релевантность, вычисленную опять же волшебным образом. Или релевантность строк выдачи для nDCG тоже назначается асессорами?
В выступлении Ильи Сегаловича упоминается «система проверки качества на поисках.»
Дальше она раскрывается, в частности так:
TDI: «Делается простое действие. Вместо того, чтобы показывать систему А одной группе пользователей, а B — другой, результаты смешиваются. При смешивании выдачи двух систем, с разной вероятностью подставляя либо систему А, либо систему B, такой способ оказывается лучше потому, что Яндекс одному и тому же пользователю показывает сразу две выдачи, и пользователь выбирает тот результат, который ему нравится. Так улучшается и меняется формула выдачи для того, чтобы она удовлетворяла пожеланиям реальных людей, а не чьим-то представлениям о прекрасном. „
Что ж, это занятный вариант. Какое из двух зол выберет пользователь, чтоб тыкнуть и огорчиться?
Дальше проскакивает фраза “кликабельность с учетом персонализации выросла на 5-6%». Это ещё одна метрика, ранее не упоминавшаяся. Неужто считается, что чем больше ссылок со страницы выдачи откроет пользователь, тем лучше? Или это иначе посчитанное то, что дальше описано как «Если при поиске на треть чаще выбирается первый результат — это значительный прорыв.»?
Идеальный поиск, на мой взгляд — это тот, что выдаст первой строкой самое релевантное для меня, если оно есть, а в остальных — представит максимально широкий обзор аналогов и альтернатив, и позволит его уточнить и скорректировать. Но первое и второе — слабо достижимо, хоть вы к этому и стремитесь, а третье — вы почему-то не даёте. Вот как посмотреть, какие библии бывают, если все самые хорошие поисковики показывают только христианскую, и считают это большим достижением?
F-мера требует измерения «полноты» и «точности». А вот их оценить — задачка не однозначная ни разу. «Оценка совокупного качества поиска» — того же поля ягода. Вы вот pfound используете.
А в «популярной версии» его описания по вашей ссылке — опять же волшебное " А далее мы фактически имеем дело с голосованием пользователей за ту или иную систему ранжирования, о котором они сами не знают. При этом мы, конечно, проводим статистический анализ и видим, значимо ли улучшение или нет. ", про суть которого и пытаюсь выспросить, и волшебная оценка «вероятность того, что пользователь найдет ответ в этом документе». И маги-асессоры, задающие её в одно из четырёх значений с потолка.
И ещё есть иногда метрика счастья на суррогатных задачах, померенная у редких подопытных суррогатных кроликов, и она коррелирует с волшебством.
(Поиск с опорой на личную историю поиска — тоже возмутил — это же палка о двух концах! Этой фичей вы искусственно сужаете кругозор пользователя, делаете вид, что интернет у него маленький. А потом оказывается, что маленький интернет у каждого свой. Как пользователю найти что-то новое, если вы новое от него прячете?)
nDCG — это способ суммировать релевантность, вычисленную опять же волшебным образом. Или релевантность строк выдачи для nDCG тоже назначается асессорами?
В выступлении Ильи Сегаловича упоминается «система проверки качества на поисках.»
Дальше она раскрывается, в частности так:
TDI: «Делается простое действие. Вместо того, чтобы показывать систему А одной группе пользователей, а B — другой, результаты смешиваются. При смешивании выдачи двух систем, с разной вероятностью подставляя либо систему А, либо систему B, такой способ оказывается лучше потому, что Яндекс одному и тому же пользователю показывает сразу две выдачи, и пользователь выбирает тот результат, который ему нравится. Так улучшается и меняется формула выдачи для того, чтобы она удовлетворяла пожеланиям реальных людей, а не чьим-то представлениям о прекрасном. „
Что ж, это занятный вариант. Какое из двух зол выберет пользователь, чтоб тыкнуть и огорчиться?
Дальше проскакивает фраза “кликабельность с учетом персонализации выросла на 5-6%». Это ещё одна метрика, ранее не упоминавшаяся. Неужто считается, что чем больше ссылок со страницы выдачи откроет пользователь, тем лучше? Или это иначе посчитанное то, что дальше описано как «Если при поиске на треть чаще выбирается первый результат — это значительный прорыв.»?
Идеальный поиск, на мой взгляд — это тот, что выдаст первой строкой самое релевантное для меня, если оно есть, а в остальных — представит максимально широкий обзор аналогов и альтернатив, и позволит его уточнить и скорректировать. Но первое и второе — слабо достижимо, хоть вы к этому и стремитесь, а третье — вы почему-то не даёте. Вот как посмотреть, какие библии бывают, если все самые хорошие поисковики показывают только христианскую, и считают это большим достижением?
Вы совершенно правы. И у методов основанных на асессорских оценках, и на поведении конечных пользователей, есть масса ограничений — связанных прежде всего с человеческим фактором. Мы их прекрасно знаем и осознаём. Пока в отрасли не найдено более совершенных способов измерения, хотя исследования в этой области активно ведутся.
Из инструментов корректировки и уточнения выдачи мы уже упоминали интентные подсказки — с ними мы собираемся действовать смелее, давая возможность сортировать выдачу не только по интентам пользователя, но и по основным параметрам объекта, например цене, актуальности и т.п. Кроме того, у нас давно есть связные запросы. Этот механизм мы тоже будем развивать, и его репрезентативностью планируем заниматься.
Из инструментов корректировки и уточнения выдачи мы уже упоминали интентные подсказки — с ними мы собираемся действовать смелее, давая возможность сортировать выдачу не только по интентам пользователя, но и по основным параметрам объекта, например цене, актуальности и т.п. Кроме того, у нас давно есть связные запросы. Этот механизм мы тоже будем развивать, и его репрезентативностью планируем заниматься.
Ух ты, как у Нигмы интересно сделано, оказывается.
Есть такая модель автомобиля (продается в России) — Ставик. Но Яндекс из него делает «ставки»
yandex.ru/yandsearch?text=ставик
yandex.ru/yandsearch?text=ставик
Да, имеет место ошибочное автоисправление опечатки. Марка машины редкая, а слово «ставки» очень частотное. Тем не менее, возможность поискать «Ставик» остается за ссылкой:
В запросе «ставик» была исправлена опечатка
В запросе «ставик» была исправлена опечатка
Sign up to leave a comment.
Искусство понимать с полуслова. Расширение запроса в Яндексе