Откуда нейросети берут информацию и почему для ответов ChatGPT и Claude сайту бренда мало топа Яндекса

[batony9131]

Первое, что стоит оговорить по методике. 89% — это доля процитированных страниц, которые нашлись в Brave, а не доля страниц из топ-20 Brave, которые были процитированы. Разница принципиальная. Brave индексирует заметно меньше, чем Google или Bing, поэтому его топ-20 — уже отфильтрованное подмножество, и высокая доля попаданий на таком знаменателе получается почти автоматически. Из неё не следует, что попадание в Brave даёт цитирование.

Чтобы это утверждать, нужен обратный замер: взять топ-20 по подзапросам и посчитать, сколько из них реально попало в ответ. Если у Peec он есть, он был бы сильнее приведённого.

Второе, из практики. В цепочке «подзапрос → выдача → цитата» есть шаг, который стоит до выдачи и в статье не разобран: страницу ещё надо скачать. У нас по логам трёх своих сайтов видно, что ClaudeBot и OAI-SearchBot заходят на порядок реже, чем GPTBot, и это не связано с позициями. Если на этом шаге отдаётся 206, режет WAF или robots закрывает бота, страница не попадёт в ответ при любом месте в Brave. Позиции в Brave — необходимое условие, но не достаточное, и проверять их имеет смысл после того, как все нужные боты стабильно получают 200.

Вопрос: в замере учитывалось, что часть страниц из выдачи могла быть недоступна краулеру на момент ответа? Было бы интересно, сколько из 11% «ненайденных» — это как раз недоступные.

[Hilstep]

Интересная статья спасибо. Вроде догадывался об предвзятости, ну теперь можно сказать - "а я так и знал!" опираясь на факты