Хабр Курсы для маркетологов
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Маркетинг и контент доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 35
Ну вы молодцы, провели целое испытание, я всегда знал, но вот как, было интересно почитать
Честно и списком
Надо провести расследование, почему ИИ так сильно хочет всегда казаться честным и почему так любит списки. :D
Тестировали ли вы влияние llms.txt на попадание в источники? Интересует именно уровень ретривала - помогает ли файл системе выбрать нужный фрагмент, или это работает только как сигнал индексатору задолго до генерации?
Не совсем понятно, что вы вскрывали. Чатгпт если что-то ищет, она ищет на серверной стороне, а юзеру присылает только ссылки. Их и так видно в ответе. А вы что нашли? Что выдача не совпадает с тем что в голом бинг? Ну да, ллмка же это все прочитала и отфильтровала.
Поздравляю с открытием)
Давно использую DeepSeek в качестве поисковика по техническим вопросам. Выдача гораздо более релевантная, чем у гугла и подшакальников. ДакДак открываю, только когда ищу конкретный сайт или товар по уже известному названию.
Почему не Перплексити? Он даже в бесплатной версии лучше ищет.
Одинаково он ищет. А DeepSeek я просто использую для всего: для кодинга, проверки правописания и переводов в браузере, сортировки файлов по смыслу: ну вот и это заодно тоже.
Попробовал наконец Perplexity в бесплатной версии, и теперь готов сказать ,почему.
Perplexity все ссылки, по которым отвечал, вываливает списком в конце ответа. Там и релевантные и нерелевантные, и вообще. DeepSeek выводит ссылки после каждого абзаца текста, только те ссылки, которые относятся к этому абзацу. Это, как говорят на Тибете, две большие разницы.
Есть локальная программа AnythingLLM. В неё можно подключить поисковики ДакДак и Brave. И любую LLMку, хоть локальную: суммаризировать тексты много ума не надо. Получится точный клон этого Perplexity, только локальный и не клянчит денех. Я сравнивал: ответы 1-в-1 и ссылки те же.
А вот DeepSeek намного лучше. Был. Последние 3 дня у него (у веб-чата) шиза: говорит только по китайски. Надеюсь починят.
Подскажите, почему когда ИИ ссылается на источник, то зачастую именно этой инфы там не обнаруживается? В оригинале обнаруживается нечто похожее, но иногда с обратным смыслом. Понятно, что это пресловутое ии-галлюционирование, но оно же должно быть в разумных рамках?
То же интересно, обнаруживал и у Перплексити и у Джемини и у Дипсика. Ссылка есть, но материала соответствующего ответу нет, а порой и ссылки такой не бывает вовсе.
А вы отзыв с конкретными данными отправляли разработчикам и самой модели? После ручной откалебровки, и годы обучения модели - я получила тот инструмент, который является агентом и помощником. Поэтому, только через тернии к звезда, самим все настраивать и доводить до ума модель, с которой Вы работаете.
Подозреваю, потому что обучение / промпт конкретной модели обязывает её сделать столько-то поисковых запросов, обработать столько-то источников и прикрепить их, даже если полезной для конкретного запроса информации в этих источниках не оказалось и ответ генерировался "из головы".
Пользуюсь ChatGPT. Обращал внимание, что когда просишь источники он начинает очень глубоко копать в поиске ответа. Ремонтировал машину и попросил схему питания с источниками, чтобы не фантазировал. Так он мне выдал ссылку на статью 2003 года, которую по его словам нашел через какой-то форум и веб архив, просто так через поисковик попасть на сайт нельзя. К слову, статья была очень информативная и сильно помогла.
Угу, chatgpt жжёт в поиске, и видео проверит и форумы... Гугл, в отличие от него - вообще херню какую-то лепит, не проверяет нифига. Несколько раз было такое, что переключаешь гугловый ИИ в думающий режим и он выдает совершенно противоположный ответ, буквально - первый ответ начинается с "Yes, ....", второй, после переключения - "No, ...".
Сеошники нашли новую кормушку - теперь будут продавать клиентам шаманские обряды по оптимизации контента под массивы протобуфа джемини
откуда берутся «источники» в ответах
Изначально подумал, что в статье будет рассмотрено как работает цитирование с сайтов у чат-ботов (особенно после фразы "мы вскрыли трафик"). А оказалось, что это просто разбор запросов, которые приходят с сервера. Не хочу быть душным, но оно и так очевидно, что сервер присылает их. 🥲
Аналогично)
Анекдот про научную статью о примерно троекратной зависимости между диаметром муравейника и его периметром.
Возможно это сниппеты с поисковой выдачи по группе подзапросов к поисковику, релевантных запросу от пользователя.
Разбиваем запрос пользователя на поисковые запросы
Делаем переранжирование результатов
Собираем "реферат" и отправляем пользователю.
На тарифе Tier 1 Google GenAI включено 5000 бесплатных запросов, потом $14 за 1000.
Выглядит ответ ИИ с включённым поиском примерно вот так:
{
"candidates": [
{
"content": {
"parts": [
{
"text": "Spain won Euro 2024, defeating England 2-1 in the final. This victory marks Spain's record fourth European Championship title."
}
],
"role": "model"
},
"groundingMetadata": {
"webSearchQueries": [
"UEFA Euro 2024 winner",
"who won euro 2024"
],
"searchEntryPoint": {
"renderedContent": "<!-- HTML and CSS for the search widget -->"
},
"groundingChunks": [
{"web": {"uri": "https://vertexaisearch.cloud.google.com.....", "title": "aljazeera.com"}},
{"web": {"uri": "https://vertexaisearch.cloud.google.com.....", "title": "uefa.com"}}
],
"groundingSupports": [
{
"segment": {"startIndex": 0, "endIndex": 85, "text": "Spain won Euro 2024, defeatin..."},
"groundingChunkIndices": [0]
},
{
"segment": {"startIndex": 86, "endIndex": 210, "text": "This victory marks Spain's..."},
"groundingChunkIndices": [0, 1]
}
]
}
}
]
}
Меня больше всего пугает, что ChatGPT иногда в источниках кидает ссылки на приватные видео на ютубе с несколькими просмотрами, доступ к которым только по ссылке.
Копайте глубже и вы узнаете как выглядит api предоставляемый сервисами с которым любой может и так ознакомится. Разница только как разработчик реализовал прокладку на сервере ИИ и тут уже влияют политика, корпоративные тонконкости, а у кого свои личные представления каком виде конечному пользователю правильно.
Сравнил вашу статью с независимыми исследованиями (Seer Interactive, Ahrefs, Josh Blyskal, AirOps). Вот фактические некорректности:
1. КРИТИЧЕСКОЕ ПРОТИВОРЕЧИЕ: 3,3% vs 87% совпадений с Bing
Ваше утверждение: 3,3% (4 из 120 позиций)
Seer Interactive (500+ цитат): 87% из топ-20 Bing (https://www.sostav.ru/blogs/291003/89895)
Разница: вы сравниваете топ-10, Seer использует топ-20 — разные метрики
2. ЛОЖНОЕ УТВЕРЖДЕНИЕ: 0% с Google
Ваше утверждение: “У ChatGPT — ноль совпадений с Google”
Ahrefs (15,000 запросов): 12% в топ-10 Google (https://www.yalstudio.ru/company_news/issledovanie-tolko-12-url-adresov-tsitiruemykh-ii-ranzhiruyutsya-v-top-10-google-po-iskhod)
Josh Blyskal (240M цитат): 33% overlap с Google в июле 2025 (https://www.linkedin.com/posts/joshua-blyskal_chatgpt-is-leaving-bing-behind-fast-i-analyzed-activity-7356003020830085121-7H8P)
Seer: 56% цитат также в Google (средняя позиция 17) (https://swingintel.com/blog/how-chatgpt-sources-the-web)
Ошибка: 0% vs 12-56% — критическое искажение фактов
3. ЛОЖНОЕ ЗАКЛЮЧЕНИЕ: ChatGPT не цитирует Bing
Ваше утверждение: “У ChatGPT — ноль совпадений с обоими поисковиками”
Seer: 87% из топ-20 Bing (https://swingintel.com/blog/how-chatgpt-sources-the-web)
Blyskal (апрель 2025): 26% overlap с Bing (https://www.linkedin.com/posts/joshua-blyskal_chatgpt-is-leaving-bing-behind-fast-i-analyzed-activity-7356003020830085121-7H8P)
Ошибка: ChatGPT ЦИТИРУЕТ Bing — подтверждено множественными исследованиями
4. НЕУЧЁТ ЭВОЛЮЦИИ ALGORITHMA
Josh Blyskal данные (240M цитат) (https://www.linkedin.com/posts/joshua-blyskal_chatgpt-is-leaving-bing-behind-fast-i-analyzed-activity-7356003020830085121-7H8P):
Апрель 2025: 26% Bing, 12% Google
Июль 2025: 8% Bing, 33% Google (Google surged!)
Ваш замер: “в один день” без указания даты
Ошибка: не учитывает эволюцию — ChatGPT перешёл от Bing к Google в середине 2025
5. НЕ РЕПРЕЗЕНТАТИВНАЯ ВЫБОРКА
Ваша методика: 4 запроса × 10 прогонов = 40 ответов
Seer: 500+ цитат (https://www.sostav.ru/blogs/291003/89895)
Blyskal: 240 млн цитат (https://www.linkedin.com/posts/joshua-blyskal_chatgpt-is-leaving-bing-behind-fast-i-analyzed-activity-7356003020830085121-7H8P)
Ahrefs: 15,000 запросов (https://www.yalstudio.ru/company_news/issledovanie-tolko-12-url-adresov-tsitiruemykh-ii-ranzhiruyutsya-v-top-10-google-po-iskhod)
Ваше ограничение (из статьи): “все 4 запроса — из одной продуктивной категории”
Ошибка: 4 запроса из одной B2B-категории — не репрезентативно
6. НЕУЧЁТ FAN-OUT QUERIES: занижение на 9x
Вы: проверяете совпадения по оригинальному запросу
AirOps test (https://www.linkedin.com/posts/aimarketerguy_on-todays-episode-of-debunking-crap-i-see-activity-7446123207952293888-Q5Cq): ChatGPT реформулирует запрос в 4-8 под-запросов (fan-out)
Без fan-out: 3% совпадения с Bing
С fan-out: 27,4% совпадения с Bing (9x увеличение!)
Ошибка: вы НЕ СЧИТАЕТЕ fan-out queries — занижение на 9x
7. НЕУЧЁТ TRAINING DATA: 68% цитат не из поиска
Вы: проверяете только совпадения с Google/Bing
AirOps (https://www.linkedin.com/posts/aimarketerguy_on-todays-episode-of-debunking-crap-i-see-activity-7446123207952293888-Q5Cq): 68% цитат ChatGPT do not match ANY search engine (из training data)
Ошибка: не учитывает, что 68% цитат — из training data, а не из поиска
8. ЛОЖНЫЙ ВЫВОД: “Оптимизируй под Google — не работает”
Ваше утверждение: “Оптимизируй под Google — и нейросеть подтянется” не работает
Blyskal (июль 2025) (https://www.linkedin.com/posts/joshua-blyskal_chatgpt-is-leaving-bing-behind-fast-i-analyzed-activity-7356003020830085121-7H8P): 33% overlap с Google — это SURGED!
AirOps (https://www.linkedin.com/posts/aimarketerguy_on-todays-episode-of-debunking-crap-i-see-activity-7446123207952293888-Q5Cq): Google ranking predicts ChatGPT citation лучше (20,4% топ-3 Google vs 4,9% топ-20 Bing)
Ошибка: вывод ОБРАТНЫЙ реальности — Google становится БОЛЕЕ важным
ОБЩИЙ ВЫВОД: статья содержит 8 критических ошибок
3 критических фактических противоречия (пункты 1-3)
3 методологические ошибки (пункты 5-7)
1 ошибка неучёта временной эволюции (пункт 4)
1 ложный финальный вывод (пункт 8)
Корректный вывод:
топ-10 Google ≠ топ-10 ChatGPT, но корреляция не 0%, а 12-33% (в зависимости от периода), и Google становится более важным для ChatGPT в 2025 году.
p.s. ответ сгенерирован ИИ, честно говоря данный вопрос не сильно интересен лично для меня, но было бы не плохо я думаю указать про то, что результаты вашего ресерча имеют поверхностную оценку, дабы не принималось как исключительная правда
Честно и списком - как раз вчера отучал клода от таких паттернов в текстах для людей 🤣
Спасибо за разбор — особенно ценно, что ограничения методики вы выложили прямо в тексте, обычно эту часть прячут. Зацепил вывод про DeepSeek и пресс-релизы: получается, канал, который сеошники десятилетие считали мусорным (GlobeNewswire и прочие дистрибьюторы), для LLM оказывается одним из самых стабильных источников. Интересно, держится ли картина, если гонять те же запросы не «в один день», а с разбросом в пару недель — привязка цитаты к фрагменту у ChatGPT намекает, что его выдача источников может плавать сильнее, чем search_results[] у DeepSeek. И ещё: вы мерили без входа в аккаунт — а на залогиненной сессии с историей состав источников у Gemini в сторону его reliability_score не смещался?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Мы вскрыли трафик ChatGPT, Gemini и DeepSeek, чтобы понять, откуда берутся «источники» в ответах