Органику параллельно не снимаю — тут вы правы, разделить нечем. Поставил себе в план.
По Ашманову тоже принимаю: механизм у меня заимствован, мои логи с ним согласуются, но не доказывают его.
А вот с промежуточными значениями вы меня заставили пересчитать, и там нашлось интереснее. Я смотрел не на дедупликацию, а на повтор домена внутри списка: при пяти источниках домен повторяется в 2% ответов, при девяти — в 61%, при десяти — в 57%, при восьми — в 22%. Одинаковых адресов в списке нет ни разу. Средняя длина ответа: 1085 знаков при пяти, 1340 при девяти, 1380 при десяти. Девятка по всем признакам двухблочная. Шесть и семь — нет, они по объёму как одноблочные, и что это, я не знаю. Так что модели «десять минус дубли» действительно не хватает.
Спасибо, вопрос по делу — без методики прогонов такой сдвиг и правда можно списать на шум.
Как измеряем:
Фиксируем модель и режим. Прогон идёт не «руками в чате», а скриптом с закреплённой моделью и явно включённым веб-поиском (для ChatGPT — gpt-4o с web_search). Для каждой платформы режим свой и зафиксирован, чтобы от недели к неделе сравнивать одинаковое.
Чистые сессии, N прогонов. Каждый промпт — отдельный вызов без истории диалога, так что эффекта памяти нет. По одному ответу выводов не делаем: базовая волатильность ответов 20–30%, поэтому мы с командой берём 20 контрольных промптов и гоняем каждый по несколько раз, метрику считаем по медиане, а не по разовому попаданию. И смотрим не в духе "было 5, а стало 8", а тренд по неделям, поскольку разовый скачок так не выдать за результат.
Отделяем нашу работу от дрейфа индекса. Роль контрольной группы играют конкуренты: те же промпты, те же прогоны, считаем свою долю относительно них. Если выдача сдвинулась глобально (модель обновилась, индекс переварил новое) — это двигает и конкурентов, и на дифференциале видно. Если растём мы, а группа стоит — это уже наш эффект.
Гео держим постоянным. Оно влияет на веб-поиск, поэтому важно не, откуда именно, а чтобы точка выхода была одна и та же каждую неделю. Алису измеряем из РФ — иначе она просто режет ответ. Западные модели (ChatGPT, Claude, Perplexity, Gemini) идут через один фиксированный шлюз, одинаковый во всех прогонах. Смысл в том, что от недели к неделе гео не «прыгает», поэтому изменение в ответах — это наша работа, а не смена региона.
Согласен, что логи — единственный надёжный источник, статья ровно про это. По ChatGPT-User подтверждаю → в OpenAI ребята сами пишут, что на user-initiated запросах robots.txt может не применяться. А вот про Googlebot — это документированно про Perplexity (и там был браузерный UA, не Googlebot). По Anthropic такого публично не зафиксировано, а голая строка Googlebot в UA без reverse-DNS ничего не доказывает. Claude-User и DuckAssistBot по докам robots.txt соблюдают — если у вас в логах иначе, это интересный кейс, буду следить и проверять, спасибо
Логику не упускаете — она ровно такая, и в статье это прямым текстом: «чистых, однозначно отнесённых к ИИ визитов по этому прогону — ноль». Строгая, неоспоримая нижняя граница здесь действительно 0.
Тонкость в том, что «нижних границ» две, и я их развёл. Жёсткая — только по реферерам, которые больше ничего, кроме ИИ, не порождают (chat.openai.com, perplexity.ai, gemini.google.com, copilot.microsoft.com). Вот их и надо считать нижней границей. На этом сайте за прогон — 0. Мягкая граница — те 10 с yandex.ru/search: это «до 10, при условии что часть из них не обычная органика».
Так что вы правы — называть 10 нижней границей некорректно, это я неверно выразился. 10 — верхняя оценка сегмента, а гарантированный минимум — ноль. Спасибо, я уже поправил
Логируются, но это отдельный слой. Тут же важно не смешивать два разных события. Одна история → бот пришёл читать страницу, чтобы собрать ответ, это видно в серверных и edge-логах по User-Agent (GPTBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended и т.д.). Метрика и JS-аналитика его не видит — бот не исполняет JS. Вторая история — человек кликнул по ссылке источника в ответе — виден в Метрике по рефереру. Это не взаимозаменяемые метрики — краулинг (нас прочитали) и переход (по нам кликнули). UA-слой добавлять полезно, ▎ но с двумя оговорками: UA легко подделать (фильтровать по обратному DNS или офиц. диапазонам), а WebBotAuth пока сырой
хах, не знаю, честно говоря) я тут лишь отметил, что это за источники у меня попадаются,и хабр там есть) мне кажется, нет ничего такого в том, чтобы называть правдивые источники, кем бы они не были. Цель статьи же не в том, чтобы хабр рекламаировать)
Органику параллельно не снимаю — тут вы правы, разделить нечем. Поставил себе в план.
По Ашманову тоже принимаю: механизм у меня заимствован, мои логи с ним согласуются, но не доказывают его.
А вот с промежуточными значениями вы меня заставили пересчитать, и там нашлось интереснее. Я смотрел не на дедупликацию, а на повтор домена внутри списка: при пяти источниках домен повторяется в 2% ответов, при девяти — в 61%, при десяти — в 57%, при восьми — в 22%. Одинаковых адресов в списке нет ни разу. Средняя длина ответа: 1085 знаков при пяти, 1340 при девяти, 1380 при десяти. Девятка по всем признакам двухблочная. Шесть и семь — нет, они по объёму как одноблочные, и что это, я не знаю. Так что модели «десять минус дубли» действительно не хватает.
Спасибо, вопрос по делу — без методики прогонов такой сдвиг и правда можно списать на шум.
Как измеряем:
Фиксируем модель и режим. Прогон идёт не «руками в чате», а скриптом с закреплённой моделью и явно включённым веб-поиском (для ChatGPT — gpt-4o с web_search). Для каждой платформы режим свой и зафиксирован, чтобы от недели к неделе сравнивать одинаковое.
Чистые сессии, N прогонов. Каждый промпт — отдельный вызов без истории диалога, так что эффекта памяти нет. По одному ответу выводов не делаем: базовая волатильность ответов 20–30%, поэтому мы с командой берём 20 контрольных промптов и гоняем каждый по несколько раз, метрику считаем по медиане, а не по разовому попаданию. И смотрим не в духе "было 5, а стало 8", а тренд по неделям, поскольку разовый скачок так не выдать за результат.
Отделяем нашу работу от дрейфа индекса. Роль контрольной группы играют конкуренты: те же промпты, те же прогоны, считаем свою долю относительно них. Если выдача сдвинулась глобально (модель обновилась, индекс переварил новое) — это двигает и конкурентов, и на дифференциале видно. Если растём мы, а группа стоит — это уже наш эффект.
Гео держим постоянным. Оно влияет на веб-поиск, поэтому важно не, откуда именно, а чтобы точка выхода была одна и та же каждую неделю. Алису измеряем из РФ — иначе она просто режет ответ. Западные модели (ChatGPT, Claude, Perplexity, Gemini) идут через один фиксированный шлюз, одинаковый во всех прогонах. Смысл в том, что от недели к неделе гео не «прыгает», поэтому изменение в ответах — это наша работа, а не смена региона.
Согласен, что логи — единственный надёжный источник, статья ровно про это. По ChatGPT-User подтверждаю → в OpenAI ребята сами пишут, что на user-initiated запросах robots.txt может не применяться. А вот про Googlebot — это документированно про Perplexity (и там был браузерный UA, не Googlebot). По Anthropic такого публично не зафиксировано, а голая строка Googlebot в UA без reverse-DNS ничего не доказывает. Claude-User и DuckAssistBot по докам robots.txt соблюдают — если у вас в логах иначе, это интересный кейс, буду следить и проверять, спасибо
Логику не упускаете — она ровно такая, и в статье это прямым текстом: «чистых, однозначно отнесённых к ИИ визитов по этому прогону — ноль». Строгая, неоспоримая нижняя граница здесь действительно 0.
Тонкость в том, что «нижних границ» две, и я их развёл. Жёсткая — только по реферерам, которые больше ничего, кроме ИИ, не порождают (chat.openai.com, perplexity.ai, gemini.google.com, copilot.microsoft.com). Вот их и надо считать нижней границей. На этом сайте за прогон — 0. Мягкая граница — те 10 с yandex.ru/search: это «до 10, при условии что часть из них не обычная органика».
Так что вы правы — называть 10 нижней границей некорректно, это я неверно выразился. 10 — верхняя оценка сегмента, а гарантированный минимум — ноль. Спасибо, я уже поправил
Логируются, но это отдельный слой. Тут же важно не смешивать два разных события. Одна история → бот пришёл читать страницу, чтобы собрать ответ, это видно в серверных и edge-логах по User-Agent (GPTBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended и т.д.). Метрика и JS-аналитика его не видит — бот не исполняет JS. Вторая история — человек кликнул по ссылке источника в ответе — виден в Метрике по рефереру. Это не взаимозаменяемые метрики — краулинг (нас прочитали) и переход (по нам кликнули). UA-слой добавлять полезно, ▎ но с двумя оговорками: UA легко подделать (фильтровать по обратному DNS или офиц. диапазонам), а WebBotAuth пока сырой
хах, не знаю, честно говоря) я тут лишь отметил, что это за источники у меня попадаются,и хабр там есть) мне кажется, нет ничего такого в том, чтобы называть правдивые источники, кем бы они не были. Цель статьи же не в том, чтобы хабр рекламаировать)