Comments 4
Интересный сдвиг метрики, но здесь хотелось бы увидеть методику контрольных прогонов. Результат ChatGPT зависит от версии модели, включённого веб-поиска, гео, истории диалога и вариативности ответа. Как вы отделяете влияние новых редакционных материалов от обновления индекса и случайности: фиксируете модель и режим, запускаете каждый промпт N раз в чистых сессиях и держите контрольную группу брендов?
Спасибо, вопрос по делу — без методики прогонов такой сдвиг и правда можно списать на шум.
Как измеряем:
Фиксируем модель и режим. Прогон идёт не «руками в чате», а скриптом с закреплённой моделью и явно включённым веб-поиском (для ChatGPT — gpt-4o с web_search). Для каждой платформы режим свой и зафиксирован, чтобы от недели к неделе сравнивать одинаковое.
Чистые сессии, N прогонов. Каждый промпт — отдельный вызов без истории диалога, так что эффекта памяти нет. По одному ответу выводов не делаем: базовая волатильность ответов 20–30%, поэтому мы с командой берём 20 контрольных промптов и гоняем каждый по несколько раз, метрику считаем по медиане, а не по разовому попаданию. И смотрим не в духе "было 5, а стало 8", а тренд по неделям, поскольку разовый скачок так не выдать за результат.
Отделяем нашу работу от дрейфа индекса. Роль контрольной группы играют конкуренты: те же промпты, те же прогоны, считаем свою долю относительно них. Если выдача сдвинулась глобально (модель обновилась, индекс переварил новое) — это двигает и конкурентов, и на дифференциале видно. Если растём мы, а группа стоит — это уже наш эффект.
Гео держим постоянным. Оно влияет на веб-поиск, поэтому важно не, откуда именно, а чтобы точка выхода была одна и та же каждую неделю. Алису измеряем из РФ — иначе она просто режет ответ. Западные модели (ChatGPT, Claude, Perplexity, Gemini) идут через один фиксированный шлюз, одинаковый во всех прогонах. Смысл в том, что от недели к неделе гео не «прыгает», поэтому изменение в ответах — это наша работа, а не смена региона.
Не может быть — неужели теперь, что бы попасть в топ, нужно не забашлять кому надо, а делать хороший продукт?
Во многом действительно все так
Почему в ChatGPT упоминание бренда важнее ссылки: 92,8% диалогов заканчиваются без клика