Как измерять видимость сайта в ответах ChatGPT и почему одна итерация вопросов ничего вам не скажет

[kryabkryab]

Спасибо за статью

Скажите, а как подбирать сами вопросы? Пользователи ведь формулируют по-разному, а ещё fan-out зависит от формулировки

[ig_novvv]

Спасибо) Я бы начинал не с придумывания, а с вопросов, которые клиенты уже задают: в поддержку, отделу продаж, в поиске (тут помогут Вордстат и Вебмастер). Потом группировал бы их по темам и на каждую брал 3–5 разных формулировок: короткую поисковую, развёрнутую «как в чате», со сравнением с конкурентами.

Каждую формулировку прогонять сериями отдельно. Долю по теме можно считать и по всем вариантам вместе, но сами формулировки между замерами менять нельзя. Иначе не поймёшь, что сдвинулось: видимость сайта или fan-out из-за нового текста вопроса.

[Saleswaveru]

Спасибо за расчёт числа повторов, особенно за интервал Уилсона для нуля попаданий. Небольшому бизнесу 97 повторов на каждый вопрос не по карману, поэтому мы считаем долю не по одному вопросу, а по теме: 15 вопросов покупателя по 3 повтора дают 45 ответов на каждый ассистент. Для первого вопроса владельца «нас вообще нет или иногда появляемся» этого хватает: 0 из 45 по Уилсону даёт верхнюю границу около 8 %. Длинные серии по 25 и больше повторов, по-моему, стоит тратить только на проверку конкретной правки страницы, где нужно увидеть разницу «до» и «после».

Ещё одна вещь сильно портит замеры: аккаунт. Если владелец сайта сам расспрашивал ассистента о своей компании, история тянет бренд в ответы. У нас Алиса прямо написала «учитывая, что вы интересовались интеграцией с Битрикс24…». Поэтому базовый замер лучше делать из чистого профиля без входа, а замер под аккаунтом показывать отдельной строкой.

[ig_novvv]

Согласен, для вопроса «есть нас или нет» тема из 15 вопросов работает. Одна оговорка: 45 ответов не совсем независимые. Три повтора одного вопроса обычно похожи друг на друга, поэтому реальная выборка ближе к 15, чем к 45, и оценка выходит шире, чем 8 %. Для первого разговора с владельцем это не мешает, а вот сравнивать две темы по таким долям я бы не стал.

С аккаунтом у нас было то же самое: ассистент вспоминал прошлые вопросы и подтягивал бренд. Теперь замеряем из чистого браузера без входа, а под аккаунтом смотрим отдельно, если клиент сам спрашивает.