В отчёте по видимости бренда в ответах ИИ компания нашлась по трём из двадцати вопросов. Открыли сами ответы — и оказалось, что за этим числом стоят разные вещи. В одном случае компанию предложили как исполнителя. В другом поставили ссылку на её статью, но назвали чужую компанию. В третьем название бренда уже было в вопросе.
Представим, что вы хотите попасть в список компаний, из которых выбирает клиент. В отчёте появляется плюс за ссылку на сайт. А в самом ответе заказчик читает о другом бренде. Если смотреть только на процент видимости, разницу можно пропустить.
Отчёт засчитал название в ответе ИИ, не проверяя рекомендацию компании
Для проверки разобрал 358 ответов ИИ на 20 вопросов по одному из клиентов. Счётчик работал так: находил название компании в ответе и ставил плюс. Если название встретилось хотя бы в одном повторе, вопрос считался положительным. Получилось три из двадцати, или 15%.
Скрипт не читал ответ по смыслу. Ему подходило и название в списке исполнителей, и такое же сочетание букв в адресе сайта. Даже ответ о том, что компания не найдена, мог получить плюс: нужное слово в нём есть.
Для подсчёта совпадений такое правило подходит. Но когда этим числом оценивают рекомендации бизнеса в ответах ИИ, начинаются ошибки. Поиск названия не объясняет, что система написала о компании и почему её назвала.
Проверка началась с ответов, которые уже попали в отчёт как положительные. Именно они должны были показать, за что бренд получил свои три плюса.
ИИ поставил ссылку на статью, а рекомендовал другого подрядчика
В одном вопросе пользователь искал, где заказать услугу. GPT-4o через API перечислил исполнителей. Под названием одного из них описал методику самостоятельной проверки и поставил ссылку на статью. Статья принадлежала компании, видимость которой проверяли в тесте.
Её название в тексте ответа не появилось. Оно нашлось только внутри адреса сайта — латинскими буквами. Для скрипта этого хватило, чтобы записать ответ в пользу бренда.
Получилось, что система ИИ использовала материал одной компании, а методику приписала другой. Читатель видел название чужого подрядчика. Счётчик видел знакомую строку в ссылке.
Сама ссылка может быть полезной. По ней можно перейти на сайт и узнать, кто написал статью. В этом тесте переходы и заявки не измеряли. Но такой ответ нельзя записать в рекомендации компании — в тексте её не предлагают.
Были и цитирования без путаницы с автором. На вопросы о стоимости услуги и об отзывах Perplexity по три раза ссылался на страницы компании. Её название в ответах не появилось. Значит, материалы использовались как источники. Говорить, что система ИИ‑поиска советовала выбрать их владельца, по этим ответам нельзя.
В описании AI Performance от Microsoft есть та же логика: число цитирований показывает, как часто страницы использовались в качестве источников, но не раскрывает их роль и положение в конкретном ответе. Чтобы проверить рекомендацию бизнеса, нужен сам ответ.
Ответы ИИ с неверным описанием компании получили плюс за название бренда
Больше всего плюсов дал вопрос со сравнением двух компаний. Их названия уже были в запросе. Бренд, который проверяли, встретился аж во всех 18 ответах.
Такой вопрос полезен, когда заказчик уже знает компанию и сравнивает её с конкурентом. Можно проверить, правильно ли система ИИ‑поиска описывает услуги, что говорит о различиях и не путает ли бизнес с другой организацией.
Но само повторение названия здесь ничего не говорит о самостоятельном выборе подрядчика. Модели ИИ уже сообщили, кого нужно сравнить. Более того, даже с этой подсказкой описание могло оказаться неверным.
В одном ответе Claude обсуждал музыкального дистрибьютора с похожим названием. В другом связал компанию с телефонией и музыкой. В третьем сообщил, что не нашёл нужную компанию. Все три ответа получили плюс за наличие бренда.
В отчёте по видимости бренда эти результаты нужно показывать отдельно. Один набор вопросов проверяет, какую компанию система ИИ‑поиска предложит сама. Другой — что она расскажет о компании, которую пользователь уже назвал. Если смешать их в одном проценте, будет непонятно, что именно удалось получить.
В этом кейсе вопрос с двумя названиями убрали из общего подсчёта. Для проверки выбора без подсказки осталось 19 вопросов.
Из 19 вопросов без названия бренда рекомендация подтвердилась только по одному
Из первоначальных трёх плюсов один относился к вопросу с названиями компаний. Второй — к ссылке на статью в пункте о другом подрядчике. Остался вопрос о поиске исполнителя.
На него Алиса AI трижды включила нужную компанию в список и правильно описала её услуги. Каждый ответ прочитали отдельно: во всех трёх случаях компанию действительно предлагали заказчику.
Три повтора одного вопроса не превращаются в три разных ситуации выбора. Поэтому результат — один вопрос из девятнадцати. По остальным восемнадцати название компании в тексте ответов не нашлось.
Переход от 15% к 5,3% не означает, что продвижение в ИИ стало работать хуже. Изменились правила подсчёта. Первое число учитывало все совпадения названия, второе — только имя компании в тексте ответа на вопрос без подсказки. Рекомендацию в оставшихся ответах подтвердили при чтении.
И 5,3% здесь — доля вопросов в тесте. Это не доля потенциальных клиентов, которым системы ИИ‑поиска рекомендуют компанию: неизвестно, как часто люди задают каждый из этих вопросов.
В рабочем отчёте рядом с результатом должны быть вопрос и ответы Алисы AI. Тогда можно посмотреть, в какой ситуации компанию предлагают, и повторить ту же проверку позже. Один процент этого не объясняет.
Ответ о цене и список подрядчиков показывают разную видимость бренда в ИИ‑поиске
Когда пользователь спрашивает о цене, системе ИИ‑поиска нужна информация, чтобы объяснить стоимость. Для этого может подойти статья компании. Когда пользователь ищет исполнителя, в ответе должен появиться список вариантов. Полезная статья и рекомендация её автора — разные результаты.
В тесте вопросы разделили по задаче человека: разобраться в услуге, оценить подход и бюджет, найти и проверить подрядчика. В последней группе было девять вопросов. Именно там компания появилась как исполнитель.
Если статьи цитируются в объяснениях, можно оценивать, какие материалы система использует и идут ли по ссылкам на сайт. Если компания появилась в подборке подрядчиков, следующий шаг — проверить близкие вопросы о выборе, сравнении и отзывах.
Группы нужно определять по исходному вопросу пользователя. Система ИИ‑поиска может сама разбить его на несколько поисков — Google описывает этот механизм в документации. Если внутри она ищет цены, это ещё не значит, что человек спрашивал только о стоимости.
Поэтому вопросы для проверки видимости бренда стоит согласовать до начала продвижения. Среди них должны быть ситуации, в которых человек выбирает компанию: где заказать услугу, кого сравнить, кому подходит его задача. Название проверяемого бизнеса в такие вопросы не подставляют. Проверку с названием оставляют отдельно.
Код находит название бренда, но не понимает, советует ли ИИ выбрать компанию
Автоматика помогает отобрать ответы для проверки и не посчитать повторы как разные вопросы. Для этого у каждой записи нужны номер вопроса (prompt_id), отметка о бренде в самом вопросе (brand_in_prompt) и отметка о названии в тексте ответа (visible_name). Обе отметки принимают значения True или False.
Функция считает вопросы, на которых встретилось название компании без подсказки:
def count_questions(rows): rows = [r for r in rows if not r["brand_in_prompt"]] questions = {r["prompt_id"] for r in rows} with_name = {r["prompt_id"] for r in rows if r["visible_name"]} return len(with_name), len(questions)
На данных этого кейса результат — (1, 19): название найдено по одному из девятнадцати вопросов. По этому числу ещё нельзя понять, что сказано о компании. Рекомендацию подтвердили, когда прочитали сами ответы.
В примере собраны ответы из разных каналов, чтобы проверить весь набор. В отчёте по видимости бренда результат Алисы AI нужно показывать отдельно от Perplexity и других систем. Появление компании в одном сервисе ничего не говорит о её присутствии в остальных.
Что запросить у подрядчика, чтобы проверить рекомендации бренда в ответах ИИ
Вопросы и полные ответы. По ним должно быть видно, за что поставили плюс: за ссылку на сайт, название в тексте или предложение выбрать компанию.
Правило подсчёта. Цитирования, упоминания и рекомендации должны различаться. Вопросы с названием бренда учитываются отдельно от вопросов, где система ИИ‑поиска выбирает компании сама.
Где и как получен каждый ответ. Нужны название системы ИИ‑поиска или модели ИИ, способ проверки и дата. Ответ через API может отличаться от ответа в пользовательском интерфейсе.
Результаты повторов. Три запуска одного вопроса показывают, повторяется ли ответ. Они не добавляют в тест ещё две ситуации выбора.
Одинаковые условия сравнения. Вопросы, системы ИИ‑поиска и правило подсчёта должны оставаться теми же до и после продвижения. Иначе непонятно, что повлияло на процент.
В этом кейсе проверка подтвердила рекомендацию компании по одному вопросу. Ещё два плюса объяснялись устройством счётчика: он засчитал название внутри ссылки и бренд, который уже был в запросе. Все три результата до проверки выглядели одинаково.
Для бизнеса рекомендации в ответах ИИ — промежуточный результат. Переходы на сайт и обращения клиентов нужно измерять отдельно. Но проверку самого отчёта можно начать с уже готовых ответов: открыть те, за которые поставили плюс, и прочитать, какую компанию там предлагают заказчику.
