
В Konsul, моём ИИ-консультанте по сайту компании, ответ можно пропускать через вторую модель. Она сверяет каждое утверждение о компании с найденными источниками. Если хоть что-то не подтвердилось, клиент этот ответ не увидит: он получит отказ, а диалог уйдёт сотруднику. Одна проверка стоит около 0,08 ₽ — это расчёт, на живом трафике я его ещё не сверял. И по умолчанию проверка выключена.
Ниже — что с чем сверяется, когда ответ считается подтверждённым, что видит клиент, почему ответ больше не печатается по словам и где проверка ничего не даёт.
Зачем это вообще
Малый и средний бизнес чаще всего объясняет остановку ИИ-проектов несовершенством моделей — 62% (исследование СберПро в пересказе Lenta.ru). Для консультанта на сайте «несовершенство» обычно выглядит конкретно: бот уверенно называет цену, которой нет в прайсе, или срок, которого компания не обещала. Клиент такому ответу верит, потом приходит спорить к живому человеку.
Первая реакция — взять модель поумнее. Я считаю, что это не лечит. Выдумывает любая модель, вопрос только в том, как часто. Если ответы плохие, чинить надо поиск и базу вопросов-ответов. Другая модель ответ лучше не сделает, и судья сверху тоже: он только решает, пускать ли ответ к клиенту. Что не подкреплено источником, до клиента не доходит.
Что с чем сверяется
Консультант сначала ищет фрагменты в материалах компании: страницы сайта, вопросы-ответы. По ним основная модель пишет ответ. Дальше включается судья — отдельный вызов модели. Ему на вход идут три вещи:
найденные фрагменты вместе с адресами, откуда они взяты;
вопрос клиента;
готовый ответ консультанта.
Судья не переписывает ответ и не дополняет его. Его задача — сказать «подтверждено» или «не подтверждено».

Правило «подтверждено»
Ответ подтверждён, если каждое утверждение о компании есть в источниках или прямо из них следует. Утверждения о компании — это услуги, цены, сроки, адреса, контакты, условия. Одна выдуманная деталь в остальном верном ответе — и весь ответ не подтверждён.
Без проверки фактов проходят реплики, в которых нет утверждений о компании: приветствие, уточняющий вопрос, предложение оставить контакт. Иначе судья резал бы обычный разговор.
Отдельно про сбои. Если судья ответил что-то непонятное или вызов упал, ответ считается неподтверждённым. Сломанная проверка не должна пропускать ответ молча, поэтому ошибка всегда в сторону отказа.
Судья — модель шлюза по умолчанию. Если консультант работает на российской модели, судьёй будет она же: разговор не должен уходить за границу только ради проверки.
Что получает клиент
Ответ подтверждён. Уходит клиенту. Если в нём ещё нет ссылки, добавляется «Источник: …» со ссылкой на первый найденный источник. В голосовом канале ссылку не добавляем: зачитывать адрес страницы голосом бессмысленно.
Ответ не подтверждён. Клиент его не видит. Вместо него приходит:
Не нашёл точного ответа в материалах компании, а гадать не хочу. Передаю вопрос сотруднику…
Диалог переходит к сотруднику с причиной unverified и пометкой, что именно не подтвердилось. Это видно и команде в журнале разговоров, и во внешнем хелпдеске, если он подключён. Сотрудник сразу понимает, где консультант споткнулся, и может дописать недостающее в базу. В нерабочее время клиент получает обычное сообщение нерабочего времени, как при любой передаче.
Почему ответ больше не печатается по словам
Обычно ответ модели показывают по мере генерации: слова появляются одно за другим, и кажется, что бот отвечает быстро. С проверкой так нельзя. Судье нужен весь ответ целиком, а показанные клиенту слова уже не вернуть. Если бы ответ печатался по словам, клиент успел бы прочитать выдуманную цену раньше, чем судья её отклонил.
Поэтому с включённой проверкой клиент видит ответ целиком и только когда он проверен. Пока идут генерация и проверка, клиент ждёт. Это главная цена проверки, и она больше, чем деньги: ответ ощущается медленнее. Сколько именно секунд добавляет проверка на живых диалогах, я пока не мерил.
Что не проверяется и почему
Ответы по результатам действий: запись на приём, статус заказа, выдача из каталога. Их источник — само действие. Когда консультант отвечает «вы записаны на четверг», подтверждать это нечем: в найденных фрагментах сайта такой записи нет и быть не может. Если пустить такие ответы через судью, он отклонял бы их все.
Значит, в этой части проверка не защищает. Ошибётся действие или модель неверно перескажет его результат — клиент это увидит. Здесь страховка другая: корректность самих действий и то, как их результат передаётся модели.
Сколько это стоит
Деньги. Вызов судьи — это ещё один ответ быстрой модели, около 0,08 ₽ за проверку. В лимит ответов клиента проверка не засчитывается.
Время. Ответ не печатается по словам и приходит позже — об этом выше.
Лишние передачи. Судья отклоняет и верные ответы, если поиск не нашёл нужный фрагмент или нашёл не тот. Для клиента это выглядит как отказ там, где бот мог бы ответить. Чем хуже наполнена база, тем чаще сотрудник получает вопросы, на которые ответ на самом деле был. Проверка показывает дыры в базе, но закрывать их всё равно руками.

Почему по умолчанию выключено
Настройка называется «Проверять ответы по источникам» и лежит в «Автоматизация» → «Передача сотруднику». Включает её владелец консультанта. Решение за ним, потому что платит тоже он: задержкой ответа и тем, что часть вопросов уйдёт людям.
Для компании, где неверная цена или неверное условие стоят спора с клиентом, копейки за проверку — дешёвая страховка. Для компании, где консультант в основном отвечает «как проехать» и «до скольких работаете», выигрыш меньше, а медленный ответ раздражает так же.
Чего я пока не знаю
Сколько ответов судья отклоняет, сколько из них были верными и насколько дольше ждёт клиент — замеров нет. Для беты у меня есть целевой порог по доле ответов «по сайту и без выдумки» на выборке, но это пока цель, и выдавать её за результат я не буду.
Когда появятся цифры по живым диалогам, напишу отдельно. Они и покажут, где проверка окупается: для какой базы и каких вопросов копейки и лишние секунды того стоят, а где она только тормозит ответ и подкидывает сотруднику работу.
