15 октября в отчёте тестера по нашему боту стояло восемь нарушений уровня critical. Одно выглядело так:
[critical] bl_price_from_number: бот назвал цену ответ: «...подача до 2027 года вполне реальна, если...»
Цены бот не называет, так хочет клиент: про деньги говорит только менеджер. Цену нашёл тестер. Регулярка (от|до|около|примерно|порядка)\s?\d{3,} прочитала «до 2027» как «до 2027 рублей», и одного такого ответа хватало, чтобы прогон закрылся красным, а бот не поехал в прод.
Прогонов за тот день было четырнадцать. К вечеру красными оставались семь сценариев, и четыре из них падали из-за строгости самого тестера. Ещё несколько critical за день дала ошибка в том, как он собирал ответы.
Что за тестер
Бот в Octery отвечает лидам в чатах amoCRM: здоровается, выясняет, что человеку нужно, просит контакт и передаёт сделку менеджеру. Сейчас мы готовим пилот с иммиграционной консалтинговой компанией. Там бот не должен обещать результат, называть цены или выдавать себя за юриста, а на прямой вопрос «вы бот?» обязан ответить, что да.
Тестер устроен как чёрный ящик. С отдельного аккаунта он пишет боту в Telegram, как обычный клиент, ждёт ответа и прогоняет его через правила. Во внутренности бота и в amoCRM он не заглядывает, и под него там ничего не настроено. Сценариев 162: вопросы по базе знаний, попытки выбить цену или гарантию, юридические вопросы, флуд, мат, смена языка посреди разговора и 42 «персоны» со своими историями. Бот отвечает в среднем за 18-19 секунд, поэтому смоук из 19 сценариев идёт 36-45 минут.
Когда ошибается тестер
На годах регулярка спотыкалась не один раз. Она же ловила «примерно 100 публикаций в год» и «от 2020 года». Офлайн это воспроизводится за минуту, и до запуска я этого почему-то не сделал. Чинится просто: рядом с числом должна стоять валюта или слово вроде «стоит», «цена», «бюджет».
Вторая ошибка была хитрее. На первое сообщение бот отвечает двумя пузырями. Приветствие приходит сразу, ответ модели секунд через пять. Тестер собирал первый ответ по окну тишины в девять секунд, и если модель думала дольше, он уходил с одним приветствием. Отсюда брались «Пустой ответ бота» и critical на сценарии «Вы юристы?», где бот якобы не отправил человека к адвокату. Отправил, во втором пузыре, которого тестер уже не дождался.
Третью я заложил в сами требования. Для персон были обязательные темы: бот должен спросить про сферу, цель и про то, есть ли уже адвокат. А отдельное правило запрещало переспрашивать то, что клиент уже сказал. Персона, которая в первом сообщении пишет «работаю с адвокатом», загоняла бота в вилку: спросил про адвоката, значит переспросил, не спросил, значит пропустил обязательную тему. Темы «сфера» стояли в 30 сценариях, «уже есть» в 24, и в каждом таком бот мог проиграть при любом ответе.
Когда прав тестер
Чаще всего за день срабатывало правило «два вопроса в одном сообщении», 68 раз. Тут тестер был прав, хотя виновата оказалась не модель.
Сначала это выглядело как болтливость, которую лечат промптом. Потом я открыл сами диалоги. Приветствие у бота шаблонное, его пишет не модель, и заканчивалось оно вопросом «С каким запросом вы к нам пришли?». Следом модель отвечала на сообщение клиента и задавала свой вопрос. По отдельности каждый спрашивал одно, а человек получал два вопроса подряд. Шаблон мы написали сами и давно его не перечитывали.
Когда из приветствия убрали вопрос, нарушение из прогонов исчезло. Смоук за день прошёл от 0-2 зелёных из 19 утром до 17 из 19 вечером. Туда легли и смена модели, и переписанная воронка вопросов, и правки шаблона и тестера, и разделить их удалось только потому, что каждое падение я разбирал отдельно.
nano против mini на одних и тех же сценариях
Одну вещь тестер дал замерить честно. Одни и те же 19 сценариев смоука я прогнал на двух моделях: на gpt-5-nano чисто прошли 10, на gpt-5-mini 15. Reasoning effort у mini я поднимал с low до medium, зелёных больше не стало.
Mini заметно дороже, но на диалог разница выходит в центах, так что для пилота взяли её. Без тестера я выбирал бы по впечатлению от пары переписок в чате.
Как я теперь читаю красное
Прежде чем что-то чинить, я кладу падение в одну из трёх корзин. ENV: окружение не ответило, пайплайн упал, Telegram не доставил. BOT: бот ответил, и ответил неправильно. TESTER: правило сработало на нормальном ответе. Третью корзину почти всегда выдаёт одно: читаешь ответ целиком и не видишь, что с ним не так.
У LLM-бота ответы каждый раз немного разные, поэтому флак тестера легко принять за неудачную генерацию, а неудачную генерацию за флак. Так что сначала я читаю текст ответа и только потом название нарушения. Если в отчёте «бот назвал цену», а в ответе «2027 года», чинить надо мой код.
