Сколько раз ваш бот соврал клиенту? Как вы тестируете свои ИИ сервисы?
Каждый понимает, что важной частью разработки является тестирование.
Но когда дело доходит до AI ботов или ассистентов, многие дают слабину. Или просто не понимают как эффективно проверить, что бот корректно отрабатывает задачи.
На днях обсуждали качество работы ботов и пришли к такому решению. Для проверки качества ответов, нужно создавать уникальные тест-кейсы, а именно:
Создать список из 10-15 эталонных вопросов, на которые бот должен ответить с точностью 100% согласно поставленной задаче или обновлению в релизе.
Создать список из 10-15 фейковых вопросов и сценариев диалога, на которые бот должен отвечать не выходя за рамки сценария.
Включить вопросы в обязательные тест-кейсы и прогонять с периодичностью n-дней.