Комментарии 5
Коллега и тёзка, спасибо за полезный опыт, я работаю на похожем проекте и отрадно видеть, что подходы и методы тестирования во многом совпадают. Основное отличие у нас, наверно в том, что мы сразу пошли в бота на LLM, без жёсткой логики. Особенно мне понравилось, что вы оцениваете также проработанность личности бота, мне эта идея пришла относительно недавно, после выяснения основных фич и прохождения небольших курсов по дизайну диалоговых ассистентов.
Одним словом, беру на карандашик!;)
P.S. Да, хотела ещё добавить, что при работе над личностью бота оказалось полезной редполитика компании в целом: там довольно чётко расписано, на каком языке бренд общается с клиентами)
Привет! Спасибо за статью, было интересно почитать.
Кажется, для чистоты эксперимента лучше было доработать бота на интентах, чтобы он находил продукты не только по названию, но и по типу, это реализуемо, хотя более громоздко с точки зрения реализации.
Ну и тестировать лучше на живых пользователях, а не на людях из отрасли, но это вы как раз указали в выводах.
Как оценить качество чат-бота? Бот с LLM vs бот на интентах по новой методологии usability-тестирования