В данном случае ответ на 1 запрос занимает несколько секунд, но до 10 сек. Что вполне адекватно для бота поддержки, потому что как правило операторы отвечают дольше и пользователи не ждут моментального отклика.
За это отвечает отдельный классификатор интентов на ML, который помечает сообщение пользователя в одну из категорий (что хочет получить пользователь). Дальше, когда LLM через диалог вытянула из пользователя все необходимые вводные, например код товара или город, то дальше уже включается прописанная логика, которая смотрит, что есть определенный интент, есть заполненные параметры, значит можно вызвать API CRM.
Сам этот классификатор можно разными способами организовывать, можно делать его на ключевых словах, но скорее всего плохо будет работать. Можно обучать ML под эту узкую задачу, а можно даже прописать отдельный промпт, у которого будет только одна задача выполнить классификацию. У каждого подхода есть свои плюсы и минусы.
Да, хорошее замечание. В статье, я на этом акцент не делал, но тот же описанный механизм классификации интентов отвечает и за определение того, что пользователя нужно переводить на оператора. Это включает в себя и случаи вроде "сотрудник", "оператор" и случаи, когда пользователь начинает негативить и ругаться, или когда он начинает разговаривать про конкурентов, например.
В данном случае ответ на 1 запрос занимает несколько секунд, но до 10 сек. Что вполне адекватно для бота поддержки, потому что как правило операторы отвечают дольше и пользователи не ждут моментального отклика.
За это отвечает отдельный классификатор интентов на ML, который помечает сообщение пользователя в одну из категорий (что хочет получить пользователь). Дальше, когда LLM через диалог вытянула из пользователя все необходимые вводные, например код товара или город, то дальше уже включается прописанная логика, которая смотрит, что есть определенный интент, есть заполненные параметры, значит можно вызвать API CRM.
Сам этот классификатор можно разными способами организовывать, можно делать его на ключевых словах, но скорее всего плохо будет работать. Можно обучать ML под эту узкую задачу, а можно даже прописать отдельный промпт, у которого будет только одна задача выполнить классификацию. У каждого подхода есть свои плюсы и минусы.
Да, хорошее замечание. В статье, я на этом акцент не делал, но тот же описанный механизм классификации интентов отвечает и за определение того, что пользователя нужно переводить на оператора. Это включает в себя и случаи вроде "сотрудник", "оператор" и случаи, когда пользователь начинает негативить и ругаться, или когда он начинает разговаривать про конкурентов, например.