Комментарии 2
Спасибо за статью, достаточно подробно! Рассматривали ли подключение кэша по агентским запросам с семантическим поиском по истории запросов для экономии токенов LLM?
Спасибо за вопрос! Пока нет, имеет смысл, когда наберётся достаточно реальной истории, будет понятно, есть ли смысл оптимизировать и что именно. Стартово не рассматривал ещё и потому, что для агента-консультанта важно отвечать не шаблонно, а подстраиваться под ситуацию и стиль конкретного пользователя.
Плюс в нашем случае все вопросы контекстно-зависимы и в базе знаний информация может меняться частенько. И еще есть нюанс, связанный с тем, что в таком кэше надо быть уверенным, что туда не закрались ошибочные ответы ) Поэтому кажется проще подготовить выверенный FAQ, сделать его частью базы знаний, обновлять синхронно с основными документами и уже его использовать как альтернативу кэшу по истории диалога.
Готовим ИИ-агента к продакшену