Галлюцинации - это проблема, если продуктовое использование строится вокруг извлечения знаний, которые LLM получила при своем обучении. Другими словами, если просто пытаться задавать вопросы, пребующие конкретных фактологических ответов самой LLM (например, обращаться со всеми вопросами напрямую к ChatGPT). Одно из важных качеств мультиагентных систем на основе LLM - это их способность минимизировать галлюцинации. За счет чего? (1) За счет специализации агентов, т.е. каждый агент сфокусирован на выполнении своей роли и своего кусочка задачи в соответствии с подробной инструкцией. Если опредялять эти роли так, чтобы в задачи агентов не входило рассуждать на сложные темы, а фокусироваться вокруг процесса выполнения задачи, то это позволяет само по себе снизить галлюцинации. Плюс саморефлексия и дополнительные агенты с валидацией ответов. (2) Основной способ - за счет использования внешних знаний, которые могут храниться в БД или добываться в результате запуска специализированных инструментов (в нашем случае - ML модели, rdkit и пр.). В этом случае LLM используется для того, чтобы строить ответ на вопрос на человеческом языке не на основе собственных знаний, а на основе более авторитетных знаний, полученных из определенных источников.
Т.е. в нашей системе в меньшей мере застрахован от галлюцинаций только чат-агент, т.к. он отвечает на произвольные вопросы с помощью собственных знаний LLM и используется в случаях, когда на данный вопрос другие агенты не знают как ответить, поэтому он выполняет вспомогательную функцию, а не основную.
Галлюцинации - это проблема, если продуктовое использование строится вокруг извлечения знаний, которые LLM получила при своем обучении. Другими словами, если просто пытаться задавать вопросы, пребующие конкретных фактологических ответов самой LLM (например, обращаться со всеми вопросами напрямую к ChatGPT). Одно из важных качеств мультиагентных систем на основе LLM - это их способность минимизировать галлюцинации. За счет чего? (1) За счет специализации агентов, т.е. каждый агент сфокусирован на выполнении своей роли и своего кусочка задачи в соответствии с подробной инструкцией. Если опредялять эти роли так, чтобы в задачи агентов не входило рассуждать на сложные темы, а фокусироваться вокруг процесса выполнения задачи, то это позволяет само по себе снизить галлюцинации. Плюс саморефлексия и дополнительные агенты с валидацией ответов. (2) Основной способ - за счет использования внешних знаний, которые могут храниться в БД или добываться в результате запуска специализированных инструментов (в нашем случае - ML модели, rdkit и пр.). В этом случае LLM используется для того, чтобы строить ответ на вопрос на человеческом языке не на основе собственных знаний, а на основе более авторитетных знаний, полученных из определенных источников.
Т.е. в нашей системе в меньшей мере застрахован от галлюцинаций только чат-агент, т.к. он отвечает на произвольные вопросы с помощью собственных знаний LLM и используется в случаях, когда на данный вопрос другие агенты не знают как ответить, поэтому он выполняет вспомогательную функцию, а не основную.
Спасибо! Поправил