Pull to refresh

Comments 4

А можно чуть поподробнее, что значит прогоняем через LLM в классификаторе? Используется ли тут что-то типа RAG для этого или нативной LLM хватает, чтобы понять к какому классу относится проблема? Какую модель вы используете?

Здравствуйте, на этапе классификации я использую Sonnet 4.6 (тут не требуется самых сильных моделей), ей доступны чат в Mattermost и, как вы правильно заметили RAG с информацией об устройстве проекта. Знаниями пользуется редко, т.к. в системном промпте сделано достаточно четкое описание категорий, ключевых слов и примеров. Бывает временами путает запрос по инциденту с обычным вопросом об инфраструктуре. Но в целом достаточно точен, плюс всегда можно обратиться в треде еще раз, дав уточнения

А RAG это просто md файл или векторная БД?

Векторная БД, используем qdrant с ембедингом от Google. У них есть небольшой бесплатный лимит на это дело

Sign up to leave a comment.

Articles