У нас обновленные статьи сейчас проходят модерацию, поэтому снижается риск попадания некорректных инструкций.
Но да, если делать статьи только на основе ответов операторов, то есть риск, что оператор дал некорректный ответ, и это попадет в базу знаний. Поэтому мы пришли к процессу с модерацией.
У нас пайплайн из нескольких последовательных вызовов в API:
для классификации диалогов и триажа по новизне
для догенерации материалов к уже имеющимся
для валидации того, насколько сильно статья обновилась
для гегерации обзорных статей т.д.
Но это не агентная система, а пайплайн из последовательных запросов. Иногда даже разнесено во времени.
LLM as judge для проверки статей мы не использовали. LLM ничего не знает про наш продукт сама по себе, и поэтому не может качественно провалидировать правильность информации.
На первых этапах у нас система работала с выборочной ручной проверкой случайных статей, а сейчас просто все обновления попадают в очередь модерации, которую проверяют люди из поддержки. Если там появляются ошибки, они их сразу поправляют.
Отмодерировать статью занимает гораздо меньше времени, чем написать с нуля.
При догенерации материалов мы отслеживаем, какой процент материалов обновился. Например, если обновились почти все статьи, значит, что-то точно идет не так и надо разобраться с этим.
Для классификации и триажа мы используем "маленькие" модели, например mini модели от openai или локальный qwen - потому что исходников много.
Для генерации по отобранному набору - "большие", чтобы повысить качество.
У нас обновленные статьи сейчас проходят модерацию, поэтому снижается риск попадания некорректных инструкций.
Но да, если делать статьи только на основе ответов операторов, то есть риск, что оператор дал некорректный ответ, и это попадет в базу знаний. Поэтому мы пришли к процессу с модерацией.
Привет!
У нас пайплайн из нескольких последовательных вызовов в API:
для классификации диалогов и триажа по новизне
для догенерации материалов к уже имеющимся
для валидации того, насколько сильно статья обновилась
для гегерации обзорных статей т.д.
Но это не агентная система, а пайплайн из последовательных запросов. Иногда даже разнесено во времени.
LLM as judge для проверки статей мы не использовали. LLM ничего не знает про наш продукт сама по себе, и поэтому не может качественно провалидировать правильность информации.
На первых этапах у нас система работала с выборочной ручной проверкой случайных статей, а сейчас просто все обновления попадают в очередь модерации, которую проверяют люди из поддержки. Если там появляются ошибки, они их сразу поправляют.
Отмодерировать статью занимает гораздо меньше времени, чем написать с нуля.
При догенерации материалов мы отслеживаем, какой процент материалов обновился. Например, если обновились почти все статьи, значит, что-то точно идет не так и надо разобраться с этим.
Для классификации и триажа мы используем "маленькие" модели, например mini модели от openai или локальный qwen - потому что исходников много.
Для генерации по отобранному набору - "большие", чтобы повысить качество.