Комментарии 3
И так далее, пока качество не стабилизируется.
Может быть есть смысл критерии качества ответа (Анализатор) сразу же воткнуть во входной контекст (Генератор)? Тогда всё можно сделать за один шаг:
Какие ключевые тренды в развитии больших языковых моделей (LLM) обсуждались в 2024 году?
Избегай общих ответов. Добавь примеров и конкретных трендов, уточни направления развития. Добавь влияние этих трендов на разработчиков, бизнес и пользователей.
и т.д., пока у приёмщика ответа не закончатся критерии оценки качества ответа.
Мы же генерируем текст не просто так, а в каких-то целях. И Модели про наши цели не знают ничего.
Есть одна такая житейская мудрость: "будь готов ни к чему и ты будешь готов ко всему". В применении к ИИ её можно перефразировать как "если ты готов ко всему, ты не готов ни к чему". Модель (Анализатор) может оценить ответ другой Модели (Генератор) с любой точки зрения, но эту "точку зрения" ей должен дать внешний Актор (Оператор). Так почему бы не заложить эту точку зрения сразу же в промпт Генератора?
Анализаторы имеют смысл в мультиагентной схеме - в роли входных фильтров. Стоит или нет брать текстовую информацию на дальнейшую обработку? Удовлетворяет ли она каким-то определённым критериям? Например, в службе поддержки анализатор может решать, к какому департаменту относится этот вопрос. Но вот "и так далее, пока качество не стабилизируется" - это просто неэффективный расход токенов.
Такие цепочки самопроверки обычно ухудшают качество генерации. Косинусное сходство плохая метрика. Стабилизация ответа - тоже плохая метрика
Semantic Error Correction Loop (SECL): самоисправляющиеся LLM-пайплайны с понятием доверия к контексту