Комментарии 4
Мне понравилась статья! Добавлю, что запросы, приведенные в качестве примера, можно улучшить если следовать рекомендациям ребят из OpenAI из соответствующего курса. Один из их советов звучит как "дайте модели подумать": перед тем как выдавать итоговый ответ, пусть электронный болван чуток поболтает.
Ответы, выраженные одним числом или одним словом, как правило, ненадежны. Особенно плохо обстоят дела с математическими задачками и фактологией. В этой статье можно было бы попросить модель сначала высказать свои соображения по поводу бутерброда, а уж затем выдать json-объект. Ну а наше дело было бы отделить предварительную болтовню от собственно данных.
расширением идеи RAG становится довольно занятная вещь, когда взаимодействие с моделью превращают в мультиагентность:
один агент задает вопрос модели, второй переспрашивает, мол, "а не фигню ли ты сморозила, ЛЛМ, дорогая?"
и немного погоняв туда-сюда вопросы-ответы итоговый ответ становится лучше. Дополнительной идеей могло бы быть построение примерно такой же системы, только агенты ходят и спрашивают-переспрашивают у разных моделек (берем две, у которых датасет обучения был разный)
один агент задает вопрос модели, второй переспрашивает, мол, "а не фигню ли ты сморозила, ЛЛМ, дорогая?"и немного погоняв туда-сюда вопросы-ответы итоговый ответ становится лучше.
Это мы, человеки, знаем, что ответ "сыр можно приклеивать к пицце клеем" является фигней (причем, заметьте, не всегда - есть ситуации, когда это будет правильным ответом). Откуда это будет знать "агент", как он отличит правильные ответы от галлюцинаций?
Построение надёжных систем из ненадёжных агентов