LLM-wiki против RAG: Оцениваем и сравниваем

[kreo_OL]

Вы сравниваете сравнивает теплое с мягким: сложный многошаговый пайплайн против базового векторного поиска. Если к RAG прикрутить такого же агента (для перекрестного поиска по терминам и метаданным), разница в качестве, скорее всегл, исчезнет, а RAG при этом останется гораздо более гибким и простым в масштабировании. Чего не скажешь о Вики, шанс ошибки в которой все ещё невероятно высок.

При этом ещё вопрос стоимости...

[khmelkoff]

Вы сравниваете сравнивает теплое с мягким: сложный многошаговый пайплайн против базового векторного поиска.

Я сравниваю ответы одой и той же LLM, на один и тот же вопрос, с одним и тем же системным промптом. При этом в одном случае контекст скомпилирован из исходного документа, в другом - «сырые» фрагменты, отобранные по сходству с вопросом. Считаю такое сравнение правомерным. Подмешивание фрагментов в скомпилированный контекст качества не добавляет. Это я тоже проверил.

Если к RAG прикрутить такого же агента (для перекрестного поиска по терминам и метаданным), разница в качестве, скорее всегл, исчезнет

Какую архитектуру RAG здесь вы имеете в виду? Например, GraphRAG это тоже либо долго, либо дорого. По релевантности контекста он выглядит лучше чем простой векторный поиск.