Как с помощью graph RAG добиться многоходовых рассуждений от LLM с 2B весов

[Ka463]

Подход правильный, но автором с ютуба он реализован с ручной разметкой, в реальном диалоге не кто не будет размечать граф заранее, у меня по похожему принципу устроен мой агент, тоже граф, тоже достает из памяти перед ходом LLM, но не как источник прямых знаний, а как подсказка для модели, в какую сторону копать.

[semenoffalex]

Из ручного там только основа онтологии: определение узлов и связей между ними. Остальную работу делает LLM. Причём желательно более умная, чем та, что будет использоваться в качестве "движка" агента, который будет отвечать на вопросы. Благо делается это разово на основном объёме документов, а дальше — инкрементально по мере их обновления.

[Ka463]

Ну тогда автор изобрел велосипед, потому что такая концепция уже давно работает Microsoft GraphRAG

[semenoffalex]

GraphRAG я тестировал, когда он вышел. И на практике он себя особо не проявил.

Смысл же экспериментов, представленных здесь, заключается в минималистичной демонстрации того, почему иногда стоит потратить ресурсы на представление данных для RAG в графовой форме. У автора разница была видна только для Haiku. В моём эксперименте разница есть для всех моделей классом ниже.