RAG или Finetuning?

В AI сообществе сложилась определенная классификация подходов к решению задач с помощью LLM. Вот хорошая статья про это. Мне была полезна такая классификация, возможно, будет полезна и вам. Позволю себе краткое саммари статьи.

Итак, есть два подхода.

RAG - Retrieval-Augmented Generation. Берут "generic" LLM, обученную на большом массиве данных и дополняют решение поиском по базе знаний, специфичной для вашего домена. Подходит, например, если делаете систему помощи для работы с внутренней базой знаний компании.

Finetuning. Снова берут уже обученную на большом датасете LLM и дообучают ее на меньшем наборе данных, специфичном для домена. Подходит, например, если делаете болталку на специфичные темы.

Простой набор вопросов, который поможет выбрать путь:

Выбирай RAG, когда: 

- требуется доступ к внешним источникам данных

- необходимо минимизировать галлюцинации модели

- нет большого набора данных для тюнинга модели

- специфичные данные меняются во времени

- необходима возможность анализировать источники и причины ответов системы

Выбирай Finetuning, когда:

- требуется модификация поведения или стиля ответов модели

- есть большой набор данных для тюнинга модели

- доменные данные статичны

- нет необходимости анализировать источники и причины ответов системы

Канал Чуть больше продакта