Что такое RAG и как он работает в LLM 🔎

Представьте, что вы зашли в ChatGPT и спросили: «На каких технологиях построен сервис Evolution AI Agents от Cloud.ru?». Допустим, модель GPT‑4o обучена на данных до октября 2023 года, а Evolution AI Agents появился позже. В этом случае GPT‑4o даст ответ, но он будет неверным, так как актуальных сведений у модели попросту нет.

И вот тут в игру вступает RAG (Retrieval-Augmented Generation) — метод работы с информацией, благодаря которому большая языковая модель может брать данные из сторонних источников.

RAG делает ответы более актуальными, так как LLM не ограничивается информацией, на которой ее обучали. А еще RAG помогает бороться с галлюцинациями — если подгрузить достоверные и проверенные источники, модель будет брать информацию из них.

Какими данными можно обогатить LLM с помощью RAG:

• базами данных — векторными, графовыми, SQL и NoSQL;

• документами;

• информацией из веб-поиска — этим занимаются поисковые агенты;

• сведениями из внешних API: курс валют, погода, актуальные дата и время.

В векторных БД RAG позволяет делать семантический поиск — не по совпадениям слов, а по их смыслу. Для этого есть специальные модели — эмбеддеры — которые переводят каждое слово в базе данных из запросов пользователя в векторы. После векторная БД сопоставляет векторы из запроса и базы данных, ищет наиболее схожие, и на основе этого модель дает ответ.

В базу знаний LLM можно подгрузить корпоративную БД, полезные статьи, исследования, данные из CRM, документацию, юридические документы и много чего еще. Например, с помощью Evolution Managed RAG — он поможет обогатить модель вашими данными, версионировать БД и повысить точность ответов.