Обновить

Как я перестал платить за токены и собрал локальный RAG на 72 000 чанков в SQLite

Уровень сложностиСредний
Время чтения4 мин
Охват и читатели7.7K
Всего голосов 8: ↑5 и ↓3+3
Комментарии7

Комментарии 7

Борис Черни (Boris Cherny) ведёт Claude Code: «Early versions of Claude Code used RAG + a local vector db, but we found pretty quickly that agentic search generally works better». В качестве причин он называл простоту, а также отсутствие проблем с безопасностью, приватностью, устареванием указателя и надёжностью.
Поиск через grep и чтение файлов тратит больше токенов и времени на запрос, чем поиск по векторам. И хуже справляется со смысловыми вопросами, когда неизвестно, как называется нужное. Но если цель экономия токенов, то такой подход, наверно, оправдает себя, но скажется на качестве работы.

Согласен с Черни наполовину, и важна именно вторая половина.

Его тезис - про Claude Code: продукт, который должен работать у миллионов людей, поэтому выбор в пользу agentic search по grep и чтению файлов оправдан простотой и отсутствием отдельного индекса, который надо держать свежим. Но это инженерный компромисс конкретного продукта, а не доказательство, что RAG хуже. То, что собрал автор, - не наивный RAG, а гибрид BM25 + dense + RRF, и здесь есть свои замеры, а не интуиция.

По качеству: BEIR (Thakur et al., 2021, arXiv:2104.08663) показал, что лексический BM25 и плотные векторы сильны на разных типах запросов, а гибрид с RRF (Cormack, Clarke, Buettcher, SIGIR 2009) систематически не хуже, а обычно лучше каждого по отдельности. То есть «векторный поиск хуже справляется со смыслом» - правда только для чисто плотного поиска, а не для гибрида автора.

Про надёжность есть и обратное: Lost in the Middle (Liu et al., 2023, arXiv:2307.03172) - модель хуже использует релевантный фрагмент, когда он тонет в длинном контексте. Дамп кучи файлов в окно (к чему склонен agentic search) воспроизводит ровно этот дефект, а узкий top-k с правильным порядком его смягчает. Если же ретривер всё-таки промахнулся, Corrective RAG (Yan et al., 2024, arXiv:2401.15884) говорит, что модель должна уметь отказаться или переискать, а не доверять вытащенному по умолчанию.

Наконец, претензия Черни про «устаревание указателя» - это аргумент за то, чтобы у индекса были ревизии и статус stale, а не за отказ от индекса. У автора есть версионирование фактов; у меня индекс отвечает ревизией и отказывается отвечать по устаревшему файлу, пока его не переиндексируют.

Так что столкнулись две разные цели: экономия токенов и офлайн против простоты сопровождения в продакшене на миллионы. Правильный вывод - не «RAG вредит качеству», а «индекс обязан уметь сказать stale и not found», и тогда качество не страдает.

Как здорово, коллега! Я тоже к этому пришёл, и это действительно экономит токены и ускоряет разработку, а ещё очень удобно для переноса единых данных между HARNESS-сессиями: индекс лежит локально, и каждая сессия видит одну и ту же версию фактов, а не свою копию контекста.

У меня похожая штука, но с другого конца: RAGRAF - локальный графово-векторный индекс по коду, который отдаёт агенту факты с адресом file:line, а не дамп файла. На моём корпусе это 930 файлов, 6701 символ, 92409 рёбер и 1440 ревизий за четыре недели. Индекс умеет отличать факт (FK из миграции) от догадки (имя колонки user_id) с потолком уверенности 0,5 и помечает stale, когда файл поменялся после индексации - то самое «устаревание указателя», о котором пишут в комментариях.

Гибрид BM25 + dense у вас - правильный выбор: лексика ловит точные имена переменных и формулы, dense - смысл, а RRF их честно мирит. Отдельно оценил SQLite WAL и версионирование фактов с историей - это ровно то, чего не хватает облачным векторным базам за подписку.

Если захочется сравнить подходы, мой проект открыт: github.com/paulmann/RAGRAF (BUSL-1.1).

Отдельно про то, чем я закрываю главный риск, который назвали в комментариях - «указатель устаревает, и качество проседает». У меня это решено тремя механизмами, а не одной метрикой.

Первое - факт отделён от догадки. Связь user_id -> users из миграции - это факт, а та же связь, угаданная по имени колонки, - вывод с потолком уверенности 0,5. Ответ всегда говорит, что из чего выведено, поэтому догадка не выдаётся за структуру.

Второе - ревизия в каждом ответе. Если файл поменялся после индексации, индекс не отвечает по нему, пока не переиндексирует: stale вместо тихого устаревшего факта. Плюс «не найдено» тоже с причиной: absent (нет в корпусе), stale (устарело), out-of-scope (корпус это не покрывает). Пустой ответ перестаёт быть «ничего нет».

Третье - считаю кейсы, а не средние. На 14 фиксированных задачах один флаки-кейс двигал среднее на 7 пунктов и прятал регрессию, поэтому правило «ни один ранее прошедший кейс не падает», а пропуски считаются отдельно от неверных ответов.

Что бы я добавил в antigravity-local-core, глядя на README и на свои грабли за эти четыре недели.

Раз - пиннить поверхность инструментов. Хеш названия и описания каждого MCP-инструмента: когда в релизе переформулируют параметр, это становится событием, а не загадочной сменой поведения агента без изменения кода.

Два - хранить ревизию, по которой проиндексирован каждый факт. У вас уже есть версионирование в памяти, но сам факт из RAG-поиска тоже должен знать, из какой версии файла он взят, иначе старый чанк отвечает так же уверенно, как свежий.

Три - возвращать «не найдено» с причиной, а не пустой список. absent, stale, out-of-scope - три разных состояния, и у каждого своё лечение; если всё сливать в одно, агент либо выдумывает, либо молчит на всё.

Плюс ваш progressive-disclosure каталог скиллов - это правильный ход: он решает ту же проблему, что и мой индекс, только с другой стороны - не «найти факт», а «не тащить лишнее в окно». Если соберётесь сравнивать на одном наборе запросов - напишите, мне интересно, где разойдутся цифры.

У вас сделан классический семантический поиск. Современные же системы поиска делают ставку на структурный анализ (AST, графы вызовов) и оркестрацию контекста, сознательно избегая или минимизируя использование векторных баз данных для кода.

Самый лучший подход - это графовая база для навигации по структуре + семантический поиск по документации, комментариям и историческим контекстам, которые не выразить через AST-граф.

Стандартный совет из интернета — «просто возьми LangChain, прикрути OpenAI API и залей векторную базу в Pinecone».

Это не совет из интернета, а совет от ленивого студента:)

0 рублей - это хорошо, но вы тесты хоть какие-нибудь прогоняли, что относительно реального размера экономии токенов и падения точности решения задач моделями?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации