Как я строил трактор(RAG) для клумбы, а клумбы не оказалось

[normal]

спасибо, интересно. а сравнивали свой сетап с функционалом https://anythingllm.com ? правильно ли я понимаю, там "из коробки" идет примерно то же, что вы собрали?

[Front-Den]

Да, раньше пробовал коробочные решения. Но там нет гибкости, нет возможности метаинфу к докам креплять и прочего. Это как раз подходит для того чтобы просто найти похожие фрагменты, но аналитики и диагностики ИИ на базе этой, система не даст. Достаточно примитивная

[alfatek]

У меня количество документов более 100 тысяч, из многих источников. Одиночный прогон в моем случае это мёртвому припарка. Только агентский цикл с тулами. Тогда и реранкер особо не нужен и количество документов сам агент выбирает, как делать рерайт и когда и т.д. Да это сильно дороже, но результат того стоит. Платим больше, заморачиваемся меньше. Статья понравилась.

[Front-Den]

Спасибо!

Да, с вашим количеством документов подход явно иной. Это статья скорее для таких же как я, чтобы не городили оверкил там, где не нужно🫡

[Alexsolo2306]

У нас 250 документов с многочисленными приложениям внутри ( файлы в файлах). индустриальная отрасль: ЛНА (локальные нормативные акты), регламенты, инструкции, приказы, распоряжения. По формату: pdf, docx, xlxs, сканы, схемы bpmn, диаграммы и др.
Собираем векторный RAG.
основные силы направили на нормализацию документов- данных. На вход подаем в md.
последние испытания у экспертов показали 74% точности. недостаточно по тех.заданию
видимо , добавим контекстный поиск BM25 . пишут что гибридный rag в нашем случае повысит точность ответов.
Что то посоветуете почитать , посмотреть дельного из ресурсов для нашего случая?

Статья понравилась. ясно и человечьим языком.

[Front-Den]

Спасибо!

То что нормализацию делаете в . md правильно. Прогоняйте через ИИ чтобы переписывала документы в нужный под чанкер формат. Тогда сразу двух зайцев убьете, - нормализация и с алгоритмом чанкования не будете париться. Сами свой универсальный чанкер под свою документацию напишете.

С bpmn , диаграммами я не сталкивался лично, не подскажу. А так берите опенсорс qwen3-4b эмбеддер, смотрите метрики, реранкер тоже можете попробовать квена взять 0.6b. Зафиксируйте метрики на базовом квене и lora делайте на своих доках. У меня разные метрики выросли уже на 50-300% , на дообученном эмбеддере и реранкере. Но возможно вас и сырой гибрид с бм25 устроит. В любом случае каждый домен и пул документов как правило требует длительного тестирования и метрик. RAG нормальный без этого не построить.

Начните с бм25, реранкера(если его еще нет). Возможно этого хватит для выполнения ТЗ. Cohere 3.5 можете на опенроутере или российском провайдере-прокладке попробовать. Т.к иногда с ру серверов cohere отбивает 403

[Alexsolo2306]

расскажите, какие метаданные собирали и крепили к документам для обогащения данных?

[Alexsolo2306]

Спасибо за ответ и советы.
Какая у вас архитектура RAG в итоге получилась? Можете поделиться?