Comments 6
Вдобавок к рассмотренным вами вариантам улучшения качества RAG, знакомы ли вы с подходом, когда после разбивки на куски текста, каждый текстовый кусок обворачивается дополнительными метаданными? "RAG with Context-Based Chunking"
Антропик предложил подход для улучшения качества нарезанных кусков документа:
Да, но, в целом, не вижу необходимости использовать его если есть гибридный поиск, при котором можно для каждого чанка можно хранить метаданные отдельно, и Graph RAG. В своих экспериментах мы пробовали этот похожий метод еще в 2023 и значимого преимущества у него не было. Кроме того, не все документы легко помещаются в контекстное окно, почему имплементировать этот метод 1:1 под реальную задачу невозможно -- все равно придётся бить на чанки.
Какие эмбиддинги и модели лучше работают с русским? Интересны локальные модели
А мне тут бабка на базаре сказала, что маркдаун вреден для векторизации. Может не разбирается.
@fangorntb, как вы предлагаете оценивать качество самого сгенерированного текста с учетом полноты извлечённой информации, её достоверности и согласованности, и каким образом можно совместить метрики извлечения (например, Precision@K) с метриками генерации (например, оценка связности или стилистической корректности ответа)? Кроме того, существует ли на практике устоявшийся набор инструментов или фреймворков для автоматизации этой многоуровневой оценки, и как, на ваш взгляд, лучше всего настраивать или адаптировать подобные инструменты под специфические требования разных областей применения RAG?
Мама, у меня RAG: пути к улучшению, когда он «наивный»