Data-Feeling-School-RAG-Challenge или по ту сторону баррикад

[00z3r]

Рассматривал ли ты вариант добавить поверх текущей схемы ещё один пост-шаг после генерации ответа, где LLM не ищет новую информацию, а переписывает уже найденный ответ, максимально приближая формулировки к retrieved-чанкам или стилю ответов из train, с явной ориентацией на embedding-метрику? И мог ли, на твой взгляд, такой слой дать ощутимый прирост скоринга без существенного усложнения архитектуры?

[IgorSh63]

Нет, не рассматривал
Приближение старался делать на уровне промпта

[linabesson]

а что если документы противоречат друг другу?

У тебя ансамбль ретриверов может вытащить чанки из разных источников с разной информацией (например, старая и новая редакция документа). Как LLM решает кому верить?

[IgorSh63]

Хороший вопрос
В рамках этого соревнования такая тема не была актуальной
Но на будущее есть повод подумать, с ходу идей нет

[Technomorph]

1. Подключать человека-специалиста и ему выдавать противоречивую инф с указанием источника

2. Дешевле, но хуже - выдавать противоречивую инф прямо пользователю