Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту

[ToxaBes]

Спасибо за крутой и честный разбор! Переход на вывод индексов для сплиттера RAG просто отличное решение, убирающее риск искажения исходного текста. Есть два предложения для второй версии проекта.

Первое касается избыточного дробления текста. Может стоит усложнить промпт учителя? Если добавить примеры, запрещающие разрыв единой мысли, мы вылечим сами данные на старте, а не будем программно склеивать куски потом.

Второе: не думали собрать небольшой эталонный набор документов, который будет размечен человеком? Текущая метрика F1 показывает лишь точное копирование учителя. Если DeepSeek сам ошибается на сложной технической документации (а он периодически ошибается), студент просто заучит эти галлюцинации.

[AGmind]

Спасибо за фидбек! Приятно, что дочитали и разобрали по существу. И да, рад, что эксперимент удался — сам не был уверен, что доеду до рабочей модели.

1. Согласен, чинить надо в данных. Промпт учителя в v1 был совсем простой: пронумерованные куски, жёсткая JSON-схема и желаемый размер чанка (~120–300 слов). Примеров «тут одна мысль, не режь» не было — добавлю. Плюс попробую голосование из нескольких прогонов: в v1 руки не дошли, каждый пример размечался одним запросом.

2. Да, это главная слабость текущих цифр — модель заучивает и ошибки учителя. Большой эталон с ручной разметкой очень хочется: техдоки, прайсы, таблицы — ровно там учитель чаще всего косячит. Но руками это долго, начну с малого. Соберу фидбек по первой версии — прогоню идеи на тестах и посмотрю, что реально даёт прирост.

[starfair]

Хорошая работа! Единственное, в описании ну очень много терминов, которые "без ста грамм" не разобрать. Понятно, что ваша статья для тех кто в теме, но все равно, как по мне так небольшой глоссарий бы не помешал

[vagon333]

Целые таблицы

таблица режется как атомарный юнит, если upstream‑парсер выделил её корректно

А если таблица неприлично большая?

Вопрос не праздный.
Работаю с трансформацией законов.
Попадаются большие и/или вложенные друг в друга таблицы.
Как посоветуете готовить этих монстров?

[AGmind]

Здравствуйте! как раз под эту проблему надеюсь на след неделе выпущу статью) конкретного решения еще нет к сожалению..