Облачные ИИ не справляются, MiniLM-L6 ломается на философии: строим локальный RAG для сложных семантических текстов

[Ka463]

я не специалист по ML, но мне кажется что вы ищите решение не в том месте, вам нужна не reranking оптимизация, а retrieval оптимизация, к примеру использовать ассоциативную память+Hebbian Learning,
сейчас вы ловите близость между яблоком и грушей, но ваш RAG не может поймать связь между яблоком и Ньютоном, философия это не справочник фактов, а длительный диалог, ключевые идеи развиваются, перекликаются, эволюционируют. а сейчас у вас получился продвинутый поисковик по книгам, а должен "глубокий собеседник "

[ENick]

"но ваш RAG не может поймать связь между яблоком и Ньютоном, философия это не справочник фактов, " если связи ловить, то тогда надо иcпользовать типа GraphRAG, в крайнем случае иерархическую структуру городить.

[joseph-m-l]

Вы правы, и та и другая. reranking - имелось ввиду после масштабирования: там в планах разметить и добавить более 10 томов... и не все сразу, а по одному в месяц (может даже медленнее). вот и думаю как правильнее организовать это "динамическое расширение".

Ну а retrival - это как отдельная параллельная задача. Сейчас сделано то что можно было сделать максимально просто. И вот из "вот этого вот" надо будет как-то допилить "глубокого собеседника". Вот собственно думал можт кто даст направление для размышлений по этим вопросам.

[ENick]

"переводить их в XML " а почему не в JSON, хотя бы через Markdown?

[joseph-m-l]

XML… тут как получилось, когда я думал над тем “как именно размечать тхт”, в голове сама собой автоматически рисовалась хсд-шная структура, строгая, иерархичная. Ну да, более громоздко, зато монументальнее и меньше шансов ошибиться. Как я люблю.