Позволю себе покритиковать Вас. То, что вы строите, упирается в архитектуру любой ллм - неопределённость - им нельзя давать волю брать куски юридических текстов напрямую. Но это решаемо. Если тащить не текст из документа напрямую, а потребовать от модели брать номер строки, где этот текст находится, - это будет стабильно работать. И неважно, это будет клод или другая модель попроще, остальное - относительно несложная работа с текстами, только нужно построить поток грамотного разбития на чанки (ввиду больших объёмов) и сделать конвейер под это. Задача абсолютно реализуемая с практически любой более менее смышлёной LLM, в том числе с локальными. Да, тут нужны скрипты - на них всё будет держаться. Но выбор модели вторичен, если один раз правильно написать код, потом вообще не важно будет какая модель будет сопоставлять и суммаризировать тексты.
Позволю себе покритиковать Вас. То, что вы строите, упирается в архитектуру любой ллм - неопределённость - им нельзя давать волю брать куски юридических текстов напрямую. Но это решаемо. Если тащить не текст из документа напрямую, а потребовать от модели брать номер строки, где этот текст находится, - это будет стабильно работать. И неважно, это будет клод или другая модель попроще, остальное - относительно несложная работа с текстами, только нужно построить поток грамотного разбития на чанки (ввиду больших объёмов) и сделать конвейер под это. Задача абсолютно реализуемая с практически любой более менее смышлёной LLM, в том числе с локальными. Да, тут нужны скрипты - на них всё будет держаться. Но выбор модели вторичен, если один раз правильно написать код, потом вообще не важно будет какая модель будет сопоставлять и суммаризировать тексты.