Comments 6
Одно замечание (как человека с юридическим опытом, в т.ч. неоднократно обращался в Верховный Суд и Конституционный Суд). Видимо, юридической практики у Вас нет. Решения Верховного Суда по отдельным делам не имеют юридической силы по другим делам. По сути оно имеет такую же силу, как, например, решение любого апелляционного\кассационного суда. А вот что имеет силу - так это решения\определения Конституционного Суда и Постановления Пленума Верховного Суда.
Это следует из п 4 Постановления Пленума Верховного Суда РФ от 19.12.2003 N 23 "О судебном решении" (ссылка на пункт 4):
Текст из п 4 Постановления Пленума Верховного Суда РФ от 19.12.2003 N 23 "О судебном решении"
Суду также следует учитывать:
а) постановления Конституционного Суда Российской Федерации о толковании положений Конституции Российской Федерации, подлежащих применению в данном деле, и о признании соответствующими либо не соответствующими Конституции Российской Федерации нормативных правовых актов, перечисленных в пунктах "а", "б", "в" части 2 и в части 4 статьи 125 Конституции Российской Федерации, на которых стороны основывают свои требования или возражения;
б) постановления Пленума Верховного Суда Российской Федерации, принятые на основании статьи 126 Конституции Российской Федерации и содержащие разъяснения вопросов, возникших в судебной практике при применении норм материального или процессуального права, подлежащих применению в данном деле;
А также из Закона "О Конституционном суде".
Юридическая сила решений Конституционного суда
Согласно Закона «О Конституционном Суде Российской Федерации» решения Конституционного Суда обязательны на всей территории Российской Федерации для всех представительных, исполнительных и судебных органов государственной власти, органов местного самоуправления, предприятий, учреждений, организаций, должностных лиц, граждан и их объединений (статья 6). Решение Конституционного Суда Российской Федерации действует непосредственно и не требует подтверждения другими органами и должностными лицами (статья 79)
Да, многие юристы любят ссылаться на позицию Верховного Суда по отдельному делу. Но, это не значит, что эта позиция соответствует Законам. Как признался юрист одной компании: они в курсе, что ссылка на определение Верховного Суда не имеет юридической силы. Но, они это делают намеренно "исходя из личной юридической практики". По сути речь о том, что некие нижестоящие суды либо боятся перечить позиции Верховного Суда, либо прикрываются им, чтоб не разбираться самим в особенностях конкретного дела.
Определения\Постановления Конституционного Суда можно найти на сайте https://ksrf.ru/ Там есть в т.ч. раздел с позициями КС РФ по отдельным вопросам.
Постановления Пленума ВС РФ можно найти на сайте
Ну да, ну да. Всё дружно вспомнили дело Долиной и как будто у нас не прецедентное право.
Правда в том, что ни один суд не вынесет решение, идущее в разрез, с решением по аналогичному делу в верховном суде. И можете сколько угодно буквами там играть в кодексах. Всё судьи понимают, что отличное от верховного решение это прямой путь к апелляции, которая точно возьмёт за аксиому решение верховного суда и здравствуй минус в статистики для переутверждения на новый срок.
Приветствую!
Вопрос об организации и иерархии источников знаний в БД очень важен при проектировании RAG-систем в юридическом домене.
И судебная практика, не только ВС РФ, но и нижестоящих инстанций, должна, на мой взгляд, учитываться в любых сценариях при проектировании юридических агентов или ассистентов, поскольку она несет основную информационную ценность.
При обработке пользовательских запросов система имеет дело, как правило, с анализом конкретных обстоятельств, выраженными на обыденном неюридическом языке. В векторном представлении эти обстоятельства формируют точки "входа" в граф или в векторное пространство, если оценивается семантическая близость релевантных чанков корпуса.
RAG, построенный только на текстах законов, постановлениях Пленума ВС РФ и КС РФ, скорее всего, будет давать выхолощенные и практически малополезные ответы. Поэтому современные RAG-системы в домене включают не только судебную практику, но и комментарии или заключения юристов, дабы агент учитывал как можно больше информации и приближался в своих ответах к "живому" и толковому юристу.
Вот, например, кейс команды YDB (Яндекс), которая решала проблему организации поиска на крайне несбалансированной выборке юридических документов для своего Нейроюриста. Среди документов и судебная практика (разная, как по отраслям, так и по инстанциям), и комментарии юристов.
К вопросу о ссылках на решения ВС РФ.
Ссылаются на них не только юристы, но сами судьи, причем очень активно, как на решения Судебных коллегий ВС РФ, так и на постановления "своих" окружных кассационных судов. Вот, например, довольно интересное исследование: взяли выборочно решения арбитражных судов за 2009–2019 гг. на предмет отсылок к другим арбитражным делам. Вывод: порядка 540 тыс. дел содержат отсылки к правовым позициям, высказанным в других делах.
И для этого есть свои причины. Ключевой показатель качества судебных актов, который применяется при оценке деятельности судьи - соотношение количества отмененных и измененных вышестоящей инстанцией судебных актов и общего числа рассмотренных либо обжалованных дел. В таких условиях естественно, что судьи внимательно следят и за "своей" окружной практикой, и за позициями ВС РФ. То же - и юристы при подготовке дел.
Один из основополагающих принципов судопроизводства - единообразие судебной практики.
Тот же Пленум предписывает судьям: "в целях единообразного толкования и применения норм материального права и норм процессуального права судье необходимо в каждом случае при подготовке дела к судебному разбирательству проанализировать судебную практику применения законодательства, регулирующего спорные правоотношения
Более того, закон предусматривает даже основание для отмены судебного решения при нарушении "единообразия в толковании и применении норм права" (см., например, пп. 3 п. 3 ст. 308.8 АПК РФ или п. 3 ст. 391.9 ГПК РФ). Если судья решает идти вразрез со сложившейся практикой, он должен это тщательно обосновать.
Другое дело, что позиции судебных коллегий ВС РФ, по применению одной и той же нормы, могут быть противоречивыми. Возможны и пробелы в законодательстве, когда вопрос не имеет однозначной квалификации, и приходиться руководствоваться решениями той инстанции, которые имеются. И это имеет практический смысл.
В таких случаях канонический ассистент должен учитывать эти особенности и явно указывать на них пользователю, но это уже отдельный вопрос проектирования.
В этой статье использовались специально отобранные решения ВС РФ, касающиеся главным образом спорных вопросов квалификации объектов как движимых или недвижимых. Среди них, кстати, есть и постановления Пленума ВС РФ, и обзоры, утверждённые Президиумом ВС РФ.
В данном случае цель была показать, как быстро поднять и потестировать графовый RAG на имеющихся документах. При масштабировании корпуса иерархия источников знаний и правила их использования должны быть, конечно, заданы.
Спасибо за Ваш вопрос, он затрагивает очень глубокую и проблемную тему для юридических RAG-систем.
P.S. Профильное образование и опыт имеются)
32b модели ерунду пишут, для более-менее сносного выделения сущностей нужна минимум 70б, поэтому оллама тут не годится, особенно если апсертить граф новыми документами
Приветствую!
Согласен с Вами в том, что лучше использовать модель помощнее, чем 32b для генерации.
Для этапа индексации, на первом этапе будет достаточно и 32b параметров (в документации фреймворка это значение - нижняя граница). Важно учитывать специфику домена, потому как LLM - не единственный фактор, который влияет на качество extraction.
Я тестировал граф на внутр. корп базе, прямо не связанной с юридическом доменом, и та же GPT-4o-mini очень неплохо справилась, так как системные настройки фреймворка были адекватны моей неспецифичной задаче.
Задача extraction - по сути, задача структурного парсинга по фиксированному шаблону: от LLM не требуется рассуждать, поэтому качество здесь определяется не в последнюю очередь промптом и типологией.
А вот на этапе генерации LLM должна будет выполнять содержательное юридическое рассуждение (legal reasoning). Здесь, конечно, нужная модель помощнее, чем 32b, особенно, если поиск будет реализован в режиме mix, совмещающем граф и векторный поиск (контекст становится больше и разнороднее).
Про Ollama - не совсем понял. Ollama работает и с 70b+ моделями. Если имеется в виду, что локальное решение by Ollama - дорогое решение, требующее "железа" и администрирования, то - да, это не дле всех, нужно хорошо посчитать его экономику.
Любопытно. Как раз делаю базу знаний на графах
Графы знаний в юридическом домене: эксперимент с LightRAG