LLM разобрали «дело Долиной»: предсказали аргументы, но статистика оказалась сильнее

[ZetaTetra]

Я ХЗ как по Российским судам работают AI, но для рынков с прецедентной системой права есть специально натреннированные модели (Legora, Harvey и т.д., и т.п.), которые в контекст ещё и всю библиотеку судов страны включают.

Полагаться на общие модели для детального разбора такой сложной темы - так себе идея...

[larayoda]

Согласен с вами, для прецедентного права (Common Law) RAG с огромной базой кейсов вроде Harvey - это must-have. Иначе модель просто не найдет тот самый прецедент "из 1998 года", на котором строится позиция.

У нас же романо-германская система, все крутится вокруг кодифицированных законов, постановлений пленумов Президиума ВС РФ, правовых позиций ВС РФ - и все это общие LLM как раз "выучили". Эксперимент свидетельствует, что современные топовые "общие модели" вполне себе ориентируются в нашем праве out of the box. Если дать им контекст (судебные акты нижестоящих инстанций по конкретному делу), они прекрасно находят правовые аргументы.

[ZetaTetra]

Я не в России и у меня большинство госстайтов не открывается (Включая vsrf.ru) уже как лет 5, если не больше.

Так что я всё равно не уверен что модели смогли получить доступ к открытой базе судов, хотя-бы к ВСРФ. И скорее всего, нейронки учились не по документам ВСРФ и других органов власти, а по открытым новостным сайтам.

[larayoda]

в этой части как раз думаю, добрались. достаточно много (десятки?) доступных баз - sudact.ru и проч.

[ZetaTetra]

Вот достаточно простой пример где видно что он выдал не то что требовалось:
https://chatgpt.com/share/69a04c36-d258-800d-9cef-d8d0cf181bca

Да, для общих ответов из википедии, stackoverflow и опровержений теорий заговоров ещё нормально, но в такой теме как юриспруденция можно решительно сесть в лужу...

[larayoda]

как кажется, не очень релевантно))

[ZetaTetra]

А, понял. Вы на этом денег пытаетесь заработать.
Тогда тут любые аргументы бесмыссленны.

[larayoda]

Раскусили! 😀

Попробую пояснить проще. Вы скинули ссылку, где вы просите ChatGPT сгенерировать факты из памяти (найти конкретное дело). Но LLM - это не база данных, она так не работает. Ее веса хранят не точные копии текстов, а вероятностные связи между концепциями (как любят писать инженеры антропика, "сжатые паттерны знаний"). Когда вы просите ее извлечь точный идентификатор (номер дела или дату), она пытается собрать его по токенам из распределения вероятностей, что неизбежно ведет к галлюцинациям без использования жесткого RAG-поиска.

Попросите ее: "Объясни, как Пленум ВС РФ №25 трактует недобросовестное поведение при совершении сделки, и приведи логику применения статьи 10 ГК РФ". Вы увидите, что саму правовую концепцию (ту самую романо-германскую догматику) топовые модели понимают превосходно. И именно это концептуальное понимание права позволяет им находить дыры в загруженных судебных актах.

Об этом и эксперимент - на вход LLM получила тексты решений нижестоящих судов в контекст и попыталась сделать прогноз, найти уязвимые места и т.п. Это задача на reasoning, а не на information retrieval.