Как стать автором
Обновить

Тварь дрожащая или право имею: как мы лепили виртуального юриста из русскоязычных нейросетей

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров6.6K
Всего голосов 16: ↑15 и ↓1+28
Комментарии28

Комментарии 28

Тут главная проблема - с доступностью данных для обучения. Даже законодательство получить в машиночитаемом виде официального способа нет. На пути к судебной практике свои ограничения (разные истории для судов общей юрисдикции и для арбитражных). Ну а статьи/комментарии - тут ещё и авторское право во весь рост.

Свои AI-решения пилят разработчики справочно-правовых систем, у которых вот это всё уже есть, - но что-то и у них пока тоже не очень получается. По крайней мере, никакого качественного скачка в последнее время, на который позволял бы надеяться прогресс в области языковых моделей, не видно. Может, не выкатили ещё свежайшие наработки, сфера эта консервативная и неспешная...

Ну и всяческие сервисы онлайн-консультаций уже давно тренируют нейросети на своих базах вопросов пользователей и ответов живых юристов на оные. Но там другая проблема - с качеством этих ответов, потому что консультировать онлайн за копейки готовы, мягко скажем, не лучшие представители профессии.

Идея провальная, потому как например российское законодательство исходит от прописанных на все случаи жизни статей УК, а дальше обвинение по сути спрашивает судью: сколько лет даем, можешь примерно так почувствовать?

А в Штатах, например, прецедентное право - там ответчик может сказать: нет, я не полицейскому сказал, что он пидорас, а отвернулся и всплеснув руками в воздух сказал: "полицейские - пидорасы". И вот в первом случае это было бы личное оскорбление, а я не ему это говорил, так что отрицаю вину. И тогда судья может вынести решение, что, мол, не глядя копу в глаза полицию вообще оскорблять можно, потому что это право гарантировано поправкой о свободе слова, а мистера Смита ограничили в его конституционных правах, арестовав за это. Если же вы один раз натаскаете нейросеть, право не сможет эволюционировать.

А так сама идея витает в воздухе уже лет 30: https://www.youtube.com/watch?v=VehXP6Gwgj8&t=674s

Если использовать только кодексы, то можно столкнуться с описываемой ситуацией. Наша задача использовать не просто кодексы, но и подгрузить судебные практики, где одна и та же статья по-разному применяется в зависимости от ситуации.

Берем самую крутую на сегодня модель. Вжариваем ей все возможные версии УК РФ (с пометкой о том, какая является действующей на текущий момент), постановления Пленума ВС, пару сотен уголовных дел по ст. 158 УК РФ.

Затем вливаем этой модели Постановление КС РФ №49-П от 25.12.2020.

А затем даём этой модели уголовное дело о лице, укравшем из магазина, скажем, пачку крупы, пару кусков мяса, ну и еще что-нибудь из еды по мелочи, овощи, например. В материалах следствия имеем объяснение лица, в отношении которого ведется уголовное преследование, о том, что:

  • у него семья, на его иждивении находится супруга, 5 малолетних детей, 2 нетрудоспособных родителей (то есть, помимо него самого, он содержит в силу закона еще 8 нетрудоспособных людей)

  • у него есть десяток отказов от потенциальных работодателей, которые могли бы платить ему зарплату, из которой тот содержал бы всю семью хотя бы в минимальном уровне

  • иных способов добыть пропитание, кроме незаконных, у него не осталось

  • из всех незаконных способов обвиняемый выбрал такой, который наносит наименьший ущерб публичным интересам

А затем берем попкорм и наблюдаем, как владельцы этой AI судорожно пытаются подобрать такой промпт, который, с одной стороны, не задавал явно предвзятого отношения к обвиняемому относительно его вины, незаконности его действий (включая конституционно правовой смысл слова "законность"), а, с другой стороны, приводил бы к постановлению обвинительного приговора с полным игнорированием Постановления КС РФ.

Даже без ваших "плясок" - для LLM нет разницы, между тем, чтобы сказать что-то правдивое, что-то ложное или полную чепуху.

François Chollet, Deep learning @google.Creator of Keras. https://twitter.com/fchollet/status/1639692810659188737?s=20
François Chollet, Deep learning @google.Creator of Keras. https://twitter.com/fchollet/status/1639692810659188737?s=20

Вопрос вообще не в этой плоскости лежит. Он в правоприменении, в котором, напомню, есть такая офигенная штука, как "суд постановляет приговор, основываясь... на внутреннем убеждении". Это никакой моделью не описать, потому как внешнему наблюдателю применение закона судьями может показаться зависящим от параметров, которые ни одна модель не может признать сколь-нибудь значащими. Иными словами, модель может, я убежден в этом, постановлять объективный приговор, тогда как такой приговор не будет устраивать, в первую очередь, самих профессиональных судей. Вопрос объективности приговора зависит лишь от полноты исходной обучающей выборки, которой со времён римского права накопилось предостаточно в весьма и достаточно обширном многообразии конкретных случаев.

Более того, честно обученная модель может быть моментально использована для пересмотра всех вступивших в силу приговоров за хотя бы новейшую историю РФ, а это люстрация, которую судейское сообщество категорически и органически не приемлет по понятным причинам.

Поэтому мы будем выдавать результат с ссылкой на источник, не ограничиваясь просто ответом?

Не верю я в то, что нейросети можно вжарить российские законы.
Вот 2 примера:
1)Свисток 100% подходит под определение сигнального оружия ФЗ об оружии. Как вы объясните нейросети что свисток не оружие? Точнее проблема даже не в том, чтобы объяснить конкретно про свисток, а в том, чтобы провести грань где оружие, а где нет.
2)
ГИБДД выписывает штраф водителю мотоцикла, что он вёл ТС с превышением установленного ограничения.

10.1. Водитель должен вести транспортное средство со скоростью, не превышающей установленного ограничения, учитывая при этом интенсивность движения, особенности и состояние транспортного средства и груза, дорожные и метеорологические условия, в частности видимость в направлении движения. Скорость должна обеспечивать водителю возможность постоянного контроля за движением транспортного средства для выполнения требований Правил.

При возникновении опасности для движения, которую водитель в состоянии обнаружить, он должен принять возможные меры к снижению скорости вплоть до остановки транспортного средства.

Нейросеть читает ПДД, и у неё едет крыша т.к. лицо, ведущее мотоцикл считается пешеходом, а 10.1 распространяется на водителей.

"Пешеход" - лицо, находящееся вне транспортного средства на дороге либо на пешеходной или велопешеходной дорожке и не производящее на них работу. К пешеходам приравниваются лица, передвигающиеся в инвалидных колясках, ведущие средство индивидуальной мобильности, велосипед, мопед, мотоцикл, везущие санки, тележку, детскую или инвалидную коляску, а также использующие для передвижения роликовые коньки, самокаты и иные аналогичные средства.

находящееся вне транспортного средства... ведущие...

Я чуть переместил акцент, который, я верю в это, некросетка тоже сможет уловить. Впрочем... Ведет ТС водитель. Пусть он и пешеход, но он ведет, потому водитель. Если пешеход достигнет первой пешеходной космической, превысив, например, ограниичение даже в 30км/ч, то, пожалуй, придётся позвать комитет Гиннеса для фиксации мирового рекорда.

чтобы провести грань где оружие, а где нет

А разве эта грань не в подзаконных актах прочерчивается?

Я чуть переместил акцент

Вы чуть промахнулись. У вас цитата из определения пешехода, а не из определения приравненных к пешеходам.

Пусть он и пешеход, но он ведет, потому водитель.

нет, он водитель, но приравненный к пешеходам.

А разве эта грань не в подзаконных актах прочерчивается?

Я так и не смог разобраться где это прочерчено. Единственное что смог узнать, что если есть сертификат на вещь, то там можно прочитать что это.

Я перепроверил:

"Водитель" - лицо, управляющее каким-либо транспортным средством, погонщик, ведущий по дороге вьючных, верховых животных или стадо. К водителю приравнивается обучающий вождению.

Нет, я не промахнулся (но всё же в моём предыдущем комментарии была другая неточность). К водителям относятся не те, кто "ведут", а те, кто "управляют" плюс отдельные категории тех, кто "ведут", поименованные в закрытом перечне.

К пешеходам относятся те, кто вообще находится вне транспортного средства, плюс отдельные категории тех, кто "ведут", поименованные в закрытом перечне.

Эти перечни не пересекаются. Законодатель и регулятор таковыми формулировками дал явно и недвусмысленно понять любому правоприменителю, что "управлять" != "вести".

Эти перечни не пересекаются. Законодатель и регулятор таковыми формулировками дал явно и недвусмысленно понять любому правоприменителю, что "управлять" != "вести".

Т.е. если я управляю транспортным средством, то значит я его НЕ веду, и соответственно автоматически нарушаю 10.1 т.к. согласно ему я ДОЛЖЕН вести?

10.1. Водитель должен вести транспортное средство со скоростью, не превышающей установленного ограничения, учитывая при этом интенсивность движения, особенности и состояние транспортного средства и груза, дорожные и метеорологические условия, в частности видимость в направлении движения. Скорость должна обеспечивать водителю возможность постоянного контроля за движением транспортного средства для выполнения требований Правил.

Да, теперь это образует повод для обращения в КС РФ.

>Точнее проблема даже не в том, чтобы объяснить конкретно про свисток, а в том, чтобы провести грань где оружие, а где нет

Нейросети немного не так работают, у них нет понятий и определений. Если "свисток" в обучающей выборке используется статистически как оружие, то и в генерации сети статистически он будет использоваться как оружие (если аппроксимация сетью достаточно точна). А если не будет - то не будет. Какое определение у свистка и оружия сети не важно, это важно для человека, который понимает термины и обладает моделью мира.

Чем больше данных, тем качественней результат! Мы стараемся идти от простого к сложному на каждом этапе эволюции нашей идеи

Нейросети немного не так работают, у них нет понятий и определений.

По моему вы потеряли контекст.

Вжариваем ей все возможные версии УК РФ (с пометкой о том, какая является действующей на текущий момент), постановления Пленума ВС, пару сотен уголовных дел по ст. 158 УК РФ.

Я не спорю что нейросети можно скормить (с пользой) уголовные дела, я спорю с тем, что можно скормить законы.

Просто законы - конечно нет, толку не будет. надо скармливать дела и вердикты судов.

много раз плюсую!
интересно, нейросеть понимает разницу:
1) стоянка/остановка
2) пропустить/уступить дорогу
3) резко тормозить / экстренно тормозить

а по ПДД это все разные определения и обстоятельства

Вы описали весьма интересную ситуацию! Будем не ждать, а готовиться: уже напрягаем извилины, как это обойти. Спасибо за проявленный интерес!

LawAi в нынешнем виде очень похож на ребенка, которому надо как следует разжевать вопрос, чтобы получить нужный ответ. Поэтому “детская версия” помощника юриста актуальна только для самих юристов, которые умеют формулировать вопрос на «юридическом языке» и правильно трактовать ответ на нем же.

AlliesVerse а вы не пробовали использовать трансформеры с БЯЛ (ruchatgpt или whatever) чтобы нормализовать произвольный вопрос пользователя до "юридической формы" в ODQA? А дальше - всё по вашему пайплайну с BERT?

В данный момент пробуем разные комбинации. Огромное Вам спасибо за проявленный интерес к улучшению нашей идеи??

А почему статья в хабе функциональное программирование? Не нашел упоминаний про Lisp, Clojure, F#))

Функциональное программирование является одной из парадигм, поддерживаемых языком программирования Python ?

Хайп на Хабре. Бодро начали за виртуальных судью и присяжных, и тут же подменили исходную задачу созданием поискового движка - о которой и отчитались.
"Кража - это? " Это не ИИ, а поисковик. Человек читает выданный результат, человек же и делает все остальное - интерпретирует, оценивает применимость и т.п.
Сложно придумать что-то, что было бы более далеким от судьи/присяжного. Потому что ИИ не принимает решение. Присяжный не решает - сколько дать за кражу. Его вердикт: виновен/невиновен подсудимый в конкретном эпизоде кражи. А ИИ услышит "кража" у прокурора и отзовется наказанием. Услышит про хорошего семьянина у адвоката - предложит поощрить.

Присяжный не решает - сколько дать за кражу. Его вердикт: виновен/невиновен подсудимый в конкретном эпизоде кражи

Присяжные отвечают, на самом деле, минимум на 3 вопроса:

  • доказано ли событие преступления

  • доказана ли причастность обвиняемого к преступлению

  • доказана ли вина обвиняемого в совершении преступления

Само собой, каждый последующий вопрос полностью зависит от предыдущего. Но ответить они обязаны на все три (если не ошибаюсь), даже если самый первый вопрос имеет ответ "Нет".

"Кража - это?" используется в качестве быстрого и наглядного примера. Частные ситуации, описанные выше, требуют больше входных данных. Есть судебная практика, в которой уже принято решение в идентичной ситуации

НЛО прилетело и опубликовало эту надпись здесь
Зарегистрируйтесь на Хабре, чтобы оставить комментарий