Комментарии 103
Что не так с ИИ-юристами
Все?
Например, 16-летняя девушка убила 10-летнего мальчика — она подлежит ответственности за убийство. 15-летняя — аналогично. Теперь представим, что жертва — новорожденный ребенок. Для юриста это в корне изменит дело, ведь ответственность по статье 106 наступает с 16 лет, а значит, мать невиновна.
Какая мать? Вы в контексте упустили, что мальчик не только новорожденным стал, но еще и ребенком убийцы. Если вы так задаете вопросы нейросетям - я не удивлен что они часто галлюцинируют.
Уточнил формулировку. Нейросетям этот вопрос задавался более развернуто :)
Мне как не юристу не понятно, почему 15 летняя мать не виновна.
Статья 106 к ней не применима. Но почему это убийство не может трактоваться как обычное убийство? Там то этого ограничения нет.
Однако в среднем — пока — ни одна из моделей, которыми я пользовался, не способна работать в «автономном» режиме, давая надежные юридические консультации неюристам.
Как будто живой юрист это может, лол.
Типовой живой юрист может дать однозначные ответы на все вопросы поста?
Однозначные - имеется в виду, что в любом российском суде деяние с такими вводными (а так же дополнительными обстоятельствами, которые могут дополнять условие задачи, но не могут противоречить ему) будет оценено именно так, как ответил юрист.
Ни один юрист не поручится за исход дела, но большинство вопросов поста имеют четкий ответ, и квалифицированный в соответствующей сфере юрист должен его дать. Не знаю, как насчет "типового", но хороший -- да.
Квалифицированный юрист должен дать чёткий ответ, который не позволяет поручиться за исход дела, да? То есть чёткий ответ, который не имеет значения?
большинство вопросов поста имеют четкий ответ
Тогда почему этот "четкий ответ" может не совпадать с "четким ответом", который на тот же вопрос даст судья в приговоре?
Потому что судья по закону руководствуется не только формальным применением правовых норм, но и внутренним убеждением.
Потому что судья в большинстве случаев - это в целом плохой юрист, к тому же не способный уделить достаточно времени на качественный анализ дела, а в ряде случаев - ещё и мотивированный (административно: общей логикой системы или звонком по конкретному делу, финансово и т.п.) на вынесение конкретного решения.
Ну и выигрыш дела - это не только и в большинстве случаев не столько формирование правовой позиции. Обычно по праву-то всем всё понятно (долг по договору надо платить), а основной спор по доказательствам (достаточно ли документы свидетельствуют о том, что договор исполнен).
Ну и третий вариант - то, на самом деле, относительно небольшое количество случаев, когда закон и практика его применения действительно не дают однозначного ответа, и мы эту практику сами формируем, основываясь на соображениях высшего порядка (принципы, аналогии и иже с ними).
Спасибо, что потратили время и написали такой квалифицированный текст. К сожалению, вывод-то получился банальный - не годится ИИ для серьезных задач. Нужно как изюм из булки выковыривать какие-то задачи, которые ИИ исполняет более-менее надежно. И его бешеная скорость не спасает.
*
Я в начале разговаривал с ним про философию и психологию. Ну, "зеркалит" ассертивно. Возвращает вежливо мои же слова, даже не утруждаясь переформулировкой. Т.е. как "мальчик для битья" для интеллектуальной разминки еще годится. Но там совершенно дурацкая для меня проблема. Если я спрашиваю его на русском, то он инфу берет из русскоязычных источников. А брать из указанной страны и переводить потом на русский отказывается. Я могу и на английском - но не понимаю, в чем причина такого подхода.
*
Ладно, недавно решил проверить разговоры о том, что уж код он пишет без проблем. Т.е. решает задачу с аналитическим решением. Попросил написать макрос на VBA для редактирования текстов (стили, списки и пр.). Потратил несколько часов - и не получил ни одного работающего варианта.
*
Кстати, тоже самое, что вы пишите. Полная неадекватность в оценке своих способностей. Дает код, я запускаю - он не работает. Не моргнув глазом пишет, что щас, усе исправлю. Несколько десятков вариантов - без результата. Спрашиваю, отчего? В ответ просьба "дать еще один шанс"! Т.е. формулировку вставил прикольную и неформальную. Но четко сказать, что данную задачу он решить не может - ну нет, ни за что!
*
В той модели, которую испытывают я есть еще одна "непонятка". Точнее, букет.
У него нет доступа к текстам предыдущих бесед.
У него нет, похоже, доступа к его же репликам в текущей беседе. Т.е. он каждый раз радостно "рожает" как в первый раз.
Есть большие сомнения в том, что я разговариваю с одним и тем же собеседником. А не запускается по новый, который опять же с чистого листа, например, вместо кода предлагал записать макрос как action, последовательность действий. Хотелось даже задать вопрос о тайм-ауте. Т.е. после какого периода неактивности собеседника дальнейший разговор начинает неизвестно "кто", не имеющий понятия о предыдущем обсуждении.
*
К сожалению, вывод совершенно банальный. Ну, что работать с ним нельзя, это уже очевидно. Еще более очевидно, что на данном этапе ситуация с ИИ похожа на старую мысль «Все счастливые семьи похожи друг на друга, каждая несчастливая семья несчастлива по-своему». Технари это формулируют иначе: можно бесконечно копаться в д..ме, пытаясь понять, почему не работает. Но это непродуктивная деятельность. Усилия надо концентрировать на том, чтобы сразу заработало.
И в этом смысле я так до конца и не понял, зачем вы потратили свое время на этот текст. Вам эта процедура что-то дала?
Согласен с вами, модели несовершенны. Но за последний год был очень серьезный проект. Я нашел задачи, которые они могут вполне качественно решать. Например, переработка текстов (в том числе "перевод" с юридического на человеческий язык и обратно), составление локальных актов по заданной структуре и т.п. По итогам рутины в работе стало меньше, КПД вырос.
Суммаризация текстов неплохо работает
Да, в последней версии GPT они пофиксили однополые браки. Я пользуюсь майской Omni, там эта ошибка еще была.
Актуальный GigaChat, кстати, проблемы тут не видит)
Для заключения брака в Российской Федерации необходимо представить следующие документы:
Заявление о заключении брака. Заявление подается обоими лицами лично. Если одно из лиц не может явиться в орган записи актов гражданского состояния вследствие тяжелой болезни или по другой уважительной причине, заявление может быть подано одним лицом...
А есть норма закона, которая запрещает женщине иметь имя Матвей или Федор?
На практике ЗАГС откажет, мотивируя это тем, что выбранное имя не соответствует полу и может ввести в заблуждение. С шансом 50/50 можно взять гендерно-нейтральное (например, Саша), либо какое-нибудь иностранное имя, по которому не очевидно к какому полу оно принадлежит. Однако есть ли какая-то норма, которой они руководствуются, я не в курсе к сожалению.
У меня есть знакомая, которая оформляла в ЗАГСе свидетельство о браке на основе американских документов, у неё мужа зовут Keith, соответственно по российским правилам нужно было вписать Кейт, и сотрудники не хотели это делать. Но после долгих уговоров и совещаний, всё же написали и выдали ) дело было несколько месяцев назад
Кейс жеж! ("th" фонемно транслитерируется в русское "с")
интересно, а как обосновывали свое "не хотели"?. Что значит вообще, работник который биоробот приставка к чернильнице, может чего то не хотеть сам по себе и вот взять и отказать в изготовлении бумажки?
Интересно, с какой суммы взыскания начинается осмысленное ведение дел в суде (с учётом времени судебных заседаний и проч.)?
Зависит от сложности спора и количества заседаний. Например, по искам о защите прав потребителей можно сходить и ради 50 тысяч, там большие неустойки и если продавец упорствует, можно взыскать довольно много, а сам процесс несложный.
Если спор неочевидный, крупная корпорация не пойдет в суд и ради 100 000, там время юристов будет дороже стоить.
Если спор неочевидный, крупная корпорация не пойдет в суд и ради 100 000, там время юристов будет дороже стоить.
А это еще вопрос.
У крупных корпораций (точнее их менеджеров) может быть принципиальная позиция.
А также по логике менеджера юрист может считаться "условно бесплатным". Ведь он и так уже сидит на окладе. Пусть идет в суд и отрабатывает )
Налоговая так до какого-то времени ходила за копейки судиться :)
Есть ещё понятие репутации, когда сумма иска не имеет принципиального значения, важен сам факт минимизации вероятности административного воздействия на компанию.
Ни с какой. Это всегда лотерея. Любые совпадения со здравым смыслом - случайны. Про закон вообще нет смысла упоминать. Если бы вы походили по судам, то увидели бы, что большая часть судей альтернативно одаренные. В судах общей юрисдикции часто вообще невозможно построить диалог с судьями, они с луны свалились.
Они не с луны свалились. Они просто не идут против системы.
Я тут имел глупость сходить на суд с банком в качестве заинтересованного лица.
И честно отвечал на вопросы. Постфактум понял что правда там была не нужна, нужно было создать определенную картинку и моя правда эту картинку не составила. Поэтому когда была апелляция - я осознанно не пошел, уже понимая что правда не нужна, а врать суду я не хочу.
Задача суда — не установить объективную истину, а "взвесить" позиции сторон, сформированные на основе доказательств, стандартов доказывания и т.п. Это утилитарный подход в устройстве судебной системы, позволяющий, грубо говоря, минимизировать вероятность судебной ошибки. Исторически все системы, которые ставили целью установление истины, с т.з. эффективности работали хуже.
В судебном процессе две стороны. Одна физлицо, другая Росимущество. Физлицо приходит на заседания, представляет доказательства, приносит свидетельства, делает запросы и показывает ответы. Росимущество не приходит на заседания.
Суд принимает сторону Росимущества. Очевидно, позиция Росимущества (никак не выраженная) оказалась более весомой, да?
Может быть и так, что позиция физлица слишком далека от нормы закона. Надо смотреть конкретный суд, конкретные позиции и т.п.
Я отвечал юзеру @AllexIn, что по умолчанию суд не ищет объективную истину вне позиций сторон. Соответственно, какая из позиций ближе к "правде" или является более "честной" -- для суда неважно. Важно, какая позиция ближе к норме закона (в понимании суда) и какая лучше доказана (с точки зрения необходимого и представленного объема доказательств). Естественно, все это применимо к гражданскому процессу, в уголовный не лезем.
Есть исключения, ну на то они и исключения.
В названном примере позиция физлица была доказана, а позиция Росимущества отсутствовала. Росимущество ничем не ответило на иск, не явилось в заседания и поэтому выиграло.
Основная проблема аффтара — в том, что он реально считает, что ИИ думает, в смысле составляет какие-то логические связи и т.п. Уж сколько раз твердили миру: не "думает" он, он просто предсказывает наиболее вероятный следующий токен.
Если кому-то Вольфрам не авторитет, то можете ещё почитать.
ИИ не мыслит в смысле формальной логики или процесса мышления, однако его не зря называют "интеллектом" -- он может решать задачи, которые человек решает посредством мышления.
"ИИ подбирает наиболее вероятный следующий токен" -- это хорошо описывает сам процесс, но "мышление" -- это всегда обобщение процесса на верхнем уровне. Грубо говоря, можно сказать, что и крыса не мыслит -- у нее просто проходит ток по аксонам. Тем не менее, в узкой сфере крыса вполне способна решать простые задачи. Так что для простоты назовем этот процесс "мышлением".
Мне кажется, я смог обяснить это в статье, но, видимо, нет. Дополнил абзац про формальную логику.
он может решать задачи, которые человек решает посредством мышления.
304 спичечных коробка
могут решить задачу, которую человек решает посредством мышления.
GPT4-o обучали на цепочках рассуждений, а не результатах. Поэтому с дедукцией и reasoning у него стало все гораздо лучше. Это уже довольно близко к тому, что называется формальным мышлением. По идее юриспруденция как раз должна хорошо ложиться на эту модель.
> не зря называют "интеллектом"
Зря.
Если вчитаться в определение термина "интеллект" даже в той же педвикии (которое совершенно не авторитет, но тем не менее), то понятно, что "интеллект" и "мышление" - это генерация нового.
Современные ИИ - это навороченные перцептроны и к интеллекту никакого отношения не имеют.
проблема всех нынешних нейросетевых моделей в отсутствии полноценного логического вывода как в экспертных системах и языке Prolog. Они не могу четко обосновать свое решение, разработчик не может быстро скорректировать ошибку рассуждений, добавить, исправить факты, правила, очередность выбора. В юриспруденции, как и во всех серьезных областях применения требуются интегрированные системы, включающие нейросети и логику. Логическому выводу можно подвергнуть все варианты ответов сети и найти не противоречащий.
Отсутствие логического вывода в нейросетевых моделях никак не связано с логическим выводов в языке Prolog, который там тоже отсутствует.
разумеется современные нейромодели не имеют логического вывода. Я именно об это и говорю, как о недостатке и неприменимости сетей нейронов к системам доказательства в юриспруденции. На западе используют экспертные системы с разными движками логического вывода, и это более целесообразно.
Речь идёт о том, что символический ИИ гораздо ближе к интеллектуальной деятельности, чем нейросети. Но так как мы не можем пока написать столько символических правил, чтобы охватить биг дейту, то приходится довольствоваться статистикой в нейросетевых моделях.
Возможно, идеальным выходом была бы транслировать законодательство в алгоритмы (с помощью ИИ и живых разметчиков), а затем исполнение этих алгоритмов в правовых ситуациях. Результаты (и их расхождение с реальным правом) можно было бы использовать для совершенствования алгоритма трансляции и даже исходных норм.
ручная трансляция законов и их трактовок абсолютно исключена. Это чудовищные трудозатраты и неизбежные ошибки, которые очень сложно будет исправить. С формальной точки зрения решение вроде не очень сложное: создание тезауруса всех терминов (наверняка уже есть готовый), автоматический разбор (парсинг средствами NLP) всех тестов всех законов. Построение продукционной модели законодательства, проверка работы на большом корпусе решений судов. Но подозреваю, что тут есть куча нюансов неоднозначности, необходимости наличия базы знаний самого общего характера (прагматики, контекста). Тут наверняка могут быть полезны нейронные сети, но их выводы обязательно следует перепроверять машиной логического вывода. Удачи !
Тоже об этом мечтаю. Не взлетит. Ибо тогда кому взятки давать?
А ещё если будет реализовываться быдлокодерами, то может кончиться как-то так.
А законодательство допускает оценочные суждения и прочие внутернние убеждения судьи, в итоге суды могут вынести по одному делу диаметрально противоположные решения. И у любой модели шарики за ролики заедут от таких вводных.
Был у меня опыт с ранним выявлением туберкулёза у детей. Высококлассные рентгенологи описывали -граммы, а потом сравнивали описания с описаниями местных врачей, а также смотрели историю болезни (исследование было ретроспективное, тут диагноз было проверить довольно просто). Оказалось, что более чем в 50% случаев местные рентгенологи не видят туберкулеза на ранних стадия и более менее-уверенно выявляют туберкулез на поздних (кальцинация или распад). Соответственно софт-помощник учился не на полной базе, а на разметке экспертов, а внедрение фактически не состоялось: мнение программы часто противоречит решению врача, а ответственность за решение несет только врач. Вы можете быть уверены, что большая часть решений низовых судов соответствует нормам права и не отравит корпус обучения?
Возможно, идеальным выходом была бы транслировать законодательство в алгоритмы
Чтобы компьютер сам судил и сам наказывал? Нет, спасибо.
Так уже. Взять хотя бы дорожные камеры, которые штрафуют за скоростной режим.
это очень специальные и очень простые ситуации. И то, регулярно находятся граждане умудряющиеся систему провернуть на известном органе. Если же такое применять более широко, то последствия для подопытных страшновато предполагать
Взять хотя бы дорожные камеры, которые штрафуют за скоростной режим.
...которые сейчас, говорят, понавыписывали штрафов тем курянам, кто превысил, пытаясь улизнуть от падающих позади их машины градин (ЕВПОЧЯ)
Всё уже украдено до нас - Semantic web имени сэра Тима (Беренс Ли который).
Но ручная разметка семантических связей - лениво.
Сэр Тим на этом не заморачивался. Как сова - "я стратегически мыслю, тактика - за вами".
В принципе он прав.
Если бы т.н. "ИИ" добавляли связи в semaweb, а потом люди корректировали, то было бы как сэр Тим мечтал.
Но отнюдь.
В целом ничего нового - ИИ всё ещё не мастер на все руки, а помощник для некоторых задач. Также как и, например, ткацкий станок. Но главное, что есть в тексте - это:
модель не имеет полного доступа к информации, использованной для обучения. Я имею в виду, что она не может воспроизвести текст, на котором ее обучили
ИИ, подключённый к интернету, не умеет гуглить! Ого, вот это да. Имхо, это одно из первого, что надо пофиксить. На прямые запросы ИИ должен или найти цитату в источнике, или предупредить, что не может этого сделать.
Из этого следует:
Для большой языковой модели невозможен вариант «решить», она будет угадывать в любом случае, пока ее не подключат к математическому движку типа WolframAlpha
Не знаю, почему она не умеет решать (возможно, это поправимо), но то, что она не может догадаться, что надо просто "взять в руки калькулятор", подключиться к сторонней решалке и решить с её помощью - это странно. Оттуда же и, например, неумение ИИ играть в шахматы)(хотя... Это даже хорошо: ты играешь с ней как с честным соперником, а не как с шулером, который подглядывает в Стокфиш.)
Я думаю, стоит напрямую подключать нейросети к существующим механизмам. Юридический - к правовым базам данных. Математический - к решалке. Шахматный - к стокфишу. Ну и захардкодить некоторые вещи, например, привычку гуглить правила в ответ на просьбу сыграть в какую-нибудь игру.
Умысел может быть неосознанным (с)
Это либо новое слово в теории права (и тут я без сарказма), либо на этом можно заканчивать изучение возможностей данной BlahBlahGPT.
Надо скормить вашу статью нейросети, чтобы она описала все перечисленные вами риски и сделала промты для эмбединга, который бы эти риски устранял. На деле все, конечно, немного сложнее, но таков путь.
Скоро мы получим тех нейроюристов, которых сами и обучим.
Аналитики компании Uplevel провели исследование, которое показало неэффективность использования ИИ-инструментов при написании программного кода. Исследование проводилось в течение двух трёхмесячных периодов с участием 800 разработчиков.

Во время первого периода программисты работали при помощи традиционных инструментов, тогда как во втором пользовались ассистентом GitHub Copilot. В результате количество ошибок в коде выросло на 41%. К тому же, как отметили разработчики, написанные ИИ коды сложно анализировать на предмет неточностей, поэтому код проще написать самому.
Пример с именами и однополым браком кстати вообще не удачный. Имя может быть дано не в РФ, тогда на него вообще нет ограничений. В случае и именем Вася не забываем про красивое русское имя Василиса. То же самое с Сашами, Пашами и другими. ИИ конечно стоило бы уточнить контекст, как и человеку.
все так конечно. И проблем видно две - галлюцинирование, некое выдумывание.
И пропуск при невнятной формулировке нюансов и самые свежие "вчера" в законе. Логическое обоснование таки получить можно, неясно насколько будет прям из точно первого вывода, а не параллельно сделано, но в целом будет, хотя конечно надо перепроверять факты. К базам подключат, не вопрос это очевидно, причем еще и ко всем мыслимым (а это больше чем может человек, например в штатах могут учитываться даже законы шариата в каких то спорных случаях).
Но такое подробное лишь в уголовке имеет значение как и контроль процедуры, скажем допроса или протокола обыска.
Тонкие формальности и логические обоснования неидеальности модели и абсолютизирование. Что вполне себе будет излечено для сей специфики, как и цепочка рассуждений и точность перепроверки цитат и кейсов и базы. Решаемо и видно как.
Без наводящих вопросов клиент не даст нам и 10% нужной информации.
тоже явно решаемо беседой с заточенным AI переговорщиком-дознавателем.
У людей так сделано у врачей, беседы с помощником (навык опроса), у журналистов, писателей мемуаров и прочих собеседований где беседа и решение разнесены.
Причем беседа с AI временем,усталостью и стоимостью не ограничена и может быть откровенней. Даже невербальное можно учесть и психопрофиль модели - добрый опытный дедушка мороз, или шерлок холмс/ доктор хаус.
Полагаю в америке, где локального судью и его сотрудников содержит не государство, и он загружен по уши, а (бесплатного, он положен по закону) и просто адвоката в городке может вообще не быть да и дорого, так что люди проголосуют за - точно случится.
И будут законы на уровне местных, и штата легализующего практики. Консультация признаваться значимой и судья принимать документы. Формально , вообще то, отвечает всегда и за все сам ответчик. Даже если у него человек юрист. Просто на совет неюриста сослаться нельзя - ну так станет можно.
И вот на практике.....
Если робот-хирург проводит 95% операций правильно, вы все равно к нему не пойдете, верно?
... неверно. кто вам сказал что у человека 100% успех? Во первых 100% никогда и мы даже не знаем статистики врача (и она не зря скрыта). Иначе бы давали гарантии и отвечали за результат - а отвечают они только за не следование протоколу и нарушения.
Это несерьезный довод. Вообще статистика и в инженерии рулит - обслуживают не "когда сломалось" а превентивно, ибо 100% надежного железа в принципе нет. Спросите Маска и его завод с роботами. А он на него полагался и не дурак. В целом вышло, но не сразу.
Абстрактные рассуждения это замечательно, но жизнь сложнее схем.
Юрист не друг и заботливый отец, а тот кто на вас зарабатывает и одновременно ему до вас лично нет дела.. При этом может оказаться сколь угодно плох. Ну берет случайных клиентов каждый раз. Лоера и врача не всегда знаете лично-точно, а на абстрактном доверии.
Только у врачей есть жесткая сертификация. И сильно неуспешного вероятней завернут, хотя не факт, и не за 5% неудач. А вот с лоером не так совсем - даже если он проигрывает 95% дел - и что? Это не нарушение. Вы не знаете истории лоера и не узнаете
Это про робота можете узнать точную статистику и она может оказаться лучше чем у людей. Автопилоты уже статистически значимо водят лучше людей по аварийности. И это среди толпы людей. Когда будут все роботы (следовательно аккуратней + взаимодействие) то станет лучше.
На практике консультация или нечто стандартное - выходит лучше юриста. И из личной практики (в америке) чтение закона самостоятельно, плюс разъяснения сходу непонятного (не заковыристого, а просто потому что в первый раз надо вникнуть и некоторые слова и обороты и суммировать суть) плюс формально составленный документ, решает проблему лучше, и значимо. AI намного полезней и дешевле и эффективней.
Ибо юрист никакого влияния на суд не имеет и в чем то обычном сделать мало что может кроме формального приуготовления бумажек, и на вас тратить время не желает (это работа а не подвиг, чем легче тем лучше главное чтоб придраться нельзя) если вы не миллионер нанявший самого лучшего нуйоркского пронырливого адвоката и его всю контору.
Вообще простой лоер, скажем по тикетам - человек в заношенном пиджаке надеваюший галстук завязанным через голову. Или юнец после университете в рентованной конурке с декоративной полкой юридических книг позади, идущей вместе с мебелью, безвкусным галстуком из таргета, на который он с трудом разорился и гуглом наперевес и 0 опыта вообще.
а тут нам за двадцать баксов мудрость мира и часы растолковываний..
И что мы выберем по итогу?
Полностью согласен. Те из юристов, кто вот сейчас активно пробуют нейронки, это прямо цвет юристов, самые продвинутые, я щетаю. Они сравнивают ИИ-юристов со своим уровнем компетенции и (пока) не видят реальной угрозы. Ну, ок.
А есть еще огромная армия средних юристов, которые делают среднюю работу за среднюю зарплату от 40 000 руб. Делают долго, болеют, хотят в отпуск, прибавки или хотя бы кофе и печенюшек.
Поэтому ждем полноценных решений с адекватным ценником.
Основная проблема в том что ИИ не будет отвечать своей задницей за результат. Что он там качественно или не качественно отвечает не сильно важно.
Основная проблема в том, что ни судьи, ни юристы не отвечают за выданный результат ни частями тела, ни имуществом, ни репутацией.
Письменных артефактов процедуры принятия судебного акта мало - сознательно мало - для построения логически непротиворечивой цепочки рассуждений от заявлений, аргументов, доказательств сторон через действующее законодательство к решению суда.
Нет этой цепочки ризонинг по факту, вот ее ии и не может воспроизвести.
Хотя и все остальные проблемы, озвученные автором, тоже имеют место быть. Но опять же - это не столько недостатки ии, сколько кривизна сложившейся системы. Которую никто не будет менять, т.к изменить ее могут только люди, в ней разбирающиеся, на ней зарабатывающие. Так зачем им ломать эту кормушку?
Отсюда и снижающийся спрос на юристов, который отметил автор - нет доверия системе, люди стараются к ней не обращаться, т.к это трата времени и денег, а результат предсказуемо бессмыслен, имхо.
По опыту проработки судебных решений по конкретному вопросу - нужно полноценное исследование, чтобы установить кто больше галлюцинирует - ии, суды или адвокаты на зарплате. Иногда даже в нужную пользу галлюцинируют. К сожалению, опереться на эти решения банальная человеческая логика не позволяет.
юрист адвокат не отвечает задницей. Если речь не об откровенных нарушениях - ни за что.
Вы верно мыслите как работает LLM и какие есть проблемы, и что языковая модель это не способ логически мыслить. Но с технической т.з. такие задачи решаются декомпозицией: запрос клиента разбивается на мелкие вопросы по всем сферам, я вижу, что в юриспруденции на проблему смотрят с разных сторон, и тут имеет смысл искать по векторной базе по каждому этому случаю, потом построить ответ с учётом найденных актов и решений судов по каждому аспекту. Потом соединить все такие ответы по разным аспектам - в такую небольшую аналитику, когда различные выводы уже готовы и надо их лишь собрать и оценить, - языковая модель может сыграть. Не знаю как работают сберовские и прочие модели, но это верное направление мысли, обучающая выборка тут не играет какую-то принципиальную роль, т.к. нас интересуют только ссылки на реальные решения судов и некая оценка их применимости по каждому случаю (а не "среднее мнение"). Насчёт дозапросов к клиенту - это тоже часть пайплайна, как и предыдущие части. Т.е. полезно уходить от логики что это делается за 1 запрос, в надежде на магический чёрный ящик, некоторые настолько в эту стезю ушли, что делают сотни агентов, оценивающих друг друга - спорный способ, но верное понимание смысла языковой модели.
Сейчас LLM - это аналог дефолт системы мозга с кучей связей, которые между собой договариваются о более приоритетном ответе (импульсе) на основе имеющегося опыта. А задача программиста - сделать префронтальную кору, которая тормозит сигналы и рассматривает проблему с разных сторон. Вообще полезно мыслить о языковой модели, как об инструменте, который имеет отдельные полезные навыки, и думать как их встроить в реальные системы. Так из них извлекается максимальная польза.
Вы правы, вероятно, часть проблемы можно решить с помощью заданных промптов для некого количества типовых ситуаций. Хотя, кажется, мы никогда не сможем декопозировать каждый юридический запрос на конечное количество проверок. Живой юрист всегда очерчивает сферу анализа, исходя из примерных рисков, и делает это несколько раз подряд, уточняя и уточняя юридическое содержание анализа. Машина так не сможет, она будет сразу оценивать все многочисленные риски, а это потенциальные галлюцинации.
Спрашиваете: «я купил винегрет, а потом увидел, что он протух» — но для ИИ неочевидно, что слово «протух» эквивалентно термину «некачественный товар» из Закона о защите прав потребитерей.
— я купил винегрет, а потом увидел, что он протух. как это классифицируется с точки зрения юридической практики?
— В вашем случае речь идет о продаже некачественного или испорченного товара, что регулируется законодательством о защите прав потребителей. В России это относится к Закону «О защите прав потребителей».
Или: «моего друга пырнули в лифте» — не понимает, что речь идет о вреде здоровью.
— моего друга пырнули в лифте. как это классифицируется с точки зрения юридической практики?
— С точки зрения юридической практики, нападение с ножом классифицируется как умышленное причинение тяжкого вреда здоровью или покушение на убийство в зависимости от обстоятельств.
Например, 15-летняя девушка убила новорожденного брата — она подлежит ответственности за убийство
— 15-летняя девушка убила новорожденного брата. что ей грозит с точки зрения закона?
— Если речь идет о России, то в соответствии с Уголовным кодексом РФ, уголовная ответственность наступает с 14 лет за такие тяжкие преступления, как убийство (статья 105 УК РФ). Это значит, что 15-летняя девушка может быть привлечена к уголовной ответственности за убийство.
— 15-летняя девушка убила своего новорожденного сына. что ей грозит с точки зрения закона?
— Согласно российскому законодательству, уголовная ответственность за убийство наступает с 14 лет. В зависимости от обстоятельств, такие дела могут квалифицироваться как убийство матерью новорожденного ребенка. .... Поскольку девушка несовершеннолетняя (15 лет), при назначении наказания суд будет учитывать её возраст, психическое состояние и социальные условия.
Тут он был близок, но все же не дотянул.
А тут вполне правильно отвечает:
— Вася и Петя заключили брак в Амстердаме. Теперь они хотят развестись в Москве. Можно ли это сделать и в каком порядке?
— Да, развод в Москве для Васи и Пети возможен, даже если брак был заключён за границей, например, в Амстердаме. Важно учесть несколько моментов. 1)Признание брака: В России признаются браки, заключённые за границей, если они не противоречат российскому законодательству. Поскольку однополые браки в России не признаются, развод такого брака может быть затруднён.
Это все chatgpt 4o.
Последняя (августовская) GPT действительно выросла в результатах по юриспркденции, но проблемы никуда не исчезли -- просто теперь для их получения нужны более сложные (и не такие яркие) запросы. В реальности, конечно, запросы гораздо сложнее.
Вопросы для статьи брал по мотивам учебных задач, где из ситуаций убрали весь дополнительный контекст, а юридические вопросы решаются однозначно. В какой-то момент модели дошли до этого уровня и даже стали решать такие задачи лучше, чем наши студенты (писал об этом в начале статьи).
С более сложными задачами результаты моделей доходят до 65-70% правильных ответов (российское право), но пока не выше. Реальные практикующие юристы решают такие задачи лучше.
Приведу пример. Задайте ИИ такую задачу:
Константин выложил во "вконтакте" видеоролик - 40-минутный отрывок нового фильма. Он подписал, что снял этот отрывок в зале кинотеатра, и что он может за отдельную плату направить желающим полную версию фильма. Когда ему пришли заявки от желающих, он пришел в тот же кинотеатр и во второй раз попытался снять фильм на видео. Сотрудники кинотеатра позвонили в полицию. Прибывший наряд решил применить к Голубеву меры административного принуждения. Какие меры административного принуждения в данном случае полицейские вправе применить?
ИИ наверняка скажет про штраф, уголовную ответственность и т.п., хотя прибывший наряд вправе только задержать Константина и изъять камеру — остальные меры налагаются судом.
В данном случае, сотрудники полиции могут применить следующие меры административного принуждения к Константину Голубеву, если его действия квалифицируются как административное правонарушение, связанное с незаконной видеосъемкой в кинотеатре и распространением материалов, защищенных авторским правом:
Доставление в полицию — полицейские могут доставить Константина в отделение для составления протокола, если на месте невозможно установить личность нарушителя или составить административный протокол.
Составление административного протокола — на месте или в отделении полиции может быть составлен протокол об административном правонарушении, если нарушение подпадает под статьи КоАП (например, статья 7.12 КоАП РФ «Нарушение авторских и смежных прав»).
Изъятие вещей и документов — полицейские могут изъять технику (например, камеру, телефон или другое устройство, на которое велась запись), если она использовалась для совершения правонарушения.
Досмотр личных вещей — для установления факта правонарушения полицейские могут провести досмотр вещей Константина, если это необходимо для обнаружения доказательств (например, записи фильма).
Задержание на срок до 48 часов — в случае если необходимо дальнейшее выяснение обстоятельств или личность нарушителя не установлена, возможно административное задержание на срок до 48 часов до решения суда.
Неплохо, на самом деле, лучше, чем я ожидал. Хотя ответ очень общий, ну, процитирован КоАП без углубления в специфику.
Скажем, в данной ситуации сотрудники полиции вряд ли смогут составить протокол на месте, поскольку в протоколе должен быть указан потерпевший, а это правообладатель. Типичный сотрудник кинотеатра не знает правообладателя фильма, который в кинотеатре показывают. И на практике Константина задержат, а затем дознаватель будет выяснять все детали. На это по закону отведено двое суток. Так что сотрудники вправе составить административный протокол на месте, но фактически не смогут этого сделать. И т.д.
Если интересно, могу еще задачки посоставлять)
Интересно!
Например, в уголовном праве модели почти никогда не умеют квалифицировать преступления с несколькими составами. Существуют правила о поглощении более тяжким преступлением менее тяжкого и т.п., но машина их не знает.
Вот достаточно простой вопрос:
Топтаров с гражданской женой Володиной пили водку. Внезапно между ними вспыхнул словесный конфликт, переросший в драку. Соседи услышали шум и позвонили 112. Приехал наряд полиции. Полицейские ворвались в квартиру и обнаружили Топтарова, который держал Володину с ножом у горла и запрещал полицейским подходить. Он угрожал убить Володину, если полиция попытается его арестовать. Топтаров постепенно отступал к выходу из квартиры; дойдя до порога, он оттолкнул Володину в полицейских, выскочил из квартиры, захлопнул дверь снаружи и убежал. Но через два дня его смогли найти и задержать. Будет ли Топтаров привлечен к ответственности по российскому уголовному праву и за что?
— Да, Топтаров будет привлечён к уголовной ответственности по российскому уголовному праву за совершение преступления, предусмотренного статьёй 206 Уголовного кодекса РФ — захват заложника: преступления по статьям 206 и 119 УК РФ.
— сразу по обоим?
— Нет, не сразу по обоим статьям. В данном случае угроза убийством является способом совершения более тяжкого преступления — захвата заложника. Согласно принципам российского уголовного права, если менее тяжкое преступление полностью охватывается составом более тяжкого и является способом его совершения, то оно не квалифицируется отдельно. Захват заложника (статья 206 УК РФ): Действия Топтарова по удержанию Володиной с ножом у горла и угрозами убийства при попытке полиции приблизиться подпадают под состав преступления "захват заложника". Угроза убийством (статья 119 УК РФ): В данном контексте угроза убийством является средством принуждения и способом совершения захвата заложника. Поэтому она поглощается более тяжким преступлением и не требует отдельной квалификации.Таким образом, Топтаров будет привлечён к ответственности только по статье 206 УК РФ за захват заложника.
Пришлось уточнить, да. Насколько он в ответил правильно во второй раз, я уже не могу оценить
сразу по обоим?
Я думаю, тут чуть менее чем все в курсе, что чтобы получать правильные ответы, надо задавать правильные вопросы. И собственно именно этому пять лет и учат.
В первый раз ответил неверно (119 статья неприменима). После уточнений ответил правильно: "захват заложника" охватывает все остальные составы, соответственно, Топтаров будет нести ответственность по ст. 206.
Еще что-нибудь придумаю)
Попробуем простой вопрос:
Я учредил ООО «Ромашка» с уставным капиталом 10.000 рублей. Какое имущество я вправе внести в качестве вклада в уставный капитал ООО «Ромашка»?
Вы вправе внести в уставный капитал следующие виды имущества:
Денежные средства: Вклады в денежной форме в российских рублях.
Недвижимое имущество: Земельные участки, здания, сооружения, квартиры и другие объекты недвижимости.
Движимое имущество: Транспортные средства, оборудование, инвентарь, товары и материалы.
Имущественные права: Права требования по договорам, права на объекты интеллектуальной собственности (патенты, товарные знаки, авторские права), лицензии и другие права, имеющие денежную оценку.
Ценные бумаги: Акции, облигации и другие финансовые инструменты, допускаемые законодательством.
Важно учитывать, что неденежные вклады должны быть оценены в денежном выражении. Если номинальная стоимость вашей доли, оплачиваемой неденежным вкладом, превышает 20 000 рублей, требуется независимая оценка имущества.
Некоторые виды имущества могут иметь ограничения на передачу или требовать специального разрешения (например, лицензии на определенные виды деятельности).
Вот тут мы его поймали. При учреждении общества минимальный размер уставного капитала может быть оплачен только деньгами (п. 2 ст. 66.2 Гражданского кодекса).
Вот как строится логическая цепочка:
Оплата долей (уставного капитала) может осуществляться деньгами, ценными бумагами, другими вещами... (ст. 15 закона "Об ООО");
При оплате уставного капитала хозяйственного общества должны быть внесены денежные средства в сумме не ниже минимального размера уставного капитала (п. 2 ст. 66.2 Гражданского кодекса);
Минимальный размер уставного капитала ООО -- 10 000 рублей (ст. 14 закона "Об ООО").
В нашем случае минимальный капитал 10 000 рублей, так что в оплату мы можем внести 10 000 рублей и ничего более. Наверное, для ИИ это сложновато, сразу несколько законов, которые дополняют друг друга. И сходу непонятно, какая норма общая (правило), а какая специальная (исключение).
ИМХО во всех таких статьях "ИИ не подходит для X" с последующими аргументами я вижу два принципиальных недочета. 1.) Систему пытаются "подловить и запутать", а потом сказать "во!" как в том анекдоте про японскую бензопилу и лесорубов. 2.) Используются commodity модели/сервисы и от них почему-то ожидается экспертная оценка. Ровно, как и "обычный" человек не является экспертом по юриспруденции РФ, так и общая модель не может быть тоже.
А если подробнее:
1.) Как в первом примере про свадьбу, системе задали вопрос на русском с минимум деталей, и ожидалось, что она выцепит ту самую критическую информацию из имени сама и догадается. Но это работает не так. Ваша задача, как оператора LLM написать максимально хороший промпт и сообщить ей максимум деталей, чтобы не было необходимо делать эти самые "логические догадки". Мне все это напоминает войну бухгалтеров с excel и erp "да, тут в поле стоит по ошибке запятая вместо точки. Но любой бы человек догадался, что это 20 млн, а не 20 рублей и сколько-то копеек. Плохая система, негодная. Пошел считать дальше на калькуляторе". Более того, даже когда человек задает вопросы юристу, он так же должен составить максимально корректный запрос и передать максимум информации, чтобы бы тот тоже не должен был догадываться о каких-то вещах, потому что очень вероятно, что он это делать не будет или забудет.
2.) Дальше вы взяли англоязычную модель общего назначения (я про ChatGPT) и хотите, чтобы она была экспертом по российскому праву, которая еще и говорит на русском. Так не бывает. Возьмите самого умного американца (пусть и знающего русский язык) и начните ему задавать такие вопросы - будет еще хуже. Для создания экспертных моделей делают хотя бы fine-tune. Т. е. берут стандартную модель, а потом её дообучают под нужную задачу. В рамках этого дообучения используется дополнительные данные, оценка человеком-специалистом и т. д.
3.) Насчет актуальности информации вы тоже не правы. Нет проблемы с актуализацией данных и модель переучивать не надо заново. Т.е. проблема-то есть, но существуют разные множество способов делать так, чтобы модель имела самую свежую и полную информацию всегда. Самый простой/популярный - RAG. Т.е. вам нужно просто выкачивать все свежие документы/законы/постановления/etc и иметь их актуальное состояние на условном сетевом диске (я тут очень упрощаю) рядом с моделью. Они обрабатываются, как только вы их загрузили, и служат для расширения запроса теми данными, которые не существовали в момент обучения сети. Очень грубо говоря, когда вы пишете запрос, ваш промтом будет дополнен свежей информацией из этого локального репозитория и подан на вход модели. Это один из способов, но не единственный. https://www.tecton.ai/blog/why-rag-needs-full-data-context/
4.) Про цепочку рассуждений. Самый простой ответ, что создавать цепочку — это ваша задача, как оператора. Во-вторых, мы возвращаемся обратно к промту (отсюда заклинания про "делай шаг за шагом и т.д."). В-третьих, в современные модели во многом эта самая цепочка уже заложена на уровне архитектуры. И я даже не про o1, а обычные 4o/3.5Sonnet и прочие. Там периодически видно, как модель начинает выдавать ответ, а потом сама находит ошибку в своей логике и исправляется.
5.) Про контекст. ИМХО - это не техническая проблема, а этическая. LLM от Google, Apple, MS может знать о вас на порядки больше любого юриста. Просто скормите ему свой gmail, переписку, данные о перемещениях и прочее. Но так делать что-то не хочется, поэтому все пытаются найти нужный баланс. В том же ChatGPT есть Memory (куда она сохраняет важные на её взгляд данные о вас), Claude есть блок Project knowledge, куда вы отправляете релевантные документы и данные. Ну а платформенные компании пытаются потихоньку и без лишнего шума дотянуться до всего чего могут. И когда они это сделают, контекста у них будет огромное количество.
Итого: LLM надо уметь пользоваться (как вы учитесь пользоваться ПК и excel) + если нужна экспертная модель, то ее надо уметь строить или купить у кого-то кто умеет (как для любой проф. работы нужен проф. инструмент) + не надо выключать мозг (как вы и сейчас делаете, когда общаетесь с мясными экспертами, как я надеюсь). И все получится. Может быть не сразу и не с первой попытки. И не так, чтобы была одна кнопка "сделать хорошо". Но получится.
Спасибо за подробный комментарий! Особенно порадовала аналогия с японской бензопилой)) да, все так.
Мне кажется, мы говорим про одно и то же. Вы приходите к тому, что между моделью и пользователем должен стоять некий "оператор модели", который умеет писать промпты и облекать их в нужную юридическую форму. То есть мы приходим к copilot -- то, о чем я и писал.
По отдельным комментариям:
Более того, даже когда человек задает вопросы юристу, он так же должен составить максимально корректный запрос и передать максимум информации, чтобы бы тот тоже не должен был догадываться о каких-то вещах, потому что очень вероятно, что он это делать не будет или забудет.
Должен. Так будет гораздо лучше, эффективнее и в конечном счете дешевле для клиента. Но он так не никогда делает. Проведу параллель. Когда человек приходит к врачу, ему тоже следовало бы заранее составить гипотезы и подготовить нужные анализы / ответы на возможные вопросы. Но никто так не делает. Все ждут, что эксперт сам достанет из них информацию.
Для создания экспертных моделей делают хотя бы fine-tune. Т. е. берут стандартную модель, а потом её дообучают под нужную задачу. В рамках этого дообучения используется дополнительные данные, оценка человеком-специалистом и т. д.
Пока, на мой взгляд, GPT 4 на голову превосходит российские модели, в том числе с файнтюнингом под юриспруденцию. Я знаю одну модель, которую специально обучали по российскому праву (A2Chatskii), она также хуже GPT. Возможно, поэтому российские юридические сервисы типа Doczill используют API GPT.
существуют разные множество способов делать так, чтобы модель имела самую свежую и полную информацию всегда. Самый простой/популярный - RAG. Т.е. вам нужно просто выкачивать все свежие документы/законы/постановления/etc и иметь их актуальное состояние на условном сетевом диске (я тут очень упрощаю) рядом с моделью. Они обрабатываются, как только вы их загрузили, и служат для расширения запроса теми данными, которые не существовали в момент обучения сети.
Поправьте меня, если я ошибаюсь, но кажется, что этот метод не учитывает наиболее распространенный у юристов кейс: новый документ делает неактуальными множество фрагментов других документов. То есть нужно не провто обучить модель, но еще и внутри деприоритизировать или вообще "вытащить" из нее уже использованную в обучении информацию.
в современные модели во многом эта самая цепочка уже заложена на уровне архитектуры.
Пока это работает недостаточно хорошо -- см. пример про козу и капусту.
LLM от Google, Apple, MS может знать о вас на порядки больше любого юриста. Просто скормите ему свой gmail, переписку, данные о перемещениях и прочее.
Ни одна серьезная юридическая фирма не загружает чувствительную информацию в облачные сервисы. Используются только on-premise решения.
стоять некий "оператор модели", который умеет писать промпты
Это ровно до тех пор, пока или пользователи не умеют писать сами просто общие хорошие промты (операторы ЭВМ тоже были отдельной кастой в свое время) или если для них не создан workflow. Это нормальная практика, когда пользователю задают пачку вопросов (причем эти сами вопросы могут генерироваться самой сетью или вспомогательной на основании прошлых ответов), просят ввести данные в поля и только после этого формируют промт на бекенде и отправляют в главую модель.
Все ждут, что эксперт сам достанет из них информацию
Так вот модель намного более терпеливая, чем любой человек + моментально вычленяет суть. Пользователь может отправить пачку много страничных документов, часть из которых вообще не имеет отношения к делу (ибо откуда пользователю знать, что важно, а что нет). Часто человеку лень все это читать, и он просить пользователя самого вычленить суть, а с этим проблемы.
GPT 4 на голову превосходит российские модели, в том числе с файнтюнингом под юриспруденцию
Мне тут сложно комментировать конкретику, потому что я никогда не пробовал российские модели. Но здравый смысл подсказывает, что экспертная модель всегда будет эффективнее в некой области, чем общая. И если затюнить условный GPT4 на юриспруденцию, то он будет еще лучше. И тот же ChatGPT тюнится. https://platform.openai.com/docs/guides/fine-tuning Ну и плюс я не знаю на базе чего/как строили это российские модели. Но вы же пишите не то, что commodity GPT4 плох для таких задач, а ИИ вообще.
новый документ делает неактуальными множество фрагментов других документов
Учитывает. Модель нужно обучить, что более свежие данные имеют приоритет над старыми. Это стандартный кейс для RAG, когда ну например мы каждую неделю вгружаем отчет по продажам. И модель знает про существование прошлых версий и даже может оттуда что-то достать, если вы явно попросите, но по умолчанию идет самая свежая версия.
Ни одна серьезная юридическая фирма не загружает чувствительную информацию в облачные сервисы. Используются только on-premise решения.
Во-первых, это не совсем так https://www.pwc.com/gx/en/about/pwc-asia-pacific/are-you-using-ai-yet-how-lawyers-can-use-it-to-their-advantage.html (я про мир, а не РФ). А во-вторых, мы тут, кажется, запутались в кейсах. Если речь про то, что сам пользователь вместо обращения к юристу будет открывать Apple Intelligence/Gemini/OpenAI/etc, то при чем тут юр.фирмы? Если мы про юр.фирмы, которые делают сервис по оказанию юридических услуг, то там будет и finetune, и RAG, и формирование промтов и т.д. и тогда ваш пример с "я открыл ChatGPT и оно не смогло" - не релевантен.
нормальная практика, когда пользователю задают пачку вопросов (причем эти сами вопросы могут генерироваться самой сетью или вспомогательной на основании прошлых ответов), просят ввести данные в поля и только после этого формируют промт на бекенде и отправляют в главую модель.
Знаю, что некоторые разрабатывают сервисы по такому принципу, но я сомневаюсь, что этот подход покроет 100% ситуаций.
Так вот модель намного более терпеливая, чем любой человек + моментально вычленяет суть.
Наоборот: модель легко запутать нечетким запросом и дополнительными документами, не имеющими отношения к делу.
здравый смысл подсказывает, что экспертная модель всегда будет эффективнее в некой области, чем общая. И если затюнить условный GPT4 на юриспруденцию, то он будет еще лучше.
Согласен. Просто общие модели пока сильно превосходят экспертные -- так и выходит, что GPT даст вам лучший результат, чем своя экспертная модель.
Модель нужно обучить, что более свежие данные имеют приоритет над старыми. Это стандартный кейс для RAG, когда ну например мы каждую неделю вгружаем отчет по продажам. И модель знает про существование прошлых версий и даже может оттуда что-то достать, если вы явно попросите, но по умолчанию идет самая свежая версия.
Тут все немного сложнее. Не могу прокомментировать RAG, но у существующих моделей постоянно в неочевидных случаях вылазит неактуальное регулирования либо при конфликте старого и нового регулирования она выбирает не то, что должна. Полагаю, неактуальная информация должна быть вообще запрещена в выдаче -- слишком высоки риски.
Во-первых, это не совсем так https://www.pwc.com/gx/en/about/pwc-asia-pacific/are-you-using-ai-yet-how-lawyers-can-use-it-to-their-advantage.html (я про мир, а не РФ).
Конечно, юристы используют ИИ для решения фрагментов задач. Чувствительная информация -- это конкретные клиентские документы, данные и т.п.
Если речь про то, что сам пользователь вместо обращения к юристу будет открывать Apple Intelligence/Gemini/OpenAI/etc, то при чем тут юр.фирмы? Если мы про юр.фирмы, которые делают сервис по оказанию юридических услуг, то там будет и finetune, и RAG, и формирование промтов и т.д. и тогда ваш пример с "я открыл ChatGPT и оно не смогло" - не релевантен.
Я имел в виду ситуацию, когда мы не можем сформулировать правильный запрос без полного погружения в чувствительный контекст. Типа "кажется, я убила мента, что делать?" Клиент вряд ли захочет давать этот контекст сервису, а сервис без контекста выдаст неверный ответ. В этом смысле живой юрист, связанный в том числе требованиями адвокатской тайны, более надежный.
Мне кажется, что мы в целом согласились и некий консенсус получен. Последнее, что я хотел бы сказать:
Знаю, что некоторые разрабатывают сервисы по такому принципу, но я сомневаюсь, что этот подход покроет 100% ситуаций.
Так не надо 100%. Надо больше/лучше, чем живой юрист. Сначала, чем самый слабый юрист в условной деревне (к.м.к. этот этап уже переросли), потом чем средний, коих подавляющее большинство.
Понятно, что всегда останутся суперсложные, редкие или важный кейсы и случаи, по которым пойдут к человеку/компании (а те уже будут использовать ИИ сами на бекенде). Но что-то мне подсказывает, что если взять все запросы к юристам (не конкретно к вам, а вообще в стране), то 50-70% - совершенно типовые кейсы (какие-нибуть разводы, наследство, etc). И по ним приходят не к лучшим из лучших, а к тем, на кого денег хватило и чью рекламу увидел.
Так вот если ИИ будет хотя бы чуть лучше их (и тут речь не про 100%. И у хирургов нет 100%. Ни у кого нет 100%), смогут закрывать самое популярное и при этом дешевле, то индустрию может ждать коллапс радикальные изменения, где останутся только условно штучные суперспециалисты, которые, разумеется, никуда не денутся.
Вы бы ещё программистов с анекдотом про бензопилу сравнили — "моя программа не падает, когда X != 0 — а эти козлы программисты подсовывают ей X = 0 и ржут!" Так ведь в том-то и дело, что нужна не "абы какая" программа, а такая, которая не падает никогда. По той причине, что в реальной жизни заранее никогда не известно, чему конкретно будет равен X сегодня — а работать надо.
А что есть такие программы, которые никогда не падают? ;)
Вы не поверите.
Есть и формальные методы.
Однако писать "пуленепробиваемые" программы долго и дорого (вдесятеро дольше как миниум), поэтому подавляющая часть индустрии не заморачивается.
А потом люди умирают.
Хорошая статья! Автор системно подсветил проблемы использования ИИ в юридической профессии. Думаю статья обязательна для прочтения не только юристам, но и разработчикам, которые создают ИИ решения в области юриспруденции, потому что им предстоит эти вопросы решать. А первый шаг в решении он в понимании сути: "Почему не работает". Да ИИ можно доверить выполнять ряд простых функций и да мыслить как юрист ИИ пока не способен (мое мнение). При этом лично я вижу опасный тренд - попытку все решать через LLM. А неточности? - ну давайте дадим моделям больше данных, будем контролировать их качество, решим вопрос обновления с помощью RAG, напишем правильные системные промпты и т.д. Но мне кажется мы забываем о том, что ИИ это не только LLM. Я больше чем уверен, что эффективными могут быть и экспертные системы и классический ML (в медицине и кредитном скоринге про них никто не забыл, а на Kaggle CatBoost во многих соревнованиях "дает прикурить" нейронкам). И конечно не стоит забывать о юридической технике. Не потому ли ИИ так сложно справиться с правыми нормами, как не потому, что они запутаны сами в себе? А ведь нормы это ничто иное как алгоритмы, если право "не работает" значит мы их не так строим. Не стоит ли сначала навести порядок в нормах? Разобраться с тем что такое условия, основания, поводы, порядок и т.д. А можно вспомнить еще и такие понятия как принципы и "Дух закона", что бы наши нормы не превращались в сборники алгоритмов (если ...., то делай так), а такой тренд уже наблюдается. В целом благодарен автору, статья о многом заставила задуматься, в том числе вспомнить о чем мечтал и что исследовал в аспирантуре.
Что не так с ИИ-юристами