Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 22
Смысл судебной системы не в том чтобы четко проследовать по нормативным документам - для этого можно вообще написать скрипт if then else. Смысл в том чтобы учесть нюансы и соблюсти хотя бы видимость справедливости - когда по бумажкам так, а по сути не так.
И если ии-скрипт отработал так же как живые люди (строго по нормам законодательства) - значит и люди подошли в делу максимально формально.
Хорошо это или плохо - зависит от того кто и как пользуется законом...
Хорошее замечание, и в общем согласен. Я в статье как раз старался не заявлять что ИИ “судит лучше людей” он именно формально проходит по фактам. Живой арбитр должен видеть больше: интонацию, контекст отношений, “по сути не так”. Но тут есть нюанс который выявил наш кейс. В реальном арбитраже из статьи живые арбитры тоже разбирали формально просто медленно, с отвлечениями, со сменами, в три недели. Получается что 80% арбитражей в нашем сообществе (фриланс, крипта, мелкие сделки) вообще не нуждаются в “видимости справедливости” там стороны хотят быстрого формального решения по фактам. И вот эту часть ИИ забирает у людей. А вот в сложных кейсах с эмоциями, манипуляциями, неочевидным контекстом там как раз и нужны живые арбитры со временем и опытом. Они продолжат работать, только за нормальные деньги и над реально интересными делами. То есть ИИ не заменяет правосудие, он расслаивает поток.
"Брэйдон Макалистер был адвокатом. Хотя ИИ и автоматы заменили многие профессии, в одну область нас не пускали и близко – в юриспруденцию. Уж насколько ИИ может быть беспристрастным, но люди почему-то считали, будто опыт, окрашивающий их точку зрения, и предрассудки, правящие их жизнью, не говоря уже о химических процессах, лежащих в основе их мыслей, делают из них лучших судей, чем мы. Они считали нашу беспристрастность просто случайными суждениями, а собственное чутье – чем-то вроде суперспособности. Так что человеку, который любит ежедневно докапываться до сути и не возражает против рутины и точных процедур, юриспруденция предлагала самую полную занятость. Вот таким и был Брэйдон Макалистер."
Роберт Каргилл, "Море ржавчины"
Интересно, что вопрос "правильно ли рассудил" тут оказывается вторичным... ИИ вынес тот же вердикт за 12 минут, что люди разбирали три недели. Ну хорошо. Но я всё думаю о другом... Ведь в том числе нам важен суд как ритуал, даже если все очевидно. Пусть нас выслушают... разберутся, признают факт события... и вот мы уже не наедине с бедой. Беспристрастность, наверное, это не всегда то же самое, что справедливость...
А много ли желающих с реальными проблемами идти судиться к свежесозданному чатботу?
было (на стадии бета-тестирования)
стало (после релиза)
Или это всё мысленные эксперименты такие?
Просто, ну как-то странно, когда речь идёт о крупных деньгах... Ведь судейская система, неважно, государственная, или ad-hoc (даже бандитские стрелки), держится именно на авторитете и доверии.
В том числе и на доверии к приватности. Что никуда лишние документы не утекут.
Когда этот авторитет и доверие чатбот успел заработать? И как удалось научиться на чужих документах (вопросики уже к той судейской системе, откуда они позаимствованы).
Я указал в статье что это не настоящий третейский судья, а больше развлечение для участников группы и не более
Так а при чем тут серьёзные деньги? Там и так можно арбитров привлечь.
Тут как раз интересная идея, что автор пытается демократизировать арбитраж. Условно, один школьник купил у другого аккаунт Геншин за $50, а там не оказалось нужного перса, и живой арбитр возьмёт за вникание в суть больше, чем сумма сделки.
Хотя, лично мне кажется, что, что в таких делах будет много вранья об аргументах, которые сложно проверить нейросетью (условно, один человек говорит, что сделанный сайт открывается на его Android телефоне, второй, что нет), а достоверно проэмулировать Клод не сможет. Поэтому, я бы смотрел в сторону выделения и верификации аргументов. Условно, Анна перед запуском арбитра в явном виде выписывает аргументы сторон, после чего просит второго участника подтвердить или опровергнуть аргумент оппонента. Условно, Вася говорит, что оплатил работу, но сайт, сделанный Петей, не открывается на его телефоне. Петя утверждает, что сайт открывается на таком же телефоне, как у Васи.
В таком случае есть 3 аргумента.
1) оплата Вася->Петя произведена
2) сайт не открывается на условном Samsung S21 Васи
3) сайт открывается на Samsung S21 Пети.
Если, скажем, Петя подтверждает, что Вася оплатил, а Вася подтверждает, что видел, как на телефоне Пети сайт работает, то аргументы 1 и 3 должны перейти в статус надежных, и проверять хеши никому не надо (ибо, если обе стороны считают аргумент истинным, то он таковым и является). А вот аргумент 2, к примеру, является противоречивым, ибо Петя считает, что Вася специально подстроил свой телефон, чтобы не платить за работу. После чего уже есть варианты - пытаться дособрать улики самостоятельно, или, например, за доп плату позвать человека, чтобы верифицировать только один аргумент (что будет сильно дешевле и быстрее, чем разбирать человеком целое дело).
И, имея метку [опровергнут/надежен/непроверяем] на каждом аргументе, уже идти к вердикту.
Для поиграть в "час суда", наверно, сгодится. Или в дневную фазу "мафии". По сути, у обоих участников процесса задача не отспорить что-то друг у друга, а уболтать железяку.
Если есть пруфы в виде чеков и т.п., но при этом нет реального спора, - то это игра двоих против чатбота, чисто потестить "а вот если я этот пруф приложу, а тот не приложу... а вот если я так фразу построю..."
А чтобы были пруфы, - должна быть реальная успешная сделка, и уже на её основе клоунада в альтернативной вселенной.
Ну а с сорванной сделкой... смысл лезть к чатботу? Всё равно же придётся потом к реальному судье обращаться.
Если было похожее дело, ИИ найдет и предоставит вердикт быстрее людей. По сути, вы автоматизировали прецедентное право. Но, если схожих дел не было, будет ли таким же корректным ответ ИИ? Нет, не будет.
К тому же, упущен немаловажный фактор: на суде собираются все те документы, которые вы уже готовыми скормили ИИ. Как обойтись без этого этапа?
Очень точное наблюдение про прецедентное право я сам долго думал как это описать, и в статье обошёл, потому что объяснение получалось длинным. По сути да, любой LLM в режиме арбитража работает как common-law судья: ищет похожие паттерны в обучающих данных и в векторной памяти прошлых дел, применяет логику аналогии. Из-за этого ИИ-арбитр будет систематически лучше на типовых кейсах (фриланс не сдал работу, клиент не оплатил, недопонимание по объёму) там паттернов хватает и в training set’е, и в нашей базе. И систематически хуже на нестандартных кейсах где нужно применить право к ситуации которая раньше не разбиралась. Кстати, по нашей статистике это сейчас примерно 80/20: 80% дел типовые, 20% уникальные. Первые ИИ закрывает быстро и качественно, вторые мы перенаправляем живому арбитру. Так мы и расслаиваем поток в практике.
По второму вопросу соглашусь полностью. В классическом арбитраже/суде половина работы это сбор доказательств: запросы в банки, экспертизы, повестки, допрос свидетелей. У нас этого нет. ИИ работает с тем что стороны принесли сами. В этом ограничение модели. Поэтому в статье я честно пишу что ИИ не заменит сложные кейсы. Реальная судебная система не сводится к «вынеси вердикт по фактам» она про правоприменение, доказывание, процессуальную справедливость. Этих частей у нас нет и быть не может. Что ИИ хорошо делает: быстрый формальный разбор по уже собранным сторонами материалам. Что не делает: расследование. Это две разные задачи, и наш бот закрывает только первую.
ИИ можно сделать для использования до судебного разбирательства (чтобы снизить нагрузку на суд), если обе стороны согласны - дело закрывается, если нет - в живой суд.
Получил ответ. Вынес вердикт. Заняло это 12 минут.
Я подбросил три игральных кубика. Выпало 6 6 6. Заняло 12 секунд.
Справедливо) Один кейс это не статистика, это анекдот. В статье я об этом сказал: «прогнал ещё 4 старых дела в 3 из 4 совпало». То есть 4 из 5, что тоже не выборка для серьёзной работы. Для нормальной валидации нужны хотя бы сотни кейсов с блайнд-сравнением, и над этим думаем. Пока что наш единственный честный аргумент это что в типовых спорах (фриланс не сдал, клиент не оплатил) ИИ выдаёт логичные решения за минуты вместо недель. А «логичные» не означает «всегда правильные» означает «обычно те же что вынес бы здравомыслящий арбитр».
Кубики тоже выдают результат за секунды, но логику в нём искать сложно)
Кубики тоже выдают результат за секунды, но логику в нём искать сложно)
Ну об этом и речь: LLM — это те же кубики, просто они сильно подкручены в правильную сторону. Что ничуть не умаляет Вашего достижения — всё равно у Вас сейчас есть опция «пойти к человеку», а арбитраж — как Вы сами отмечаете, это не приговор без права переписки, а попытка аффтаритетом давануть: «а может, они успокоятся и сами договорятся?»
Но более глобальная проблема в том, что все начинали с малого — а такими маленькими шажками и до эпизода № 5 дошагать можно — если люди привыкнут, что «но ведь так контупер сказал!!!111»
Ссылка на 5 эпизод точная. Я этот сериал смотрел и сцена с эмуляцией присяжных как раз и запомнилась тем что граница тонкая. От «помощник судьи» до «судья» дорожка короче чем кажется. Соглашусь с двумя пунктами разом. ИИ это действительно кубики с тюнингом просто подкручены в сторону того что было в обучающих данных. И арбитраж в нашей среде это действительно не вынесение вердикта в правовом смысле, а попытка авторитетом разрулить чтобы стороны сами договорились. Я это в статье не очень акцентировал, но по сути так оно и есть. Теперь про slippery slope это реальный риск. Я о нём думал, поэтому в систему встроены вещи которые специально мешают скатываться:
Вердикты не имеют юридической силы это в правилах, в дисклеймере, в самом сообщении пользователю при первом запуске. Стороны соглашаются добровольно, и любая может уйти в обычный суд по той же фактуре. Опция «вызвать живого админа» доступна на любом этапе. Не «оспорить вердикт» (это можно), а прямо вмешаться в процесс если ИИ ушёл в неадекват. Кнопка большая.
Это коммерческий сервис, а не государственная функция. Если завтра ИИ выдаст что-то странное в нашем боте, последствия недовольный клиент пишет в чат и я разбираюсь. Если бы это была государственная система последствия другие. Но вы правы в общем смысле: каждый кто строит автоматизацию решений должен помнить «контупер сказал». Я стараюсь помнить. Не уверен что у всех получится так же.
Немного уходя в сторону: вся идея с судом присяжных (в смысле по жизни) заключается в том, что законы отстают от жизни, и вот на этот случай предусмотрен противовес в виде 12 случайно отобранных человеков: если в законе божием написано, что «кто возлежит с мужчиной прелюбодействует, того надо забить камнями», а случайные присяжные говорят «вы чо, совсем с дуба рухнули, все ж так делают», то крайне велика вероятность того, что нормы общества уже изменились (ведь присяжные, собственно, и являются случайным срезом общества), но ещё не успели зафиксироваться на бумаге (в законе) — и поэтому сообщённые присяжными свежайшие нормы имеют приоритет.
Вот на это и напирали в эпизоде: в законе было написано «за убийство копа — смертная казнь», но [сэмулированные] присяжные посмотрели запись, как этот коп убивает девочку, и сказали «да, мужик всё правильно сделал — этот коп с дубу рухнул, и его надо было остановить любой ценой, даже ценой его жизни» (а, ЕМНИП, дедушку случайным выстрелом зацепило, когда главгер с копом за оружие боролся). Но компьютер был запрограммирован повиноваться закону, и поэтому проигнорировал мнение присяжных.
Вот этого-то я и боюсь.
Полностью соглашусь. Присяжные это живой контур между формальным законом и текущей моралью общества. LLM этого делать не может в принципе, она работает с зафиксированными паттернами. В нашей нише это пока не критично нормы «выполнил работу, получи деньги» стабильны десятилетиями. Но для дел где общественная мораль быстро меняется, ИИ выдаст устаревшее решение с твёрдой уверенностью. Это надо помнить.
Хороший аргумент, спасибо что подсветили.
Судья Дрель:" - Я знал, что ты это скажешь"
Система впечатляет, но в ней скрыто допущение, которое автор явно не проговорил: к добровольному арбитражу обращаются только те, кто заранее готов принять любой вердикт – иначе зачем идти? Реальный спор трудён не тем, что сложно вынести решение, а тем, что недобросовестная сторона его просто проигнорирует. Система великолепно ускоряет уже «почти решённые» конфликты и не затрагивает те, где арбитраж действительно нужен.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Заменит ли ИИ настоящих судей? Я скормил ему дело которое арбитры разбирали 3 недели