Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 11
Подход с инструкциями-чеклистами по типам договоров интересный и перспективный. Иначе действительно получается очень поверхностный анализ (я пробовал много чего). Но сразу несколько критических замечаний (как юристу и без критики :) :
Это наверняка будет прекрасно работать, когда инструкции для конкретного типа договоров составляются или хотя бы корректируются индивидуально под каждого заказчика. У всех своя специфика работы и свои требования. Кто-то ограничен рамками закона (закупки, монополии, публичные договоры, иные обязательные требования), кто-то внутренними стандартами. Ещё важнее - отрасль и сложившаяся практика работы. Если взять всё это и применить Ваш подход - получится прекрасное подспорье инхаус юристу, закрывающее серьёзную часть работы по проверке договора.
Но предлагать преднастроенные на основании Вашего опыта и нередактируемые инструкции в публичном сервисе для всех? Ох, сомневаюсь.Вторая претензия не к сервису, а к его позиционированию. Писать, что Ваш сервис заменит анализ живым юристом - мягко говоря, введение в заблуждение. Помимо условий формальных (те самые неустойки и пр., которые у Вас есть в примерах), любой адекватный юрист проверяет договор на полноту, непротиворечивость и соответствие интересам заказчика заложенного в него алгоритма взаимодействия сторон. И такая проверка в принципе не может быть осуществлена только на основании текста.
Любой уважающий себя юрист, получив новый для себя договор, сначала задаёт вопросы тому, кто будет исполнением этого договора заниматься. Даже для простой поставки: Что товар из себя представляет, какие могут быть типичные недостатки? Где его принимают, кто и на чём привозит, с какими документами? Кто там сидит и в чём можно на них положиться, а в чём нет? Какой график работы, какие средства связи, какие способы проверки? Как что фиксируется? От какой суммы проблемы надо эскалировать на уровень выше и куда именно? Как формируется и проходит заявка на оплату? и т.п. И на основании этого интервью (а в основном - нескольких, т.к. один человек всего не знает) договор уже проверяется на предмет "А все ли возможные развилки учтены в сценарии выявления некачественного товара на приёмке? Отвечает это нашим интересам? Сможем мы фактически выполнять то, что там написано?" Иногда эта работа требует выезда на объект (из своей практики - чтобы детально понять порядок приёмки угля на ТЭЦ и корректно описать его в договоре, потребовалась командировка на пару дней на другой конец страны).
В общем, подобные сервисы - это подспорье для юриста, чтобы он не отвлекался на тривиальные штуки типа неустойки, разрешения споров и форс-мажора и мог уделить больше внимания содержательной части.
Насколько такое подспорье несёт ценность - вопрос сложный. По мне, так всё, что может выявить нейросеть, опытный юрист и так увидит за пару минут, в бодром темпе пролистав договор по диагонали. Конечно, чтобы соблюдать единые стандарты проверки и перекладывать часть работы на не столь опытных юристов, а то и вообще на исполнителей по договорам до передачи их юристам, - наверное, не помешает. Но тут вступает в игру человеческий фактор. Человек ленив. И если нейросеть за него "проверила" договор, что-то убедительное написала - высок соблазн этим и ограничиться, пропустив тем самым то, что нейросеть найти не могла по определению...
Просто используй умные модели, например gpt 5.2. и конектста там больше чем на 5 строк договора
В этом случае я бы взял opus 4.5, но дело в том, что я сделал российский сервис, на российских технологиях и если нас настигнет Чебурнет, то в моем кейсе ничего не загнётся. Дальше, это вопрос доверия клиента, мало бизнеса в РФ, который готов сливать свои договора вне РФ. Ну и в любом случае, что с доступом к openai, что claude, нужно уже сейчас проксировать трафик, а это не то, чего я хотел. Можно и за cf убрать, а потом с РКН бодаться, как бы обойти, этакий Дон Кихот и ветряные мельницы.
мало бизнеса в РФ, который готов сливать свои договора вне РФ
Вы не поверите - если мы не про госсектор, то мало бизнеса в РФ, который готов сливать свои договора российским сервисам. С зарубежными как раз рисков для бизнеса нет. Есть только регуляторные риски про хранение / трансграничную передачу перс. данных и т.п.
Так, если автор всё же прочитает комментарии к своей статье :) - то у меня есть что сказать. Так совпало, что сразу после прочтения этой статьи у меня возникла практическая задачка организовать проверку договоров для одного заказчика (глянуть самому и выстроить процесс для юристов на будущее). Ну вот, думаю, как раз и проверю, на что нынче способен ИИ в этом вопросе, а на что нет.
Договор для теста элементарный - поставка самовывозом, наш клиент покупатель, договор составлял поставщик. Никакой особой специфики, даже те самые интервью у заказчика, про которые я писал выше, особо не надо брать - так, пару моментов уточнить. Договор скорее безграмотный (не в плане грамматики, а в плане юр. техники), чем умышленно кабальный, хотя в сторону интересов поставщика, само собой, подкручен.
На арене цирка за звание лучшего ИИ-анализатора договоров на данном простом примере сразились:
5 российских коммерческих продуктов, имеющих бесплатное демо, доступное онлайн (а не через "свяжитесь с нами"): "Нейроюрист" от Яндекса, legalparser.ru из этой статьи, Noroots, gptlegal.pro, ru_legal_bot (к ним надо бы добавить Докзиллу, но демо нет, а минимальные 6000₽ за 5 проверок договора в месяц откровенно дорого для теста);
3 топовых зарубежных LLM с простым промптом (GPT-5.2, Gemini 3 Pro, Claude Opus 4.5);
ну и вне конкурса - мой собственный естественный интеллект, основанный на 25 годах юридического стажа, из которых немало было проведено именно в ведении и выстраивании договорной работы :)
Руками я в тестовом договоре нашёл 20 рисков, которые стóит оформить в замечания (к грамматике, просто кривым формулировкам, ненужным повторам закона и пр. не придирался, только то, что может иметь реальные последствия). Из них 6 штук можно назвать критичными (т.е. если их не поправить - то толкованием текста и прочими соображениями общего характера в случае спора не отобьёмся). 4 штуки - это прямые логические противоречия между разными пунктами договора. Заняло это у меня в режиме "выписать на листочек" минут 15, оформить в режим правки с комментариями по каждому пункту займёт ещё полчаса.
Из этого списка лучше всего, внезапно, отработала GPT-5.2, увидевшая аж 6 рисков (2 критичных, 1 противоречие) из моего списка и добавившая ещё 4 нюанса (некритичных, но по делу), которые я пропустил.
У Noroots самый продуманный интерфейс и набор возможностей. Там как раз есть то, про что я писал в комменте выше - настраиваемые пользователем инструкции (плейбуки в их терминологии) для конкретного типа договоров. Наверное, если их использовать, можно сильно улучшить результат, но пока что они практически ничего по делу не поймали, зато добавили кучу виртуальных "рисков", которые рисками не являются (либо из договора таки достаточно ясно следует то, что Noroots посчитал неопределённым, либо отсутствие в договоре того, что он предложил добавить, ничего не способно поменять на практике).
Остальное (включая обсуждаемый в статье сервис) - грусть и печаль. У legalparser.ru самый минималистичный вывод, выбранный автором подход на практике сработал не в плюс, а в минус - тот единственный риск, который связан с неустойкой, был подсвечен, всё остальное просто проигнорировано.
По оформлению анализа - LLM общего назначения, само собой, выдают простыню, которую в пригодный для дальнейшей работы формат надо ещё отдельно преобразовывать (либо колдовать над промптом изначально). Внезапно лучше всего делает ru_legal_bot - правки в режиме рецензирования плюс пояснения в комментариях (ещё бы он не только грамматические ошибки находил, а по делу...)
Общий вывод - в лучшем случае нужны детальные промпты не просто по каждому типу договоров, но и по каждой организации с учётом её специфики работы и договорной практики. Формировать их надо долго, упорно и последовательно, результат не гарантирован. В худшем случае, всё это пока что довольно опасная игрушка, либо подменяющая нормальную проверку договора иллюзией проверки, если слепо полагаться на ИИ, либо отбирающая у юриста время, за которое он проанализировал бы договор и по старинке, если ИИ использовать только в качестве помощника.
P.S. Договор, мои замечания к нему и результаты проверки во всех упомянутых инструментах выложить не могу по соображениям конфиденциальности, но если автору интересно - могу поделиться в личке. Ну или если найду время - повторю этот же опыт с каким-нибудь договором, выложенным в открытом доступе.
Могу я вас попросить отправить это договор (обезличьте конечно же) на почту? Хочу посмотреть где были проблемы? Я храню исключительно отчеты, поэтому не могу прогнать сам договор.
Конечно. Написал в личку.
Мы тестировали Noroots около 2х месяцев на договорах поставки/аренды или подряда. И результат очень приличный. ChatGPT...платный - возможно. Но бесплатные модели - бред чушь и компот
Я использовал YandexGPT(и он не бесплатный), в надежде что он на российской информации обучен и хорошо разбирается в законодательстве, но если честно он дай бог н ChatGPT 3.5 тянет, скорее на 3 версию. Я уже решил что прикручу еще возможность переключаться на Claude Opus(4.1/4.5), но ценник будет другой, за 299р уже не уложиться будет никак.
Благодарю вас за помощь, я улучшил некоторую логику обработки и теперь подобные договоры с двойной тематикой гораздо эффективнее обрабатываются. Но вы верно заметили сервисы на базе YandexGPT это как ChatGPT 3.5 версии, он больше не тянет, довольно слабая нейронка. Я следующим шагом прикручу Claude Opus 4.5, и дам юзеру выбор какую из нейронок использовать. Понятно, что это влияет на стоимость, но все также не буду сильно ее завышать, моя задача компенсировать расходы и иметь небольшой доход, чтобы окупать инфраструктуру и разработку.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Я сделал AI-анализатор договоров и проверил его на 5 кейсах, где люди потеряли 1,6 млн