Comments 9
Люди боятся использовать. «А вдруг агент ошибётся, а отвечать мне?» В итоге система простаивает.
А чего бояться-то, если процесс проверки за агентом занимает меньше времени/усилий, чем сделать без него?
Агент автономен в определённых рамках. Есть чёткие границы — внутри действует сам
А потом агент ошибётся в определении границ. В том самом примере с договорами из статьи элементарно в простой договор поставки на маленькую сумму сделать "инжект" такого условия, которое не выловить обычными чеклистами и которое создаст проблем куда больше, чем на сумму договора.
А чего бояться-то, если процесс проверки за агентом занимает меньше времени/усилий, чем сделать без него?
Вы исходите из того, что работу нужно выполнить в любом случае одну и ту же - а это не так. ИИ агенты позволяют сделать работу иначе, так, как человек бы не стал - потому что слишком долго/сложно/нудно/не хватает компетенций/и так сойдёт… И объёмы и сложность проверки работы ИИ запросто могут оказаться выше, чем сделать (не совсем то же самое, но тоже приемлемое) без ИИ.
А потом агент ошибётся в определении границ.
Обязательно ошибётся! Просто хороший промпт заметно снизит число таких ошибок. Кроме того, люди известны тем, что все они ошибаются. Так что мы просто меняем одни ошибки на другие, и размен может оказаться выгодным.
В идеале, конечно, границы должны определяться обычным кодом ещё до первого вызова ИИ - т.е. из входящих запросов берётся следующий, смотрим в поле "сумма", и если она выше порога то вообще не даём этот запрос ИИ. Но такое получится сделать далеко не везде, во многих случаях границы будут применяться к значениям, для вычисления которых сначала нужно привлечь ИИ.
Безусловно, случаи бывают разные. Я проецирую свои выводы исключительно на сценарий проверки входящих договоров (т.е. никак не формализованных, чистый текст, в котором может быть любое). Потому что и я сейчас этим сценарием активно занимаюсь, и Вы его привели в пример.
Как раз один из недостатков всех существующих инструментов - что они с одной стороны, не обеспечивают 100% приемлемый результат (и не могут, само собой), а с другой - не предоставляют удобного интерфейса доработки этого результата пользователем. Выдают готовое заключение без возможности что-то убрать, что-то дополнить, оперативно посмотреть, на основании чего сделаны выводы, прогнать по второму кругу с уточнёнными инструкциями и т.п.
Вот и приходится разрываться между "мелочёвку отдаём ИИ не глядя, но может случиться эпичный факап" и "да за ИИ исправлять дольше, проще сам руками". Но не обязательно же так делать... Мне кажется, именно сценарий "ИИ агент - помощник под контролем специалиста" в бизнес-задачах (в отличие от того же кодинга) совершенно недооценён. Ну, может, ещё накладывается маркетинговая лапша про то, что внедрение ИИ позволит сократить персонал / уменьшить ФОТ и пр., так что надо прям обязательно кого-то демонстративно уволить, чтобы ROI оправдать и KPI выполнить :)
Вы подняли, наверное ключевой, на текущем этапе развития ИИ в бизнесе, вопрос: удобство взаимодействия. Все текущие инструменты заточены под работу людей с людьми.
И это не простая задача, у которой пока нет наработанных решений.
С договорами, вполне может подойти интрумент рецензирования, который уже давно встроен в основные текстовый редакторы. Но этот инструмент подходит для отображения конечного результат работы. А как показать процесс? Нужно прикрутить какой-то интерфейс, где будет отображаться ход процесса.
И всё это вполне может привести к тому, что сложность контроля за агентом, станет выше сложности выполнения самой работы человеком. :)
В этом, случае нам нужна декомпозиция. А возможно и рекомпозиция. Т.е. процесс того же согласования договора, следует либо разделить на более мелкие составляющие, каждый из которых можно свести к вариантам "Согласовано" и "Не согласовано" и на оценку которой, человеку требуются секунды. При таком подходе фактически исчезает сложность проверки, упрощаются инструменты взаимодействия. И появляется выгода от внедрения.
Плюс у ИИ агентов есть, на мой взгляд, ключевое преимущество для бизнес-систем, относительно человека: можно тестировать.
Дело в том, что мы можем собрать набор тестовых данных и прогнать тест, далее мы можем скорректировать набор данных и вновь прогнать тест и т.д. И такой подход даёт нам проверяемую уверенность в том, как будет работать наш агент.
В своей статье я указал на варианты распределения ответственности, но это лишь один разрез в котором следует вести работу, для успешного внедрения ИИ.
А чего бояться-то, если процесс проверки за агентом занимает меньше времени/усилий, чем сделать без него?
Если кратко и упрощенно, то поэтому
При проверке, особенно больших объемов, очень просто упустить что-то просто потому, что являясь неправильным оно воспринимается как правильное.
Всё верно!
Для этого создаём тестовую выборку, проводим evals, смотрим на частоту ошибок в зависимости от типа входных данных (и тут я имею в виду не int, float и т.п., а типа договоров). И для тех где ошибки входят в приемлемое значение - пропускаем без контроля, а те где не проходит отправляем на контроль.
Более того! Человечество давно придумало способ контроля больших объёмов - ОТК. Если требуется и видна выгода, можно применить методологии ОТК. В таком случае создаём иерархию контроля и вперёд.
Тут важно не пытаться штамповать шаблоны, а искать подходящее решение.
И на круг получается что вместо работника для составления договора мы получаем работника для проверки договора и некоего «инженера ИИ». Похоже правы те, кто говорит что «работы станет больше»
Работы может стать или больше, или меньше, в каждой организации по-своему. Но структура этой работы точно изменится. Младших юристов, на потоке проверяющих похожие друг на друга договоры, станет меньше (т.к. проверять их получится быстрее). Но появится бóльшая потребность в опытных юристах, которые могут на основании наработанных (и особенно - пропущенных) замечаний составлять и актуализировать чеклисты / скиллы / пр. для ИИ-агентов.
В любом случае, проверка договоров - это та деятельность, в которой соотношение "затраты на персонал / предотвращённые риски" настолько пренебрежительно мало, что измерять имеет смысл не экономию ФОТ, а повышение качества. Особенно актуально для малого бизнеса, который опытных юристов себе позволить не может, а неопытные проверяют так, что лучше уж ИИ-агент в полностью автономном режиме :) А так появляется рыночная ниша для достаточно дешёвого, но качественного аутсорсинга этой функции.
Верно. ИИ не волшебная таблетка и не решает все проблемы.
И в первой статье, текущей серии, я указал, что много проектов ломаются именно на том, что пытаются шаблонно решить не шаблонные задачи.
Нужно думать и считать - есть ли выгода.
И наличие выгоды не всегда очевидно "на берегу". По этому порой нужен путь PoC → MVP → опытно-промышленная эксплуатация с обязательным подтверждением эффекта финансами.
Кто виноват, если AI-агент ошибся: распределение ответственности