Диалоговые потоки в агентном ИИ: чему нас научила эксплуатация таких систем в промышленном масштабе

Автор: Bernd Ruecker, Co-founder and Chief Technologist at Camunda

Недавно CrewAI представила экспериментальную возможность Conversational Flows как способ найти баланс между детерминированной логикой и рассуждением на основе ИИ в агентных системах. Это действительно важная архитектурная задача. Хочу поделиться тем, чему мы научились, создавая и эксплуатируя именно такие системы в промышленной среде — для корпоративных заказчиков из банковского сектора, телекома и других строго регулируемых отраслей.

В чем заключается реальная проблема

Разговорный ИИ-агент должен уметь работать с открытым пользовательским вводом. Одно сообщение клиента может означать десяток разных вещей, потребовать обращения сразу к нескольким информационным системам и даже инициировать действия, чувствительные с точки зрения требований комплаенса.

Все возможные сценарии заранее перечислить невозможно. Но и передавать LLM полную автономию в процессе, который влияет, например, на одобрение кредита или оформление страхового полиса, тоже нельзя.

Поэтому сама идея добавить в агентную архитектуру управляемую структуру абсолютно правильная. Настоящий вопрос заключается в другом: какой должна быть эта структура, если речь идет об агенте промышленного уровня, который обрабатывает миллионы экземпляров процессов в регулируемой среде.

Какую роль здесь играет BPMN

BPMN (Business Process Model and Notation) — это международный стандарт ISO для описания бизнес-процессов. Его модели исполняемы, пригодны для аудита и одинаково понятны как разработчикам, так и бизнес-пользователям.

Если BPMN ассоциируется у вас с громоздкими BPM-платформами начала 2000-х годов, это скорее проблема тогдашних инструментов, а не самой нотации. За последние годы экосистема значительно изменилась.

Camunda исполняет BPMN-процессы с 2013 года. И это принципиально важно. Мы не создавали новый рантайм для агентов, а затем пытались встроить в него процессные концепции. Напротив, агентный слой работает поверх инфраструктуры, которая уже более десяти лет обеспечивает исполнение миллионов параллельных экземпляров критически важных бизнес-процессов, включая надежное хранение состояния и восстановление после сбоев.

Агентная оркестрация: как разговорные агенты интегрируются с BPMN

В Camunda разговорный агент моделируется с помощью конструкции BPMN, которая называется ad-hoc subprocess (произвольный подпроцесс). Именно здесь проходит граница между детерминированной процессной логикой и областью, где агент использует возможности ИИ.

В качестве примера можно рассмотреть агента поддержки по вопросам кредитования, открытого в Camunda Modeler.

Агент поддержки по вопросам кредитования в Camunda Modeler. Агент представлен в виде ad-hoc подпроцесса (фиолетовая звезда), внутри которого расположены доступные ему инструменты. Настройки LLM, системный промпт и параметры модели отображаются в панели свойств.

Здесь важно сразу определить терминологию, поскольку слово агент разные люди понимают по-разному.

Сам агент — это ad-hoc подпроцесс (фиолетовая звезда на диаграмме). Именно он представляет пространство рассуждений.

Используемая LLM настраивается через панель свойств: выбираются поставщик модели, лимиты токенов, температура и другие параметры. В приведенном примере используется Claude Sonnet.

Системный промпт представляет собой обычный текст и полностью виден непосредственно в Modeler. Никакой скрытой логики «за кадром» нет.

Инструменты агента представлены блоками внутри подпроцесса. Это заранее подготовленные BPMN-активности, которые агент может вызывать: задать вопрос клиенту, выполнить поиск в базе знаний, обратиться к кредитному специалисту, загрузить доступные продукты, рассчитать платежи и кредитоспособность либо запустить полноценный процесс оформления потребительского кредита как отдельный подпроцесс.

Внутри подпроцесса LLM анализирует доступные инструменты и самостоятельно решает, какие из них использовать и в какой последовательности. За пределами подпроцесса процесс остается полностью детерминированным. Агент принимает решения, инструменты выполняют действия, а процесс координирует работу обеих сторон.

Некоторые инструменты сами содержат детерминированную бизнес-логику. Например, инструмент Send message. Прежде чем сообщение попадет клиенту, оно обязательно проходит через этап Approve content, где принимается явное решение — утвердить или отклонить текст.

Инструмент «Send message» включает детерминированный процесс согласования. Агент не может обойти этот этап: его выполнение обеспечивается самой процессной моделью, а не инструкциями, содержащимися в промпте.

Это согласование не является рекомендацией, записанной в промпте. Это обязательный структурный этап процесса, который агент физически не способен обойти.

Именно здесь находится ключевой архитектурный принцип.

Каждый инструмент, который может вызвать агент, является самостоятельной BPMN-активностью. LLM лишь выбирает инструменты, а их исполнением управляет процессный движок.

Проверки на соответствие требованиям, этапы согласования и аудит реализуются не в виде инструкций модели, а как структурные ограничения самой процессной модели. Любой инструмент можно полностью исключить из набора доступных агенту либо поместить за этапом обязательного утверждения, не меняя ни единого слова в системном промпте.

Рабочий пример такой архитектуры можно найти в репозитории GitHub с учебным проектом Tech Helper Agent, а также в сопровождающей пошаговой статье.

Что меняется, когда система работает в промышленном масштабе

При переходе к эксплуатации возникают проблемы, которые быстро становятся критичными.

Хранение состояния во время длительных ожиданий.

Например, банковское обращение может ожидать ответа кредитного бюро или освобождения сотрудника несколько дней. Агент не может хранить такое состояние в оперативной памяти.

В движке Camunda состояние сохраняется после каждого шага процесса. Когда внешний ответ поступает, выполнение продолжается точно с того места, где было остановлено, полностью сохраняя весь контекст. Благодаря этому можно одновременно выполнять миллионы экземпляров процессов, при этом ожидающие экземпляры не расходуют вычислительные ресурсы.

Восстановление после сбоев.

Если вызов инструмента завершается ошибкой, движок автоматически выполняет повторные попытки. Если они не помогают, запускается механизм компенсации: уже выполненные действия корректно отменяются, не оставляя процесс в промежуточном и несогласованном состоянии.

Для промышленной эксплуатации это базовое требование, которого сегодня не хватает большинству агентных фреймворков.

Надежное хранение состояния и восстановление после сбоев на практике. Процесс сохраняет свое состояние на протяжении ожиданий любой продолжительности, а при ошибках вызова инструментов автоматически выполняет повторные попытки или запускает компенсацию уже выполненных действий.

Наблюдаемость и аудит.

Поскольку каждый шаг является процессной активностью, автоматически формируется полная история исполнения: какие инструменты вызывались, в каком порядке, какой контекст был передан LLM, где вмешивался человек.

Журнал операций Camunda Operate — централизованный журнал аудита, в котором фиксируются все действия пользователей и системы на протяжении выполнения процесса. Журнал поддерживает поиск и позволяет в любой момент восстановить полную историю исполнения. Когда регулятор спрашивает, что произошло в конкретном случае, ответ уже содержится в этом журнале.

Если возникает ошибка или регулятор требует объяснить принятое решение, вся необходимая информация уже содержится в журнале исполнения.

Все эти возможности крайне сложно добавить в агентный фреймворк постфактум. Гораздо разумнее унаследовать уже существующую инфраструктуру, чем строить ее самостоятельно.

Практические результаты

NatWest использует такую архитектуру для агентных систем расследования мошенничества. Агенты самостоятельно обрабатывают обращения: получают данные клиентов, анализируют транзакции, а при необходимости передают дело специалистам.

Результат — экономия 21 минуты на каждом случае при полном сохранении аудиторского следа.

Halkbank обрабатывает свободно сформулированные клиентские заявки с помощью документных агентов. Процесс включает OCR, оценку достоверности распознавания, направление на ручную проверку при низкой уверенности и полностью автоматическое выполнение при высокой.

Система обрабатывает 50 тысяч транзакций ежедневно, а среднее время обработки сократилось с 54 до 9 секунд.

EY использует агентные системы для обработки исключительных ситуаций во внешнеторговых операциях — случаев, которые невозможно полностью описать набором правил.

По сравнению с предыдущим процессом скорость обработки выросла в семь раз.

И это не результаты пилотных проектов. Все перечисленные агенты работают в промышленной эксплуатации в регулируемых отраслях уже более года.

О скептическом отношении к BPMN

Если вы разрабатываете агентов с помощью CrewAI или LangChain и думаете: «Не хочется тащить в проект тяжеловесный BPMN», такую реакцию можно понять.

Но проблема, которую пытается решить Conversational Flows — как наложить структурные ограничения на рассуждения LLM, не лишая модель гибкости, — именно та задача, для которой BPMN и паттерн ad-hoc subprocess подходят лучше всего.

Это решение уже прошло проверку в промышленной эксплуатации, доступно сегодня и обеспечивает уровень управляемости, который сохраняется даже при злонамеренных входных данных, сложных пограничных ситуациях и эксплуатационных инцидентах в больших масштабах.

И это работает вместе с CrewAI

Самое важное — все сказанное вовсе не означает, что придется отказаться от уже существующих решений.

Camunda не является конкурирующим агентным фреймворком.

Благодаря протоколам MCP и A2A агенты CrewAI могут работать внутри процесса Camunda как подчиненные агенты. То есть уже созданные сегодня агенты можно впоследствии обернуть в слой процессной оркестрации, не переписывая их заново.

Если вы оцениваете, как Conversational Flows выглядят в промышленной реализации, мы будем рады показать работающую систему.

BPM Developers — про бизнес-процессы: новости, гайды, полезная информация и юмор.