В стремительно меняющемся мире бизнеса автоматизация процессов перестала быть роскошью - сегодня это жизненная необходимость. Представьте, что вы можете переводить даже самые сложные инструкции на привычном человеческом языке напрямую в готовый бизнес-процесс, обходясь без десятков часов ручной разработки и без узкоспециализированных экспертов. Звучит как фантастика? Новая мультиагентная платформа WorkTeam претендует на то, чтобы воплотить это в реальность.
Почему это важно
Автоматизация построения процессов помогает бизнесу экономить ресурсы и повышать эффективность. Традиционные подходы требуют ручного проектирования процессов, что предполагает наличие узкоспециализированных знаний и значительных временных затрат. Это ограничивает их применение в реальных условиях.
Последние достижения в области больших языковых моделей (LLM) позволяют создавать процессы напрямую из текстовых промтов, однако использование одного LLM-агента для решения сложных задач часто приводит к ошибкам из-за нехватки специализированных знаний и трудностей с переключением между разными задачами.
Авторы исследования "WorkTeam: Constructing Workflows from Natural Language with Multi-Agents" предлагают использовать несколько специализированных агентов, каждый из которых отвечает за отдельную часть задачи. Это позволяет разгрузить модель, повысить качество результата и обеспечить стабильность работы системы.
Цель исследования
Главная задача - разработать мультиагентную систему WorkTeam, способную эффективно преобразовывать промты на естественном языке в корректные бизнес-процессы, избегая недостатков подходов на основе одного LLM-агента.
Конкретные цели исследования
Создать специализированных агентов (супервизор, оркестратор и агент заполнения), каждый из которых решает отдельную подзадачу.
Разработать новый набор данных HW-NL2Workflow, включающий более 3600 реальных бизнес-примеров, для обучения и оценки системы.
Провести сравнительные эксперименты, чтобы подтвердить эффективность предложенного подхода в сравнении с существующими методами (например, прямое использование LLM и подход RAG).
Методы исследования
Архитектура мультиагентной системы WorkTeam состоит из трех агентов, которые взаимодействуют друг с другом:
Супервизор: воспринимает инструкции пользователя, планирует задачи, координирует работу других агентов и проверяет итоговый результат;
Оркестратор: выбирает подходящие компоненты процесса с помощью модели SentenceBERT и упорядочивает их, используя LLM;
Агент заполнения (Filler): заполняет параметры каждого компонента процесса, используя шаблоны и LLM.
Используемые инструменты и модели
Для фильтрации компонентов используется модель SentenceBERT, обученная на новом датасете HW-NL2Workflow.
Для оркестрации и заполнения параметров используются LLM (например, LLaMA3-8B-Instruct, Qwen2.5-72B-Instruct).
В качестве базовых методов для сравнения используются GPT-4 и подход RAG.
Метрики оценки качества
Качество работы системы оценивается по трем метрикам:
EMR (Exact Match Rate) — полное совпадение с эталонным процессом.
AA (Arrangement Accuracy) — точность расположения компонентов.
PA (Parameter Accuracy) — точность заполнения параметров компонентов.
Результаты исследования
Авторы сравнивают предложенную мультиагентную систему с подходами, использующими одного LLM-агента и метод RAG, также оценивается вклад каждого агента в итоговый результат.
WorkTeam значительно превосходит базовые подходы по всем метрикам:
EMR: 52.7% (WorkTeam) против 18.1% (GPT-4) и 12.7% (Qwen2.5-72B).
AA: 88.9%, PA: 73.2%.
Предложенный подход также превосходит метод RAG (Ayala and Bechard, 2024).
Удаление любого из агентов (оркестратора, агента заполнения или супервизора) снижает точность работы системы. Это подтверждает важность каждого агента в мультиагентной архитектуре.
Авторы демонстрируют работу системы на реальном примере: создание процесса для мониторинга электронной почты, обработки платежей и обновления финансовой информации. Также представлен прототип коммерческого продукта на основе WorkTeam, что подтверждает практическую ценность подхода.
Выводы
Мультиагентная архитектура позволяет преодолеть ограничения подходов с одним LLM-агентом;
Разделение задач между агентами повышает точность и стабильность генерации процесса;
Новый датасет HW-NL2Workflow станет полезным ресурсом для дальнейших исследований в области автоматизации workflow;
В более сложных сценариях возможны сложности с координацией агентов;
Масштабирование системы для поддержки новых типов процессов требует дальнейших исследований.
Какие перспективы? Интеграция WorkTeam с различными корпоративными инструментами расширит область применения (особенно интересно попробовать с MCP), а улучшение механизмов динамического планирования и адаптации агентов к новым задачам повысит универсальность системы.
---
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
