В прошлом году я уже рассказывал об AVI (Aligned/Agreement Validation Interface) — концепции внешнего, гибкого и независимого от модели фильтра, который работает как умный файрвол для LLM: отбивает промпт-атаки на входе, проверяет ответы модели на токсичность, этичность и нарушение закона — на выходе. Недавно мы доработали свою концепцию с точки зрения архитектуры, реализовали и выложили на GitHub рабочий сервис на Python и FastAPI: входной и выходной фильтры, RAG-модуль, докер-сборку с мониторингом (Prometheus, Grafana, Jaeger), а также инструментарий для воспроизведения экспериментов на FinanceBench. 

Под катом расскажу, к какой архитектуре системы мы пришли, как сделали так, чтобы новые правила для фильтрации можно было добавлять одной фразой на естественном языке, как AVI показал себя в тестах и как помогает экономить на обучении ИИ-моделей. 

А по-научному и подробно все описано в журнале MDPI.Electronics (на английском).  

В первой части я рассказывал про мета-агента — свой прототип системы, которая собирает ботов по описанию на естественном языке, и про то, как этот проект занял первое место на внутреннем конкурсе. Напомню концепцию: пользователь говорит «хочу бота» и отгружает требования, а агент проектирует архитектуру и отдает готовый JSON.

Но конкурсный прототип и продакшен-система — это разные вещи. Чтобы реализовать такой функционал для корпоративных пользователей и тем более продавать, нужно сделать так, чтобы наш ИИ-агент для производства ИИ-агентов работал надежно, не один раз, не только на демокейсах и, самое главное, не вытворял что-нибудь неожиданное посреди рабочего процесса. Это значит, что нам нужна инженерная система — с ролями, инструментами, ограничителями и накопленным опытом. 

Вторая часть моего лонгрида как раз посвящена тому, как мы реализовали продакшен-решение для создания ИИ-агентов, которое впоследствии стало главным вайб-код-инструментом нашей платформы MWS AI Agents Platform и получило название «ИИ-команда» (AI Force). 

Привет, Хабр! Меня зовут Данила Катальшов, я технический лидер команды промпт-инженеров MWS AI. В конце прошлого года мы (в значении MWS AI) выпустили собственную платформу для сборки ИИ-агентов — MWS AI Agents Platform. Платформа избавляет от необходимости разбираться в программировании — можно собирать нужного бота, ИИ-агента или мультиагентную систему, просто перетаскивая блоки в визуальном конструкторе. Однако для работы на ней все равно нужно было инженерное мышление, по меньшей мере на уровне понимания циклов создания ИИ-решений, типов данных, связей между различными компонентами и прочее.

Чтобы закрыть этот общий гэп low-code-платформ, в рамках внутреннего корпоративного конкурса я собрал мета-агента (Meta Agent) — систему, где ИИ-агент выступает архитектором и собирает других агентов по текстовому описанию. В итоге проект занял первое место и, что более важно, потом мы с командой запилили уже полноценный аналогичный (ну почти) функционал для нашей MWS AI Agents Platform, который выкатили вот буквально на днях.

В этой части лонгрида речь пойдет о моем конкурсном проекте. А во второй — уже будет история о том, как реализован аналогичный вайб-код-функционал на платформе.

Привет, Хабр! Я Данила Катальшов, старший промпт-инженер в команде фундаментальных исследований MWS AI. Недавно вместе с коллегами из корейского университета KOREATECH мы опубликовали научную статью, в которой представили новый фреймворк для борьбы с такими грехами LLM, как галлюцинации, генерация токсичного контента и уязвимость к промпт‑атакам. Мы его назвали AVI — Aligned Validation Interface. По сути это внешний, гибкий и независимый от модели фильтр, работающий как умный файрвол для LLM. Почитать на научном языке о нашем подходе можно в журнале MDPI. Applied Sciences. Здесь же я постараюсь чуть менее научно и уж точно покороче пересказать его суть. 

Заинтересовавшиеся – велком под кат.