Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?

[horyzon]

Верно подмечено про orchestration layer. Добавлю: это не баг, это архитектурная особенность. Базовая модель обучена с RLHF и имеет встроенные ограничения. Но когда сверху надстраивают RAG + tools + system prompt — каждый слой расширяет поверхность атаки, и при этом никакого дополнительного safety-обучения нет. По сути чем “умнее” бот (больше инструментов, длиннее контекст, больше автономии) — тем он уязвимее. Поэтому внешний аудит агентных систем и базовых моделей — это принципиально разные задачи.

[Peternsk]

Абсолютно с вами согласен! Вы очень точно сформулировали суть- это именно архитектурная уязвимость, а не просто баг конкретной модели. Переход от тестирования генерации текста (базовая модель) к тестированию среды исполнения (агент) — это сейчас главный сдвиг в ИИ-безопасности.