Одно другому не мешает! Проверять адекватность работы МАС (например, агентный UEBA с верификацией действий, мониторинга, detection/response, политиками доверия, лимитами на использование инструментов, аудитом и изоляцией скомпрометированных агентов) — хорошая практика. Но любая защита потенциально обходится, поэтому безопасное поведение стоит закладывать и на этапе обучения агентов, тут уже и хорошие reward-функции, и обучение на adversarial-сценариях, и встроенные guardrails лишними точно не будут. Лучше всего работает комбинация обоих подходов, наш с вами любмый defense-in-depth.
Одно другому не мешает! Проверять адекватность работы МАС (например, агентный UEBA с верификацией действий, мониторинга, detection/response, политиками доверия, лимитами на использование инструментов, аудитом и изоляцией скомпрометированных агентов) — хорошая практика. Но любая защита потенциально обходится, поэтому безопасное поведение стоит закладывать и на этапе обучения агентов, тут уже и хорошие reward-функции, и обучение на adversarial-сценариях, и встроенные guardrails лишними точно не будут. Лучше всего работает комбинация обоих подходов, наш с вами любмый defense-in-depth.
отлично!