Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Информационная безопасность доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 1
Действительно нельзя складывать проценты обнаружения на разных уровнях защиты и выдавать полученное число за безопасность всей системы. Имеет смысл хранить каждого спорного запроса журнал, включающий исходный и нормализованный текст, решение каждого уровня и окончательный ответ. После изменения модели без такого набора будет сложно воспроизвести инцидент и определить, какой уровень пропустил угрозу. Возможно, полезно также раздельно оценивать конечные последствия, раскрытие персональных данных, иных данныз и выполнение недопустимого действия
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
FlautGuard: как мы построили многоуровневую защиту LLM от prompt injection и утечек данных