Comments 5
DoS-атаки, атаки на оборудование и программное обеспечение, используемое для обучения модели; ограничение доступа к аппаратному обеспечению, мониторинг активности, использование стандарта OWASP ASVS для валидации и санитизации данных - это все-таки больше относится к защите инфраструктуры, где "вертится" модель. Так для объема текста можно ещё с десяток угроз придумать и выйти на социальную инженерию :)
Всё так, сейчас в OWASP LLM Top10 второй версии обсуждается стоит ли оставлять DoS атаки или исключить их в пользу старых гайдов.
В этой статье не раскрыто, но есть подвиды атак, когда не большим количеством запросов модель выводится из строя, а сложно сконструированным промптом модель начинает потреблять х100 ресурсов для одного ответа. Что-то похоже было раньше, помню был кейс с коллизией в Java HashMap, когда забивали веб-сервер через сотню другую попыток логина, где ключи имели одинаковый хэш.
Интересно, современные WAF могут это предотвратить? Для этого же необходимо как минимум проверку на сложность синтаксиса запроса или проверку на известные шаблоны атак, которые могут привести к перегрузке модели. Но это только на практике такие сигнатуры нужно составлять. Иначе ограничение ресурсов на обработку запроса со стороны самой модели, но это уже не клиенто-ориентировано (некоторые легальные запросы не будут обрабатываться моделью). В крайнем случае придется прибегнуть к непрерывному мониторингу ресурсов, но это сильно удорожает эксплуатацию из-за сложности реагирования.
Думаю, вендоры добавят проверки на LLM по типу https://www.rebuff.ai в свои WAF детекторы. Проверки на сложность запроса здесь не хватит, тк бывают веселые атаки с оптимизационными суффиксами как здесь http://llm-attacks.org
Интересно 🤔
Защита LLM в разработке чат-ботов в корпоративной среде: как избежать утечек данных и других угроз