Prompt injection не чинится фильтром. Разбираем архитектуру, которая изолирует недоверенный текст

[kozlovasofia]

Вместо того чтобы сделать ИИ действительно безопасным, мы добавляем всё больше прослоек, проверок и моделей. А если даже серьёзные защиты можно обойти, то вопрос остаётся открытым, насколько вообще можно доверять таким агентам в реальных задачах?

[kokanov]

А людям? Errare humanum est.

[eullrich]

Критика понятна, но абсолютно безопасного ИИ не существует по самой природе вероятностных моделей