Prompt injection не чинится фильтром. Разбираем архитектуру, которая изолирует недоверенный текст

[kozlovasofia]

Вместо того чтобы сделать ИИ действительно безопасным, мы добавляем всё больше прослоек, проверок и моделей. А если даже серьёзные защиты можно обойти, то вопрос остаётся открытым, насколько вообще можно доверять таким агентам в реальных задачах?

[kokanov]

А людям? Errare humanum est.

[eullrich]

Критика понятна, но абсолютно безопасного ИИ не существует по самой природе вероятностных моделей

[AlexeyChijov]

Прикладные полезные подходы как противостоять Prompt injection. Статей про это много, но здесь я увидел для себя новые решения.