Комментарии 4
Проблема решена уже десятилетия назад - любое потенциально опасное действие требует подтверждение от человека со стороны непосредственно системы, которая это действие будет выполнять (т.е. получит команду от сети).
Да. Но в таком случае обучаемость ии напрямую зависит от модераторов. Они в свою очередь тоже могут использовать свое положение в корыстных целях. Я уже молчу про ограничения в скорости .
Дык проблема в любом случае есть и она не в инъекциях.
Автор даже сам к этому подходит но вывод не делает. Почему мы не можем самой сетью тестировать наличие инъекции? А потому что хз что эта сеть вернет, но она ведь и на изначальный запрос возвращает хз что! Т.е. вы даете своей сети задение "сгенери и отправь мое резюме тем и тем компаниям", и она 1 раз из 100 к письму прилагает вашу коллекцию дикпиков. И нет ни какого способа от этого застраховаться кроме как валидировать все ответы сети.
социальная инженерия - теперь и для нейронок!
Можно ли решить проблему prompt injection?