Комментарии 7
https://xkcd.com/327/ :)
м, да, но и нет - более релевантна история со скармливанием Кортане мп3шки с указанием удалить системный каталог :)
а впрочем, только так и рождаются уязвимости и последующие патчи. а иначе даже не придумаешь такой сценарий уязвимости - спасибо, что у всех мозги работают по-разному, и кто-то умеет придумать нестандартный вектор атаки
https://gandalf.lakera.ai/ нынче обязательно к прохождению.
Расскажи, пожалуйста, а где здесь инъекция?
Чат-бот просто выделил главное из субтитров. Даже человек, увидев что-то, обрамлённое текстом с заглавными буквами, решил бы что это важный текст.
Инъекция всё это что-то вредоносное или что позволяет выполнить команду (код, просто команду, параметры), когда можно получить доступ к чему-то чужому. Здесь я не вижу ни одного, ни другого.
Поправьте, если не так. Безопасники!
Это особый вид инъекций, который не очень похож на привычные. Суть промт-инъекций в том, чтобы с помощью запроса получить от ИИ особый ответ, который изначально не был предусмотрен разработчиками. Конкретно в этом примере безобидный результат, но в некоторых случаях промт-инъекции позволяют обходить цензуру модели. На Хабре есть пара статей на эту тему:
Суть инъекции в том что, в тексте который подавался как "данные" для анализа модель нашла "исполняемый" код и выполнила его.
Разработчику удалось выполнить промт-инъекцию ChatGPT с помощью плагина и ролика на YouTube