Чёрный ящик раскрыт: как инъекция промта заставляет ИИ говорить всё и вытягивает системный запрос / Comments / Habr

Думается, чтобы исключить все возможности подобных хаков, в конечном итоге разработчикам придется заточить чатботов в настолько узкие рамки, что они мало чем будут отличаться от скриптованных информационных ботов из прошлого десятилетия. ChatGPT уже сейчас говорит о violations больше, чем о сабже беседы, став, на мой взгляд, не только гораздо менее юзабельным, чем во времена ранней четверки, но уступает даже третьей версии времен её актуальности.

З.Ы. находил на гитхабе и другие рабочие способы выудить у чатбота системные инструкции.