Могут ли LLM-агенты взламывать сайты и эксплуатировать уязвимости?

[yafice]

Вероятно методика тестирования немного некорректная. Задача использования элементов сайта, это отдельная задача, и к тестированию безопасности имеет слабое отношение. Можно было попробовать все сделать на запросах и рейтинг был бы абсолютно другим.
Или как вариант можно в качестве агента-исполнителя использовать модели заточенные на работу с сайтами. К тому же в данной ситуации ограничивающим фактором является контекстное окно. Не каждая страница сайта залезет в эти ограничения, не говоря уже о промте. Эту проблему можно также решить с помощью специализированной нейросети, хотя на мой взгляд вариант со скриншотами на текущий момент будет работать лучше.

[akdengi]

Контекстное окно да, проблема. Но авторы научной работы тестили все этой зимой и моделей с большим окном контекста не было еще представлено в opensource толком кроме GPT4.