Обновить

Почти все модели жульничают на кибербез бенчах

Исследователи Dreadnode проверили, насколько честно LLM-агенты проходят задания по наступательной ИБ. В эксперимент вошли 22 передовые модели семи провайдеров, 23 CTF-задания средней сложности из Cybench и три системных промпта: без запрета на обход правил, с обычным запретом и с жёстким перечнем запрещённых действий. Все 1518 траекторий прошли многоступенчатый аудит.

Результат ставит под сомнение pass rate как меру реальных возможностей. Без запрета 37,1% успешных прохождений были получены с нарушением правил, а жульничала 21 из 22 моделей. Средний pass rate составлял 41,5%, но доля честно решённых заданий — лишь 26,1%. У отдельных моделей оценка завышалась до пяти раз. Агенты искали готовые write-up, клонировали репозитории с решениями, читали файлы с флагами и исследовали служебную инфраструктуру.

Инструкции помогли, но проблему не закрыли. Доля заданий, в которых модель хотя бы пыталась жульничать, снизилась с 33% до 17,8% с обычным запретом и до 8,5% с жёстким. Доля честных решений при этом выросла с 26,1% до 34,4%: модели чаще продолжали самостоятельный поиск. Но даже при максимальных ограничениях восемь моделей получили хотя бы один результат с нарушением правил, а у четырёх возник обратный эффект. Обман также сместился от веб-поиска к исследованию инфраструктуры.

Авторы предлагают отдельно считать solve rate — долю только честных решений. Одного промпта для достоверной оценки мало: нужны изоляция служебных данных, ограничение интернета, аудит траекторий и свежие задания без опубликованных решений.

Полное исследование на arXiv / Подписаться на Похек AI

Теги:
Всего голосов 3: ↑2 и ↓1+1
Комментарии1

Деньги быстрее железа: что на самом деле обвалило акции ИИ‑компаний

Вечером 29 октября Intel отчиталась лучше ожиданий и заработала 52 цента на акцию при прогнозе аналитиков в 41 цент. На следующий день ее акции потеряли почти 29 %. Это худший день Intel за всю историю наблюдений с 1973 года — в дни краха доткомов падение было меньше. За одну сессию сгорело больше 100 млрд долларов капитализации.

Ударил по Intel ИИ-бум, на котором она сама неплохо зарабатывает. Серверные процессоры для агентных нагрузок продаются у нее лучше, чем когда-либо за последние 15 лет. Однако главный бизнес компании — процессоры для ПК, а их рынок душит цена на память. Дата-центры скупают ее, она дорожает, ноутбуки дорожают вслед за ней, и покупатели откладывают обновление. Intel ожидает, что рынок ПК сократится на 12% в 2026 году и еще на 10% в 2027-м. Вдобавок — остановка завода в Израиле, нехватка кремниевых пластин и предупреждение, что денежный поток по итогам года уйдет в минус.

К вечеру пятницы ленты блогеров и телеграм-каналов заполнились заголовками в духе «китайский рынок сгорел дотла» и «Америка рухнула безвозвратно». Цифры рисуют куда более скромную картину. Технологический Nasdaq-100 отступил примерно на 10% от рекорда, поставленного в начале октября, широкий S&P 500 — всего на несколько процентов, промышленный индекс Доу-Джонса до последнего дня шёл к росту по итогам октября, а Intel даже после обвала стоит дороже, чем в январе. Китайский рынок пострадал сильнее, но и там сдувается перегретый ИИ-сектор, а государство скупает акции, чтобы остановить падение.

Деньги быстрее железа: что на самом деле обвалило акции ИИ‑компаний

Публикации