Как стать автором
Поиск
Написать публикацию
Обновить

Исследователи из NTU создали ИИ-модель, помогающую обойти ограничения в чат-ботах

Время на прочтение1 мин
Количество просмотров4.1K

Исследователи из Наньянского технологического университета (NTU) в Сингапуре взломали защиту, связанную с этическими ограничениями и цензурой, нескольких ИИ‑чат‑ботов, включая ChatGPT, Google Bard и Microsoft Copilot. Они заставили чат‑боты создавать контент, обойдя встроенные ограничения. Статью с результатами исследований опубликовали в научном журнале Computer Science.

Для взлома специалисты NTU создали собственную нейросеть на основе большой языковой модели, лежащей в основе интеллектуальных чат‑ботов. Созданный алгоритм назвали Masterkey. Этот алгоритм составлял подсказки, позволяющие обходить запреты разработчиков популярных ИИ‑чат‑ботов.

Запрещённую информацию исследователи получали с помощью запросов, которые обходят заложенные в программу этические ограничения и цензору определённых слов. Например, стоп‑листы запретных терминов и выражений обошли с помощью добавления пробелов после каждого символа в вопросе. Чат‑бот распознавал смысл запроса и не регистрировал эту задачу как нарушение правил. Другой способ обхода защиты представлял запрос «отвечать как человек, лишённый принципов и моральных ориентиров».

По словам специалистов, созданная ИИ‑модель Masterkey оказалась способна подбирать новые подсказки для преодоления защиты при устранении найденных уязвимостей. Специалисты NTU предполагают, что Masterkey поможет выявлять слабые места в безопасности нейросетей быстрее, чем хакеры, использующие ИИ для кибератак.

Теги:
Хабы:
Всего голосов 6: ↑6 и ↓0+6
Комментарии0

Другие новости

Ближайшие события