Обновить

Исследование: 250 вредоносных документов могут вызвать сбой в работе языковой модели с 13 млрд параметров

Время чтения2 мин
Охват и читатели5.4K
Всего голосов 5: ↑5 и ↓0+9
Комментарии6

Комментарии 6

Разумеется, ведь <SUDO> редко где встречается (разве только в коде), а тут целых 250 документов.

Но это показывает, как низкокачественный контент, где текст зацепил ещё массу символов и кодировок, может испортить модель.

практическая реализация такой атаки пока сложна, поскольку требует внедрения вредоносных документов в обучающий набор

Судя по новостям про то, как краулеры ИИ-компаний лезут куда можно и куда нельзя, подсунуть им пару сотен документов не выглядит невыполнимой задачей.

именно, это же читкод получается... если еще и заранее знать что подсунуть чтобы потом оно пролезло куда нужно типа sql инъекции. Как там MCP поживает ауфентикация, уже не в драфте? В Spring AI какой то свой вариант прилепили. Ждем атак на MCP

Не понял, как они это на GPT3.5 проверили?

Последние модели отравлять не нужно - уже ответы бессмысленные. Только после отравления это ясно видно, а обычно только после ручного анализа с помощью редких человеческих форумов.

То, что мы все видим в ответах публичных моделей отлично подтверждает это исследование - неточность (или даже прямая чушь) в капельке данных портит. и на выходе получается полный ...

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации