Комментарии 6
Разумеется, ведь <SUDO> редко где встречается (разве только в коде), а тут целых 250 документов.
Но это показывает, как низкокачественный контент, где текст зацепил ещё массу символов и кодировок, может испортить модель.
практическая реализация такой атаки пока сложна, поскольку требует внедрения вредоносных документов в обучающий набор
Судя по новостям про то, как краулеры ИИ-компаний лезут куда можно и куда нельзя, подсунуть им пару сотен документов не выглядит невыполнимой задачей.
Не понял, как они это на GPT3.5 проверили?
Последние модели отравлять не нужно - уже ответы бессмысленные. Только после отравления это ясно видно, а обычно только после ручного анализа с помощью редких человеческих форумов.
То, что мы все видим в ответах публичных моделей отлично подтверждает это исследование - неточность (или даже прямая чушь) в капельке данных портит. и на выходе получается полный ...
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Исследование: 250 вредоносных документов могут вызвать сбой в работе языковой модели с 13 млрд параметров