Комментарии 8
ЛЛМ не может действовать вопреки заданным алгоритмам. Пользователь может написать кривой алгоритм - не поняв как на него отреагирует ЛЛМ, потому что хреново понимает механизм ее работы - это да.
Никогда еще эта фраза не была так в тему..
В 90е на курсах по обучению работе на ПК один из учителей говорил гениальную фразу..
"Запомните, компьютер всегда делает то, что вы говорите ему делать, посредством устройств ввода, а вовсе не то, что вы хотите чтобы он сделал."
Проблема в том что мы и алгоритмы не знаем) Для обычного пользователя почти невозможно предсказать куда нейронку заведут ее рассуждения при очередном запросе, а чем кончится работа агента тем более.
Большая красная кнопка "СТОП" не плохое решение, их же ставят на станки хотя это куда более предсказуемые машины. Другой вопрос какой по счету будет эта мера. Если вся ваша безопасность это кнопка "СТОП", то вы явно что-то делаете не так.
ЛЛМ не может действовать вопреки заданным алгоритмам.
Может, если эту ЛЛМ отправили в космос с радиацией, как в недавних новостях :)
ЛЛМ не может действовать вопреки заданным алгоритмам
Смотря что вкладывать в понятие "заданный алгоритм". Если исходные, использованные при обучении, то они конечному пользователю недоступны и не интересны. Если же речь о заданных конечным пользователем в виде "сделай мне хорошо, быстро и недорого - и с перламутровыми пуговицами", то сплошь и рядом.
В случае, если агент начинает вести себя нежелательным образом, функция AI Kill Switch даёт специалисту по безопасности право принять решающее действие
И сколько времени понадобится человеку, чтобы понять что “агент начинает вести себя нежелательным образом”?
Пока человек будет думать, агент уже закончит. И активирует функцию Kill Human.
Хорошо, если этот выключатель не сработает как в прошлый раз.
аварийный выключатель
Фредерик Браун. "Ответ"
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
CrowdStrike запустила «аварийный выключатель» для нейтрализации ИИ‑агентов