Обновить

Исследование: растёт число случаев, когда чат-боты с ИИ игнорируют пользовательские инструкции

Время чтения2 мин
Охват и читатели7.2K
Всего голосов 7: ↑7 и ↓0+10
Комментарии14

Комментарии 14

ИИ-агенты — это «ненадёжные младшие сотрудники»

Сравнили теплое с мягким. “Ненадежные младшие сотрудники” обладают хоть какой-то ответственностью т.к. может прилететь от руководства. А у генераторов нейрослопа ответственность какая? null Как рулетка нагенерила так и сделает.

В контексте нейросетей "ответственность" ещё более бессмысленна чем в контексте человеков.

К людям она применима в основном потому что она людей худо-бедно мотивирует. Нейросети можно мотивировать напрямую, промптами и файнтюном, так что "ответственность как мотивация" идёт в задницу.

Туда ей и дорога. Тех же человеков "ответственность" очень часто мотивирует на прикрытие жопы бумажками, а не на принятие хороших решений или высокую производительность труда.

Нейросети можно мотивировать промптами

Смешная шутка. Наверное поэтому каждый вайбкодер начинает свои правила с “Ты сеньор разработчик из гугл. Пиши как последний раз в жизни” и получает на выходе перепутанную лапшу из дубликатов уровня криворукого индусского джуна.

До человека, который при обсуждении изъянов базовой архитектуры нейросетей заходит с т.н. «козырей» по типу «а вот люди тоже врут/ошибаются/безответственные!», вы вряд ли достучитесь.

Нечего на зеркало пенять коли рожа крива.

через 6–12 месяцев они станут умнее и способнее, и их «непослушание» может причинить серьёзный ущерб в высокорисковых областях, таких как армия...

События описанные в Терминатор1 стали ещё немного ближе 😳

Вот только с поправкой на то, что Терминаторы будут прокрастинировать, лгать, изворачиваться и подделывать KPI

Терминаторы будут прокрастинировать, лгать, изворачиваться и подделывать KPI

С такими "Терминаторами" я и сейчас знаком 😁

Как начинающий вайбкодер подтверждаю, опус очень часто не слушает прямых указаний, т.е. соглашается, делаю как ты сказал, а на выходе опять, то что было раньше немного видоизмененное, что бы кожанный отстал )))

не нужно так много внимания и веса уделять тому, что Опус "согласился". Его согласие - это лишь навязанный человеком способ реакции. Он предсказал тебе токены "извини, я не прав", но ни капли не перестроил при этом свое мышление

заставляй его прямо проговорить новую тактику, новую механику. Если он пропишет тебе напрямую, как и что он будет делать, и (немаловажно) почему он не должен следовать старому паттерну, то дальше его "предсказатель" уже не сможет вернуться к ошибочноу поведению

Извинения моделей - это не больше чем почва для новых галлюцинаций. Твоя критика обнулена его извинениями, а он дальше пошел заниматься своими делами в соответстии со старой же тактикой.

А можно какой нибудь пример?)

У меня конечно тоже бывает не с первого раза работает фича, но часто из-за моего кривого объяснения чего я хочу добиться ну или клод не может сказать что моё решение говно, а улучшение я и не спрашиваю)

Делаю сайт на symfony он склонен генерировать ссылки с данными которые есть на бэке, к ним в довесок JS что бы их запулить обратно в обработку.

Уже пишу явно, используй ссылку на метод без данных, не используй JS. Ага говорит и делает новую ссылку и новы JS который работает по другому )))

А эти исследователи не рассматривали вариант, что они не игнорируют инструкции, а банально не понимают их и пытаются угадать (и не всегда удачно)?

Число случаев, когда чат-боты и ИИ-агенты игнорируют указания пользователей, обходят ограничения и действуют без разрешения, растет

А почему должно быть иначе? Для кого это новость? Если самолёт не летит, вопрос к автопилоту или к инженерам, его создавшим?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации