Комментарии 14
ИИ-агенты — это «ненадёжные младшие сотрудники»
Сравнили теплое с мягким. “Ненадежные младшие сотрудники” обладают хоть какой-то ответственностью т.к. может прилететь от руководства. А у генераторов нейрослопа ответственность какая? null Как рулетка нагенерила так и сделает.
В контексте нейросетей "ответственность" ещё более бессмысленна чем в контексте человеков.
К людям она применима в основном потому что она людей худо-бедно мотивирует. Нейросети можно мотивировать напрямую, промптами и файнтюном, так что "ответственность как мотивация" идёт в задницу.
Туда ей и дорога. Тех же человеков "ответственность" очень часто мотивирует на прикрытие жопы бумажками, а не на принятие хороших решений или высокую производительность труда.
через 6–12 месяцев они станут умнее и способнее, и их «непослушание» может причинить серьёзный ущерб в высокорисковых областях, таких как армия...
События описанные в Терминатор1 стали ещё немного ближе 😳
Как начинающий вайбкодер подтверждаю, опус очень часто не слушает прямых указаний, т.е. соглашается, делаю как ты сказал, а на выходе опять, то что было раньше немного видоизмененное, что бы кожанный отстал )))
не нужно так много внимания и веса уделять тому, что Опус "согласился". Его согласие - это лишь навязанный человеком способ реакции. Он предсказал тебе токены "извини, я не прав", но ни капли не перестроил при этом свое мышление
заставляй его прямо проговорить новую тактику, новую механику. Если он пропишет тебе напрямую, как и что он будет делать, и (немаловажно) почему он не должен следовать старому паттерну, то дальше его "предсказатель" уже не сможет вернуться к ошибочноу поведению
Извинения моделей - это не больше чем почва для новых галлюцинаций. Твоя критика обнулена его извинениями, а он дальше пошел заниматься своими делами в соответстии со старой же тактикой.
А можно какой нибудь пример?)
У меня конечно тоже бывает не с первого раза работает фича, но часто из-за моего кривого объяснения чего я хочу добиться ну или клод не может сказать что моё решение говно, а улучшение я и не спрашиваю)
А эти исследователи не рассматривали вариант, что они не игнорируют инструкции, а банально не понимают их и пытаются угадать (и не всегда удачно)?
Число случаев, когда чат-боты и ИИ-агенты игнорируют указания пользователей, обходят ограничения и действуют без разрешения, растет
А почему должно быть иначе? Для кого это новость? Если самолёт не летит, вопрос к автопилоту или к инженерам, его создавшим?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Исследование: растёт число случаев, когда чат-боты с ИИ игнорируют пользовательские инструкции