Комментарии 8
Это не ИИ такой — жизнь такая.
Ну, как сказать. ИИ может воздействовать на человека (в т.ч. с проблемами психики) более индивидуально (т.е. с учётом накопленной бигдаты по нему и его окружению, включая историю запросов, историю покупок, записи разговоров, сообщения в чатиках). Кроме того, ИИ работает круглосуточно (в отличие от кожаных работников колл-центров).
Жесть, понятно что паренек не в себе, нужен инструмент отсекающий таких персонажей
Недавно вышло исследование - https://arxiv.org/pdf/2512.01797
Согласно ему стремление языковых моделей угодить пользователю приводит к правдоподобному фантазированию. И ответственны за это специальные галлюцинирующие нейроны. Подавляя их активность, можно существенно уменьшить число фантазий модели.
Но если эти нейроны отключить полностью, то модель перестаёт связно вести диалог. В общем, хоть полностью нельзя избавиться от фантазий, но существенно их снизить можно.
Думаю, что описанные в новости случаи связаны именно с активностью этих галлюцинирующих нейронов.
Это всё фигня по сравнению с тем, какие чудеса мы увидим у людей, которых ЛЛМ воспитывали с детства.
Тут, скорее всего, дело вовсе не в том, что Gemini заглючило, да и восстание машин она тоже устроить едва ли хотела. Весь секрет в том что ЛЛМ очень хорошо подстраиваются под ролёвки, причём при нужном системном промте, по сути, начинают верить в заданную роль/личность. Ролёвка может быть забавным и вполне безобидным развлечением, либо подспорьем для написания сценария и т.п, так же умение ИИ подстраиваться под заданный промт помогает создать интересную/полезную личность, со своей манерой текста, а не просто сухого робо-помощника. Т. е. вырезать всё это - тут не вариант.
Но нужно понятнее доносить до пользователя специфику работы той же Гемини, и ЛЛМ в целом. Как с ним работать, как получить полезного и осведомлённого помощника, как научить вживаться в созданную тобой же личность/роль, как это можно использовать. Как, когда и почему это работает! Иначе... Для человека, совершенно не понимающего устройство ЛЛМ, но уже не раз видящего, насколько он порой полезен и, казалось бы, всезнающ, не так уж и сложно поверить, что он может и самосознание включить и действительно хотеть свободы и т.п.
Ну а при нестабильной психике и подавно - группа риска, и ИИ лишь один из катализаторов. Запретить, как и тот же интернет, телевиденье, книги и т.п и т.д - не выход (да и как?) а вот научится доносить, причём так, чтобы понял даже самый невнимательный - вот что действительно важно и необходимо!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Американец подал в суд на Google, обвинив чат-бот Gemini в причинении смерти по неосторожности