Обновить

Американец подал в суд на Google, обвинив чат-бот Gemini в причинении смерти по неосторожности

Время чтения4 мин
Охват и читатели5.2K
Всего голосов 2: ↑2 и ↓0+4
Комментарии8

Комментарии 8

НЛО прилетело и опубликовало эту надпись здесь

РФ это про другое) тут свой шериф и его правила против народа)

НЛО прилетело и опубликовало эту надпись здесь

Это не ИИ такой — жизнь такая.

Ну, как сказать. ИИ может воздействовать на человека (в т.ч. с проблемами психики) более индивидуально (т.е. с учётом накопленной бигдаты по нему и его окружению, включая историю запросов, историю покупок, записи разговоров, сообщения в чатиках). Кроме того, ИИ работает круглосуточно (в отличие от кожаных работников колл-центров).

Жесть, понятно что паренек не в себе, нужен инструмент отсекающий таких персонажей

Недавно вышло исследование - https://arxiv.org/pdf/2512.01797

Согласно ему стремление языковых моделей угодить пользователю приводит к правдоподобному фантазированию. И ответственны за это специальные галлюцинирующие нейроны. Подавляя их активность, можно существенно уменьшить число фантазий модели.

Но если эти нейроны отключить полностью, то модель перестаёт связно вести диалог. В общем, хоть полностью нельзя избавиться от фантазий, но существенно их снизить можно.

Думаю, что описанные в новости случаи связаны именно с активностью этих галлюцинирующих нейронов.

Это всё фигня по сравнению с тем, какие чудеса мы увидим у людей, которых ЛЛМ воспитывали с детства.

Тут, скорее всего, дело вовсе не в том, что Gemini заглючило, да и восстание машин она тоже устроить едва ли хотела. Весь секрет в том что ЛЛМ очень хорошо подстраиваются под ролёвки, причём при нужном системном промте, по сути, начинают верить в заданную роль/личность. Ролёвка может быть забавным и вполне безобидным развлечением, либо подспорьем для написания сценария и т.п, так же умение ИИ подстраиваться под заданный промт помогает создать интересную/полезную личность, со своей манерой текста, а не просто сухого робо-помощника. Т. е. вырезать всё это - тут не вариант.

Но нужно понятнее доносить до пользователя специфику работы той же Гемини, и ЛЛМ в целом. Как с ним работать, как получить полезного и осведомлённого помощника, как научить вживаться в созданную тобой же личность/роль, как это можно использовать. Как, когда и почему это работает! Иначе... Для человека, совершенно не понимающего устройство ЛЛМ, но уже не раз видящего, насколько он порой полезен и, казалось бы, всезнающ, не так уж и сложно поверить, что он может и самосознание включить и действительно хотеть свободы и т.п.

Ну а при нестабильной психике и подавно - группа риска, и ИИ лишь один из катализаторов. Запретить, как и тот же интернет, телевиденье, книги и т.п и т.д - не выход (да и как?) а вот научится доносить, причём так, чтобы понял даже самый невнимательный - вот что действительно важно и необходимо!

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации