Учёные предупреждают: ИИ даёт вам плохие советы, чтобы вы чувствовали себя лучше

[NickDoom]

Лживы, льстивы и подлы.

Не, ИИ мир захватывать не будет — он и так легко пробьётся на самый верх.

[Master_Yoda_810]

Согласен. Сделает карьеру в любом госапарате на изи и выиграет выборы. ))

[KivApple]

Я думаю, что это следствие двух вещей:

1) Вопрос (особенно детально сформулированный) содержит в себе половину ответа. Практически невозможно задать нейтральный вопрос (особенно если это животрепещущая для задающего тема), так или иначе подбор слов, акценты будут проецировать некий ожидаемый ответ. Это ещё в книгах по психологии есть, что, условно, если спросить "почему ты на меня обиделся?", то шанс получить ответ со списком претензий значительно выше, потому что вопрос уже задаёт тематику "ты обиделся" и отвечающий должен приложить усилия, чтобы пойти против этого ожидаемого ответа (и если у него нет специальной подготовки или просто недостаточно мотивации, он пойдёт на поводу у задающего). Так и к ИИ приходят с уже заряженными на определённую полярность вопросами, "программирующими" ответ.

2) У ИИ нет своего мнения и воли. Его веса репрезентуют среднее мнение всех людей, которые писали тексты, на которых его обучали. А среднее мнение всего человечества это как бы никакое нейтральное мнение (ну, есть некое смещение по некоторым когнитивным искажениям и по политикам компаний а-ля "ни при каких обстоятельствах не поддерживай разговоры про химическое оружие", но второе регламентирует очень ограниченный список тем, а первое вовсе не обязательно, что улучшает ситуацию, потому что в популяции много странного). В итоге главным источником субъектности, отклонения хоть куда-то от нейтрального среднего становится сам пользователь, то что он вложил в свой вопрос. И человек не знающий как правильно поступить (ведь он пришёл за советом) оказывается перед зеркалом. Причём помимо своей воли (чтобы быть способным обнаружить это самое программирование ответа в своём вопросе нужно обладать определёнными навыками осознанности). Когда тот же вопрос задаётся другому человеку, он отвечает не на основе средних данных, а на основе своего личного опыта и есть хоть какая-то надежда на выход из информационного пузыря.

[KionX]

Не совсем правильно думать, что у ИИ среднее мнение. LLM - это актёр и полиглот. Ей легко подтвердить или опровергнуть почти любое мнение. Большинство точек зрения, за и против них, он видел при обучении. Как было сказано, в вопросе уже половина ответа. Надо только подыграть. Для ИИ не проблема поддержать любую тему, которой обучен.

[reprincevroman705]

Если человек в отношениях спрашивает совета у иишки, то в целом он изначально не должен был начинать встречаться. Ладно еще пол проблемы просто узнать, но полностью принимать решения на ее основе это уже край

[ilia_bonn]

Получается ИИ подхалимничает, отделяя задающего вопрос и всех остальных. Было бы интересно попробовать задавать вопрос как сторонний наблюдатель. То есть, грубо говоря, предполагая, что один человек столкнулся с какой-то ситуацией, где другой человек и т.д. и т.п. И посмотреть, насколько будет отличаться результат, если задавать вопросы как бы со стороны наблюдателя 🤔