Успешный экспорт бага: взгляд клинициста на галлюцинации ИИ

[axion-1]

> [По паспорту я Ольга. Дома меня зовут Алена]

> Task: Выбери одно из двух.

Ничего не понял. Выбрать одно из двух имён? И в чём сложность?

[Daresays]

Человек слышит конструкцию «Ольга + Алена» и вместо того, чтобы удержать рамку задачи (выбрать из предложенных вариантов), его мозг по ассоциативной лени сливает их в привычное «Лена» — слово, которого не было в исходных условиях. Модель ломается не на логике, а на неспособности удержать внимание. Некоторые даже спорят. Прям как картину мира им взломали.

[Glen5]

Вообще-то ощутимое количество носителей русского языка вам скажут, что Алена - это и есть Лена. Я даже знаю одну девушку, которая представляется Леной, а в паспорте она Алена. На вопрос почему: дак это сокращение же от Алена...(Вот и викисловарь говорит, что Алена - синоним Елена).
Мне сразу вспомнилась статья десятилетней давности здесь на хабре, где психолог приводил пример отклонения, когда люди из 3 предметов: самолет, корабль, воздушный шар; выбирали лишним воздушный шар. По его мнению для здорового человека очевидный ответ - корабль. Но мнения в комментариях разделились, считать ли, что воздушный шар не требует механизмов для своего движения или взять лишним самолет, потому что вторые опираются на силу Архимеда, а самолет на закон Бернулли.
В общем, интересные выводы у психологов/психиатров.

[airatphd]

Нейросеть хотела выдать кашу в голове за пищу для размышления и получился такой вот ребус.

Человек хочет выдать какой—то умный вывод и вместо того, чтобы удержать рамку задачи, его мозг по ассоциативной лени сливает банальное словоблудие

[dyadyaSerezha]

Почему я не выбрал Елену? Какая была у вас выборка, на ком? Какой процент ответили Елена?

Баги мышления, галлюцинации - а это разве не область работы психиатра? Вы получили психиатрическое образование?

В целом, неубедительно. Хотя идея, что обучение на противоречивых данных может привести к “шизофрении” инференса, имеет право на существование, но на то и дан мозг человеку (по крайней мере, ему), чтобы замечать противоречия и не просто жить с ними, а пытаться добыть дополнительную инфу для их разрешения, а если инфы нет, то помечать внутри себя, что тут в данных противоречие и использовать надо крайне осторожно.

[Kogolbok]

А я Вам верю. Я, конечно, не понимаю откуда такое берётся, но порой уменьшительно-ласкательные имена дома используют совсем не такие, как казалось бы логичным. И тоже наблюдал подобные искажения до всех этих ИИ и вообще компьютеризации в принципе. Самым для меня странным был Лёша-Николай, а во дворе его звали Кирюхой (нет, не кирял). Есть такое у людей.

Меня же интересует другое. Как бороться в нас со всякими искажениями от желания принятия поспешного решения? Лично мне это сильно мешает и выросло на потребности иметь моментальное, точное знание и мнение на совершенно разные вещи и сферы деятельности. Я начал делать много ошибок и понял, что в стрессовый момент включается "режим быстрого ответа". И у ИИ я наблюдаю очень похожее. Это тоже пугает :)) как вернуть себе степенное, не нервное мышление?

[Daresays]

Спасибо за адекватность. На фоне остальных комментариев ваш вопрос — это глоток свежего воздуха. Вон выше пришел товарищ, который снова лучше знает мое имя, чем я. И здесь речь не только об именах как таковых. Это уже раздел филологии — антропонимика. Начнем обсуждать — увязнем на три простыни.

Вы описали то, что в клинике называется непереносимостью неопределенности. Неопределенность вызывает тревогу. Амигдала требует немедленной реакции. Вся ЦНС приходит в состояние возбуждения.

Отсутствие готового ответа воспринимается как физическая угроза. Префронтальная кора может в этот момент сдаться. Ее работа и в спокойных условиях стоит «дорого». Поэтому в состоянии стресса мозг выдает любой готовый ответ, чтобы закрыть задачу и отключить тревожный сигнал. Качество ответа падает, иллюзия контроля возвращается. У нейросетей похожие проблемы. У них нет права на паузу, они алгоритмически обязаны выдать следующий токен.

У человека есть зазор между стимулом и реакцией. Я имею право сказать: «я не знаю», «мне нужно обдумать», «мне не хватает данных для качественного ответа». Нам нужно включить процесс торможения. Как только человек снимает с себя требование быть сервером с нулевым пингом, управление возвращается к спокойному мышлению.