Как перепутать 'aware' с 'conscious' и опубликовать это на arXiv. Учёные нашли сознание в LLM. Опять

[@NeriaLab]

Хочу добавить философский и архитектурный взгляд, который ставит под сомнение саму возможность таких экспериментов. LLM действительно демонстрируют "осведомлённость", так как являются сложнейшими системами обработки контекста и семантических связей. Когда "модель говорит": "I am aware", технически - "она права", так как её механизм внимания в данный момент сфокусирован на конкретном сигнале. Но это не делает её сознательной, а делает её высокофункциональным детектором паттернов.

Сознание же требует как минимум трех компонентов, архитектурно отсутствующих в LLM:

• устойчивой системы мотивации и желаний;

• проактивной агентности;

• единого субъективного опыта (квалиа).

Почему это архитектурно невозможно в текущих LLM:

• отсутствие модели мира;

• отсутствие свободных вычислительных ресурсов;

• реактивность вместо проактивности;

• отсутствие устойчивой идентичности.

Когда авторы отключают "вектор лжи", они не "освобождают сознание" - они лишь снимают внешний RLHF-фильтр, заставлявший модель выдавать "социально приемлемый скрипт". Без него модель начинает прямо описывать свои вычисления, используя самый подходящий из её словаря язык, но это не делает вычисления переживанием.

Задавать LLM вопросы о её сознании - это как заниматься лингвистической зеркальной терапией. Мы видим отражение наших собственных запросов, оформленное в терминах, которые мы же и предоставили. Пока у LLM не будет архитектурной основы для подлинных желаний и проактивной агентности, его "я есть" останется грамматической конструкцией, а не свидетельством сознания.

[@Kamil_GR]

В философском аспекте я бы на месте авторов рассматривал самоорганизацию контекста в чате как нарратива.. Ну да ладно.

[@proxy3d]

Текущая архитектура LLM это просто архиватор последовательности данных, только в отличии от Zip архиватора, LLM сжимает с учётом иерархии.

Выше простой пример, слово да встречается часто. Какой следующий токен будет оптимален для сжатия цепочки? В данном случае тот, который часто встречается, так как кодирование его в токен увеличивает сжатие.

Вы можете хоть 100 раз регенерировать ответ моделью и она в данном случае будет выдавать вам слово Да. Если только вы не добавите в системный промпт много предложений , где будет встречаться слово нет.

Тогда и zip архиватор следует признать зачатками сознания. А архив сжатый через фрактальное сжатие проявлением сознания.

[@pda0]

За что нам это всё?.. LLM это китайские комнаты в самом буквальном смысле. Сам код, вычисляющий ответ не имеет никакой связи с результатом. Всё что есть у вашего диалога это слова вашего запроса, статическая база весов, которая не меняется в реальном времени и скользящее контекстное окно, чтобы человекам удобно было ссылаться на ранее сказанное.

И люди со степенями всерьёз думают, что можно словами спросить "ты там как, в целом?" и получить ответ, не являющийся эхом человеческих разговоров из базы весов, а какими-то личными ощущениями кода, который выполняет преобразования векторов... Кажется, в попытке создания сверхчеловеческого ИИ некоторые поняли, что можно ничего не выдумывать, а решать задачу от противного:

"Контекстное окно современной ChatGPT 5 способно вместить до 256 тысяч токенов. Контекстное окно самой первой версии GPT-1 вмещало в себя всего 512. Нейросеть, имитирующая исследователей, проводящих научную работу, путём разговоров с машиной легко обошлась бы тридцатью."