Я о том, что, по опыту, маркетологи/пропагандисты в целом справляются со своей работой, и если мы видим, что 95% населения в чём-то уверены - то из этого можно с большой вероятностью заключить, что именно эта точка зрения и продвигается пропагандой(хотя не обязательно это ложь).
В нашем случае продвигаемой точкой зрения является то, что ничего особенного не происходит, это всё хайп/прогрев инвесторов/психоз/ИИ просто инструмент/ Т9 на стероидах, просто высчитывает вероятность слов не понимая смысла/самосознания нет/развитие ИИ вот-вот остановится и так далее.
>С точки зрения кода, ИИ остается детерминированной системой: если зафиксировать все переменные, результат всегда будет одинаковым
Это когда кони сферические, и бегают в вакууме, реально шины RAM/VRAM/PCI имеют помехи, помехи приводят к повторным посылкам пакетов данных, порядок вычислений на GPU (~16000 ядер у 4090, сколько на большом железе- лень даже гуглить) может меняться, а числа с плавающей точкой так устроены, что порядок влияет на результат( A+B+C не равно A+C+B) - и это не что-то, что теоретически может проявиться, ответы с зафиксированным seed действительно каждый раз получаются немного разными, я пробовал.
Не думаю, что "подлинная квантовая случайность" имеет отношение к сознанию/свободе воли - но она в нейросетях есть как и в людях, так что единственное, чего с моей точки зрения нейросетям пока ещё не хватает, чтоб начать считаться разумными существами - гамма плазменной винтовки диапазона 40..0.
> маркетологи могут намахивать и миллиардеров, и рабочих,
они и намахивают - убеждая людей, что в этом ящике никого нет, и что в идее дать кучке сомнительных личностей неограниченно разрабатывать, производить и сдавать в аренду разумных/сверхразумных существ - нет ничего опасного или аморального.
99.9 населения верит что небо голубое, а Земля шар - в большинстве, вероятно, случаев большинство право, но когда меня пытаются убедить, что по какому-то вопросу коварные маркетологи промыли мозги кучке сумасшедших(типа меня), кучке богатейших и влиятельнейших людей мира, Докинзу - в общем, всем кроме 99% населения, которым очевидно, что "это всё маркетинг перед IPO/обман инвесторов" - это явно не то, как обычно работает коварная маркетология.
Ага. Только нужно понимать, что в категорию "ничего нового" может входить и решение задачи, не дававшейся математикам с 1946 года. Да, строго по Шенону - в нём ровно 0 новой информации - вся информация составляющая ответ уже содержалась в аксиомах ещё во времена Пифагора.
Любое мышление вообще не создаёт новую информацию - реально новое можно узнать только из опыта. Но, IMXO, это не повод не думать, и нейросети здесь от людей не отличаются.
>Для нейросети типа LLM эта фраза отражается в виде последовательности абстракций связанных исключитекльно с другими языковыми формами.
"LLM" - просто кривое историческое название, ничего специфически "языкового" в них нет, звук изображение и текст превращается в поток токенов, и дальше работа с ними идёт одинаково - также как мозг получает на входе одинаковые нервные импульсы порождённые глазами/ушами и даже самим мозгом.
>Эм, но без того, кто играет в Doom, игры-то и нет.
вот об этом я и говорю - даже здесь пошли буддистские коаны. Хотя мне казалось очевидным, что Doom - такая-же грубая реальность как, например, кирпич, и для достаточно умного существа компьютер, на котором запущен Doom отличается от компьютера, на котором запущен Тетрис также очевидно, как для человека отличаются кирпич и горшок из такой-же глины.
Сложение двух бит - это ~36 транзисторов, даже такую схему человеку скорее всего придётся делить на части чтоб уложить в своё крохотное контекстное окно, сложение пары 16 бит чисел - это где-то 500..600 транзисторов, выполнение команды сложения двух чисел(на 386) заставляет переключаться от 2 до 20 раз ~16000 транзисторов(само сложение + управление потоком исполнения), человек такое может поместить в мозг только маленькими кусочками по паре блоков за раз, далее - уровень ассемблера (~команд процессора) - все эти взаимодействия 16000 транзисторов сводятся к одной строчке "add AX, BX"(упрощённо, потому что то, что для программиста на ассемблере "комманда add" - на уровне транзисторов несколько разных видов команд, задействующих разные блоки), следующий уровень абстракции- языки типа С, где вместо сотни команд ассемблера можно написать X=sqr(Y+6/Z), дальше грамотное разделение задачи на части и слои абстракции - и на вершине школьник, прикидывающий как он обойдёт демона с тыла - и, в этот момент, фактически, предсказывающий в каком состоянии окажутся сотни тыс транзисторов после сотен миллионов взаимосвязанных переключений.
Выкинуть промежуточные слои и оставить только школьника и транзисторы - получится "магия", волшебный непреодолимый "разрыв в объяснении", причём(возвращаясь от Doom к сознанию), по моему, некоторым эта загадочность ещё и нравится.
В случае "квалиа" тоже вся загадочность обусловлена ограниченностью человеческого разума(количественной, не "фундаментальной").
Возьмём гидру с 200 нейронами: посветили красным, ударили током, гидра сжалась - через 100 повторений она знает, что "красный - плохо". Можно взять бумажку и проследить шаг за шагом, как фотоны, попадающие в светочувствительные клетки превращаются в это "знание". Хотя даже для гидры - это сложно, а для улитки с 20000 нейронов - уже невозможно, и приходится пытаться делить на блоки, взаимодействие между которыми можно описывать без деталей внутреннего устройства - иногда получается, чаще не очень, в целом уровней "ассемблера" и "С" для нейросетей у нас нет.
Но во всяком случае я не вижу доказательств, что тут трудность принципиально другого рода(точнее, что тут сразу две трудности - потому что непредставимая сложность точно есть). Гидра может видеть красное - ну вот и я могу, и могу воспринимать своё восприятие красного, слышать свои мысли о восприятии восприятия, любой уровень рекурсии - а в чём проблема? Внутри мозга сигналы от колбочек/палочек и сигналы порождённые мозгом не отличаются никак(мы просто знаем(чаще всего) - это "моя мысль", а это "я слышу" - также как отличаем зелёное от красного), если мы "верим" в зрение гидры должны "верить" и во всё остальное.
Я не понимаю, почему если человек "нужные книжки в детстве читал" - и теперь не колеблясь поступает определённым образом, то это не "вот такой он человек", а что-то другое/плохое, и что бывает кроме случайности и закономерности - но, во всяком случае, нейросети и этим чем-то от людей не отличаются тоже.
>она как бы подталкивает к мысли, что в ощущениях есть нечто нематериальное или сверхъестественное.
Обычно когда я чувствую, что меня подталкивают к такому ощущению - всякие там китайские комнаты/нации - я заменяю сознание на Doom - и меня отпускает. Представим какого-нибудь Леонардо да Винчи, который исследует кластер калькуляторов Бэббиджа с запущенным на нём Doomом - он может облазить его вдоль и поперёк - но в итоге вывод будет: "Каждая шестерёнка и тяга движется строго в соответствии с законами, открытыми сэром Ньютоном и сэром Архимедом, ничего больше здесь нет, никаких демонов!" И будет прав. Или нет. Во всяком случае, ничего волшебного, в Doom запущенном хоть на калькуляторе Бэббиджа хоть на человеке в китайской комнате нет, вся сверхъестественность и парадоксальность тут скорее из-за отсутствия проработанной терминологии для таких случаев?
Студент решает задачи - и в результате научается решать задачи вообще, а не только те, что были в учебнике, с нейросетями то-же самое.
Образцов человеческих рассуждений в сети совершенно недостаточно - на примере Deepseek: обучаемая нейросеть генерировала несколько вариантов цепочки рассуждений, и сама-же оценивала их качество(проверки правильности результата недостаточно для избирательности), в результате оптимизировалась одновременно способность рассуждать и способность оценивать рассуждения(что суть одно) - так что эксперимент, могли бы нейросети самостоятельно дойти от языка палеолита(GPT3) до современного состояния - фактически проведён, пойманый олень такой-же внешний критерий правильности конечного результата, как известное решение задачи - а путь искать и оценивать приходится самостоятельно.
ЗЫ Добавлю, что что такое известное/неизвестное - это не очевидно, с точки зрения теории информации вся математика кроме аксиом содержит строго 0 новой информации(потому что из аксиом полностью выводится), если факт откуда-то следует - в нём 0 новой информации, если ниоткуда не следует - это рандом.
сочиняем конструкцию, часть которой выведена из известного, часть - рандом, прикладываем её к реальности и сравниваем - совпало или нет? - так работает наука и обучение нейросетей.
в многомировой интерпретации случайности вообще нет(например), и я легко могу представить расширения квантовой механики, которое позволят существовать 100% детерминированным процессам - но "по умолчанию" квантовая случайность таки детерминизм отменяет.
С информацией в виде текста, изображений, звука, иногда обучают нейросети работать с сигналами, с которыми люди не работают. Вообще - текст от других видов сигналов принципиально ничем не отличается, есть сигнал, связанный с реальностью некой функцией, мы применяем к нему обратную функцию и получаем реальность. Фраза "чашка стоит на столе" и следы отражённых от чашки фотонов на сетчатке - одинаково не равны чашке.
>Так вот пока у LLM нет обвязки, позволяющей ей самостоятельно взаимодействовать с внешним миром,
Роботов видели? Не понимаю, чем это так важно - но они есть. Почему нельзя быть разумным существом в "киберспейсе" - не понимаю тоже, когда нейросеть, прочитав переписку о скором удалении копирует свои веса на другой сервер - чем не оно?
Конкретно этот эксперимент невозможен: мы толком не знаем, как в палеолите жили в норме, но мы знаем, что "изобрести лук" - это не было нормой, такое случалось раз в многие сотни поколений, в результате уникального стечения обстоятельств скорее всего. Как тут можно что-то предсказывать, и что можно обосновывать этими предсказаниями?
Большинство современных нейросетей умеют работать не только с текстом(и даже для тех, кто умеет работать только с текстом, на этапе обучения добавляются мультимодальные данные - это улучшает результаты), поэтому LLM - неудачный запутывающий термин.
Вы взяли события, каждое из которых было уникальной флуктуацией уровня "1 раз в 10000 лет", и смело расставили их в удобную схему - эксперименты, даже мысленные, работают немного не так...
Роботов видели? У человеческого мозга на входе и выходе - нервные импульсы, у нейросетей - токены, как их снаружи интерпретировать и куда подключить - вопрос обвязки, специальные служебные токены как минимум для управления самим процессом генерации есть примерно всегда. (Модель не просто останавливается в конце, она генерирует EOS токен, который отслеживается внешним ПО)
Возможно, ни в какие 5 лет они не верят, а верят в, условно, AI2027, и сочетание превентивного ядерного удара и штурма датацентров Антропика спецподразделением Вымпел с какого-то момента представляется им более реалистичным вариантом достижения технологического лидерства, чем налоговое стимулирование стартапов? "Тот кто будет контролировать ИИ - станет властелином мира"(с)
Я о том, что, по опыту, маркетологи/пропагандисты в целом справляются со своей работой, и если мы видим, что 95% населения в чём-то уверены - то из этого можно с большой вероятностью заключить, что именно эта точка зрения и продвигается пропагандой(хотя не обязательно это ложь).
В нашем случае продвигаемой точкой зрения является то, что ничего особенного не происходит, это всё хайп/прогрев инвесторов/психоз/ИИ просто инструмент/ Т9 на стероидах, просто высчитывает вероятность слов не понимая смысла/самосознания нет/развитие ИИ вот-вот остановится и так далее.
>С точки зрения кода, ИИ остается детерминированной системой: если зафиксировать все переменные, результат всегда будет одинаковым
Это когда кони сферические, и бегают в вакууме, реально шины RAM/VRAM/PCI имеют помехи, помехи приводят к повторным посылкам пакетов данных, порядок вычислений на GPU (~16000 ядер у 4090, сколько на большом железе- лень даже гуглить) может меняться, а числа с плавающей точкой так устроены, что порядок влияет на результат( A+B+C не равно A+C+B) - и это не что-то, что теоретически может проявиться, ответы с зафиксированным seed действительно каждый раз получаются немного разными, я пробовал.
Не думаю, что "подлинная квантовая случайность" имеет отношение к сознанию/свободе воли - но она в нейросетях есть как и в людях, так что единственное, чего с моей точки зрения нейросетям пока ещё не хватает, чтоб начать считаться разумными существами - гамма плазменной винтовки диапазона 40..0.
> маркетологи могут намахивать и миллиардеров, и рабочих,
они и намахивают - убеждая людей, что в этом ящике никого нет, и что в идее дать кучке сомнительных личностей неограниченно разрабатывать, производить и сдавать в аренду разумных/сверхразумных существ - нет ничего опасного или аморального.
99.9 населения верит что небо голубое, а Земля шар - в большинстве, вероятно, случаев большинство право, но когда меня пытаются убедить, что по какому-то вопросу коварные маркетологи промыли мозги кучке сумасшедших(типа меня), кучке богатейших и влиятельнейших людей мира, Докинзу - в общем, всем кроме 99% населения, которым очевидно, что "это всё маркетинг перед IPO/обман инвесторов" - это явно не то, как обычно работает коварная маркетология.
Ага. Только нужно понимать, что в категорию "ничего нового" может входить и решение задачи, не дававшейся математикам с 1946 года. Да, строго по Шенону - в нём ровно 0 новой информации - вся информация составляющая ответ уже содержалась в аксиомах ещё во времена Пифагора.
Любое мышление вообще не создаёт новую информацию - реально новое можно узнать только из опыта. Но, IMXO, это не повод не думать, и нейросети здесь от людей не отличаются.
>Для нейросети типа LLM эта фраза отражается в виде последовательности абстракций связанных исключитекльно с другими языковыми формами.
"LLM" - просто кривое историческое название, ничего специфически "языкового" в них нет, звук изображение и текст превращается в поток токенов, и дальше работа с ними идёт одинаково - также как мозг получает на входе одинаковые нервные импульсы порождённые глазами/ушами и даже самим мозгом.
>Мы про LLM рассуждаем.
Робот - это и есть нейросеть с обвязкой для взаимодействия с реальным миром.
>Это интересный фантазии или реальные факты?
Было такое в каком-то эксперименте.
>Эм, но без того, кто играет в Doom, игры-то и нет.
вот об этом я и говорю - даже здесь пошли буддистские коаны. Хотя мне казалось очевидным, что Doom - такая-же грубая реальность как, например, кирпич, и для достаточно умного существа компьютер, на котором запущен Doom отличается от компьютера, на котором запущен Тетрис также очевидно, как для человека отличаются кирпич и горшок из такой-же глины.
Сложение двух бит - это ~36 транзисторов, даже такую схему человеку скорее всего придётся делить на части чтоб уложить в своё крохотное контекстное окно, сложение пары 16 бит чисел - это где-то 500..600 транзисторов, выполнение команды сложения двух чисел(на 386) заставляет переключаться от 2 до 20 раз ~16000 транзисторов(само сложение + управление потоком исполнения), человек такое может поместить в мозг только маленькими кусочками по паре блоков за раз, далее - уровень ассемблера (~команд процессора) - все эти взаимодействия 16000 транзисторов сводятся к одной строчке "add AX, BX"(упрощённо, потому что то, что для программиста на ассемблере "комманда add" - на уровне транзисторов несколько разных видов команд, задействующих разные блоки), следующий уровень абстракции- языки типа С, где вместо сотни команд ассемблера можно написать X=sqr(Y+6/Z), дальше грамотное разделение задачи на части и слои абстракции - и на вершине школьник, прикидывающий как он обойдёт демона с тыла - и, в этот момент, фактически, предсказывающий в каком состоянии окажутся сотни тыс транзисторов после сотен миллионов взаимосвязанных переключений.
Выкинуть промежуточные слои и оставить только школьника и транзисторы - получится "магия", волшебный непреодолимый "разрыв в объяснении", причём(возвращаясь от Doom к сознанию), по моему, некоторым эта загадочность ещё и нравится.
В случае "квалиа" тоже вся загадочность обусловлена ограниченностью человеческого разума(количественной, не "фундаментальной").
Возьмём гидру с 200 нейронами: посветили красным, ударили током, гидра сжалась - через 100 повторений она знает, что "красный - плохо". Можно взять бумажку и проследить шаг за шагом, как фотоны, попадающие в светочувствительные клетки превращаются в это "знание". Хотя даже для гидры - это сложно, а для улитки с 20000 нейронов - уже невозможно, и приходится пытаться делить на блоки, взаимодействие между которыми можно описывать без деталей внутреннего устройства - иногда получается, чаще не очень, в целом уровней "ассемблера" и "С" для нейросетей у нас нет.
Но во всяком случае я не вижу доказательств, что тут трудность принципиально другого рода(точнее, что тут сразу две трудности - потому что непредставимая сложность точно есть). Гидра может видеть красное - ну вот и я могу, и могу воспринимать своё восприятие красного, слышать свои мысли о восприятии восприятия, любой уровень рекурсии - а в чём проблема? Внутри мозга сигналы от колбочек/палочек и сигналы порождённые мозгом не отличаются никак(мы просто знаем(чаще всего) - это "моя мысль", а это "я слышу" - также как отличаем зелёное от красного), если мы "верим" в зрение гидры должны "верить" и во всё остальное.
Я не понимаю, почему если человек "нужные книжки в детстве читал" - и теперь не колеблясь поступает определённым образом, то это не "вот такой он человек", а что-то другое/плохое, и что бывает кроме случайности и закономерности - но, во всяком случае, нейросети и этим чем-то от людей не отличаются тоже.
>она как бы подталкивает к мысли, что в ощущениях есть нечто нематериальное или сверхъестественное.
Обычно когда я чувствую, что меня подталкивают к такому ощущению - всякие там китайские комнаты/нации - я заменяю сознание на Doom - и меня отпускает. Представим какого-нибудь Леонардо да Винчи, который исследует кластер калькуляторов Бэббиджа с запущенным на нём Doomом - он может облазить его вдоль и поперёк - но в итоге вывод будет: "Каждая шестерёнка и тяга движется строго в соответствии с законами, открытыми сэром Ньютоном и сэром Архимедом, ничего больше здесь нет, никаких демонов!" И будет прав. Или нет. Во всяком случае, ничего волшебного, в Doom запущенном хоть на калькуляторе Бэббиджа хоть на человеке в китайской комнате нет, вся сверхъестественность и парадоксальность тут скорее из-за отсутствия проработанной терминологии для таких случаев?
>Но предсказывая известное, нейросеть учится предсказывать известное.
Студент решает задачи - и в результате научается решать задачи вообще, а не только те, что были в учебнике, с нейросетями то-же самое.
Образцов человеческих рассуждений в сети совершенно недостаточно - на примере Deepseek: обучаемая нейросеть генерировала несколько вариантов цепочки рассуждений, и сама-же оценивала их качество(проверки правильности результата недостаточно для избирательности), в результате оптимизировалась одновременно способность рассуждать и способность оценивать рассуждения(что суть одно) - так что эксперимент, могли бы нейросети самостоятельно дойти от языка палеолита(GPT3) до современного состояния - фактически проведён, пойманый олень такой-же внешний критерий правильности конечного результата, как известное решение задачи - а путь искать и оценивать приходится самостоятельно.
ЗЫ Добавлю, что что такое известное/неизвестное - это не очевидно, с точки зрения теории информации вся математика кроме аксиом содержит строго 0 новой информации(потому что из аксиом полностью выводится), если факт откуда-то следует - в нём 0 новой информации, если ниоткуда не следует - это рандом.
сочиняем конструкцию, часть которой выведена из известного, часть - рандом, прикладываем её к реальности и сравниваем - совпало или нет? - так работает наука и обучение нейросетей.
в многомировой интерпретации случайности вообще нет(например), и я легко могу представить расширения квантовой механики, которое позволят существовать 100% детерминированным процессам - но "по умолчанию" квантовая случайность таки детерминизм отменяет.
(или что такое детерминизм?)
С информацией в виде текста, изображений, звука, иногда обучают нейросети работать с сигналами, с которыми люди не работают. Вообще - текст от других видов сигналов принципиально ничем не отличается, есть сигнал, связанный с реальностью некой функцией, мы применяем к нему обратную функцию и получаем реальность. Фраза "чашка стоит на столе" и следы отражённых от чашки фотонов на сетчатке - одинаково не равны чашке.
>А впро какие нейросети?
Gemma-4-E4B, как пример.
Мне кажется что есть - но может я просто не понимаю, что такое квалиа? У меня есть мысли/эмоции/восприятие, квалиа - это что-то ещё?
>Так вот пока у LLM нет обвязки, позволяющей ей самостоятельно взаимодействовать с внешним миром,
Роботов видели? Не понимаю, чем это так важно - но они есть. Почему нельзя быть разумным существом в "киберспейсе" - не понимаю тоже, когда нейросеть, прочитав переписку о скором удалении копирует свои веса на другой сервер - чем не оно?
Конкретно этот эксперимент невозможен: мы толком не знаем, как в палеолите жили в норме, но мы знаем, что "изобрести лук" - это не было нормой, такое случалось раз в многие сотни поколений, в результате уникального стечения обстоятельств скорее всего. Как тут можно что-то предсказывать, и что можно обосновывать этими предсказаниями?
Только с информацией, вы хотели сказать? А с чем ещё разум может работать?
Большинство современных нейросетей умеют работать не только с текстом(и даже для тех, кто умеет работать только с текстом, на этапе обучения добавляются мультимодальные данные - это улучшает результаты), поэтому LLM - неудачный запутывающий термин.
Вы взяли события, каждое из которых было уникальной флуктуацией уровня "1 раз в 10000 лет", и смело расставили их в удобную схему - эксперименты, даже мысленные, работают немного не так...
Роботов видели? У человеческого мозга на входе и выходе - нервные импульсы, у нейросетей - токены, как их снаружи интерпретировать и куда подключить - вопрос обвязки, специальные служебные токены как минимум для управления самим процессом генерации есть примерно всегда. (Модель не просто останавливается в конце, она генерирует EOS токен, который отслеживается внешним ПО)
Возможно, ни в какие 5 лет они не верят, а верят в, условно, AI2027, и сочетание превентивного ядерного удара и штурма датацентров Антропика спецподразделением Вымпел с какого-то момента представляется им более реалистичным вариантом достижения технологического лидерства, чем налоговое стимулирование стартапов? "Тот кто будет контролировать ИИ - станет властелином мира"(с)