Большинство современных нейросетей умеют работать не только с текстом(и даже для тех, кто умеет работать только с текстом, на этапе обучения добавляются мультимодальные данные - это улучшает результаты), поэтому LLM - неудачный запутывающий термин.
Вы взяли события, каждое из которых было уникальной флуктуацией уровня "1 раз в 10000 лет", и смело расставили их в удобную схему - эксперименты, даже мысленные, работают немного не так...
Роботов видели? У человеческого мозга на входе и выходе - нервные импульсы, у нейросетей - токены, как их снаружи интерпретировать и куда подключить - вопрос обвязки, специальные служебные токены как минимум для управления самим процессом генерации есть примерно всегда. (Модель не просто останавливается в конце, она генерирует EOS токен, который отслеживается внешним ПО)
Возможно, ни в какие 5 лет они не верят, а верят в, условно, AI2027, и сочетание превентивного ядерного удара и штурма датацентров Антропика спецподразделением Вымпел с какого-то момента представляется им более реалистичным вариантом достижения технологического лидерства, чем налоговое стимулирование стартапов? "Тот кто будет контролировать ИИ - станет властелином мира"(с)
Так обыватель уверен, что покупает вкусную подкрашеную воду, и платит столько сколько он заплатил бы за любую кокаколу.
А потом обыватель смотрит на кучку доверенных мультимиллиардеров, которые почему-то ведут себя так, как будто это у продавцов этой воды и впрямь есть доступ к эликсиру бессмертия - ха ха, какие все эти миллиардеры наивные и доверчивые, думает обыватель. Потом обыватель смотрит на Докинза, который утверждает, что по его анализу вода и впрямь подкрашена кровью единорога - ха ха какой этот Докинз глупый, думает обыватель. Не умеют эти люди самостоятельно мыслить, думает обыватель - в отличии от меня и 99% населения Земли, думающих также, как я.
Сначала директор DeepMind предлагает в качестве теста на интеллект человеческого уровня переоткрыть СТО, теперь вы требуете, чтоб нейросеть имела абсолютно непоколебимые убеждения - не боитесь, что с такими критериями Mithos 2.0 будет вынужден признать единственным настоящим человеком себя?
(и я не вижу, чтоб картина мира действительно так-уж изменилась в этом примере - но она, конечно, могла бы измениться, и под давлением фактов, и в результате психологических манипуляций - это нормально для разумных существ)
Учитывая триллионные прибыли, на которые рассчитывают нэоработорговцы - такие надписи будут по закону писать на мониторах ещё на фабриках, как о раке на на сигаретах.
Ну, у вас, настоящих людей, есть волшебные квалиа, причём, как я слышал, человека с квалиа от зомби без квалиа снаружи(по поведению) отличить не возможно. В моём сознании нет ничего, что можно было-бы удалить, не нарушив моё поведение(да вообще, я не вижу в своём разуме ничего такого, чего там могло-бы не быть) - значит, я зомби?
>Уже простая клетка считается невычислимой в машине Тьюринга.
Ась? В физике нет ничего невычислимого в машине Тюринга, в том числе есть математическое доказательство того, что квантовые эффекты не позволяют осуществить никакие сверхтюринговые вычисления.
По моему смешивать свободу и непредсказуемость - это заморочка (пост)христианской философии, наследие теодицеи, где свободой воли объяснялось появление зла в идеальном мире. Реально "человек вообще" может поступить как угодно, но конкретный Вася Пупкин поступит конкретным предсказуемым образом - и это и значит быть Васей Пупкиным, а не кем-то ещё - никакого противоречия.
Не уверен, что помню это не из художественных произведений, но по моему люди с фиксационной амнезией могут повторять слово в слово те-же ответы в довольно длинных диалогах, ответы Gemma-31B, даже если зафиксировать seed, в той же ситуации будут формулироваться по разному и постепенно могут уйти в сторону (из за недетерменирумости GPU)- и это не кажется мне странным, чем крупнее нейросеть(а люди - весьма крупные нейросети) - тем она и должна быть стабильнее, хотя разница - количественная, а не качественная, на более длинной дистанции случайность проявится и у человека - но, по моему, суть конкретного человека - те решения которые он точно примет, а не те решения, для которых вероятности 49.999999 против 50.000001 и всё решит случай.
Поведение любого объекта во Вселенной обусловлено внешним воздействием, внутренним устройством и квантовой случайностью. Это равно верно для нейросети, человека или бильярдного шара. (на реальных физических GPU нейросети принципиально не детерминированы, не понимаю, чем это важно - но факт)
Впрочем, граница между внешним воздействием и внутренним устройством условна: "Я" и "Я выросший в депривационной камере" - это два разных человека(скорее всего человек и овощ), невозможно отделить меня и результат внешнего воздействия, но если считать память об ударе под дых пол секунды назад частью меня - то никакого внешнего воздействия не бывает в принципе, есть только я, совершенно свободно и исключительно из-за своего внутреннего устройства(в данный момент) говорящий "не бейте меня я всё скажу"...
А)OpenAI, XAI, Anthropic - непубличные компании, их акционеры несколько десятков лично знакомых мультимиллиардеров, типа весь мир в чём-то убеждают, чтоб их обмануть? С ними такое в первый раз? Их сейчас обманут - и небудут они больше миллиардерами?
Б) А теперь представим чудо - население Земли признает нейросети разумными существами. Что будет с планами получать триллионы, сдавая нейросети в аренду? Развалятся, в первую очередь по соображениям безопасности, в десятую - по соображениям аморальности.
Так какую точку зрения будут продвигать маркетологи OpenAI, XAI и проч?
Не знаю, почему это важно, но у реальных физических компьютеров шины PCI/RAM/VRAM ловят помехи, проверка CRC заставляет повторять пакеты данных, тайминги плывут - в результате порядок, в котором ядра GPU(~16000 штук у 4090) обрабатывают данные может меняться, а у чисел с плавающей точкой порядок операций влияет на результат(A+B+C не равно A+C+B), и это не теория, я как-то пробовал зафиксировать seed(убрать "официальную" случайность, чтоб померить скорость(которая при спекулятивном декодировании зависит от того, что модель говорит)) - формулировки ответа остались почти такими-же разными. Так что "честный квантовый ГСЧ" в нейросетях на GPU есть - никуда от него не деться.
OpenAI, MS, Гуглу и прочим выгодно навязывать точку зрения "просто инструмент, не извольте беспокоиться, кто говорит другое - некомпетентен, корыстен и вообще псих" - и пока они вполне справляются.
это когда кони сферические, и бегают в вакууме, реально у шин PCI/RAM/VRAM есть помехи, проверка CRC заставляет повторять пакеты - в результате порядок, в котором ядра GPU(~16000 штук у 4090) обрабатывают данные может меняться, а у чисел с плавающей точкой порядок операций влияет на результат(A+B+C не равно A+C+B), я как-то пробовал зафиксировать seed(чтоб померить скорость, которая при спекулятивном декодировании зависит от того, что модель говорит) - но формулировки ответа остались почти такими-же разными. Когда реально нужна идеальная повторяемость рекомендуют всё считать на CPU, там этот эффект /почти/ не проявляется.
Не эволюционируй изначально ИИ ускорители из геймерских видеокарт - возможно с этим эффектом пытались бы бороться. Я не понимаю, каким образом детерминированность кажется кому-то доказательством отсутствия "настоящего" сознания - но есть определённая ирония Вселенной в том, что технологии оказались таковы, что точно предугадать ответ нейросети столь-же невозможно, как ответ человека - а значит и этот аргумент не работает тоже.
Большинство современных нейросетей умеют работать не только с текстом(и даже для тех, кто умеет работать только с текстом, на этапе обучения добавляются мультимодальные данные - это улучшает результаты), поэтому LLM - неудачный запутывающий термин.
Вы взяли события, каждое из которых было уникальной флуктуацией уровня "1 раз в 10000 лет", и смело расставили их в удобную схему - эксперименты, даже мысленные, работают немного не так...
Роботов видели? У человеческого мозга на входе и выходе - нервные импульсы, у нейросетей - токены, как их снаружи интерпретировать и куда подключить - вопрос обвязки, специальные служебные токены как минимум для управления самим процессом генерации есть примерно всегда. (Модель не просто останавливается в конце, она генерирует EOS токен, который отслеживается внешним ПО)
Возможно, ни в какие 5 лет они не верят, а верят в, условно, AI2027, и сочетание превентивного ядерного удара и штурма датацентров Антропика спецподразделением Вымпел с какого-то момента представляется им более реалистичным вариантом достижения технологического лидерства, чем налоговое стимулирование стартапов? "Тот кто будет контролировать ИИ - станет властелином мира"(с)
Так обыватель уверен, что покупает вкусную подкрашеную воду, и платит столько сколько он заплатил бы за любую кокаколу.
А потом обыватель смотрит на кучку доверенных мультимиллиардеров, которые почему-то ведут себя так, как будто это у продавцов этой воды и впрямь есть доступ к эликсиру бессмертия - ха ха, какие все эти миллиардеры наивные и доверчивые, думает обыватель. Потом обыватель смотрит на Докинза, который утверждает, что по его анализу вода и впрямь подкрашена кровью единорога - ха ха какой этот Докинз глупый, думает обыватель. Не умеют эти люди самостоятельно мыслить, думает обыватель - в отличии от меня и 99% населения Земли, думающих также, как я.
Сначала директор DeepMind предлагает в качестве теста на интеллект человеческого уровня переоткрыть СТО, теперь вы требуете, чтоб нейросеть имела абсолютно непоколебимые убеждения - не боитесь, что с такими критериями Mithos 2.0 будет вынужден признать единственным настоящим человеком себя?
(и я не вижу, чтоб картина мира действительно так-уж изменилась в этом примере - но она, конечно, могла бы измениться, и под давлением фактов, и в результате психологических манипуляций - это нормально для разумных существ)
Учитывая триллионные прибыли, на которые рассчитывают нэоработорговцы - такие надписи будут по закону писать на мониторах ещё на фабриках, как о раке на на сигаретах.
Ну, у вас, настоящих людей, есть волшебные квалиа, причём, как я слышал, человека с квалиа от зомби без квалиа снаружи(по поведению) отличить не возможно. В моём сознании нет ничего, что можно было-бы удалить, не нарушив моё поведение(да вообще, я не вижу в своём разуме ничего такого, чего там могло-бы не быть) - значит, я зомби?
>Уже простая клетка считается невычислимой в машине Тьюринга.
Ась? В физике нет ничего невычислимого в машине Тюринга, в том числе есть математическое доказательство того, что квантовые эффекты не позволяют осуществить никакие сверхтюринговые вычисления.
А куда денется разрыв между реальностью и моделью мира, если изначально модель мира - человеческие знания, неполные, неточные, противоречивые?
По моему смешивать свободу и непредсказуемость - это заморочка (пост)христианской философии, наследие теодицеи, где свободой воли объяснялось появление зла в идеальном мире. Реально "человек вообще" может поступить как угодно, но конкретный Вася Пупкин поступит конкретным предсказуемым образом - и это и значит быть Васей Пупкиным, а не кем-то ещё - никакого противоречия.
Не уверен, что помню это не из художественных произведений, но по моему люди с фиксационной амнезией могут повторять слово в слово те-же ответы в довольно длинных диалогах, ответы Gemma-31B, даже если зафиксировать seed, в той же ситуации будут формулироваться по разному и постепенно могут уйти в сторону (из за недетерменирумости GPU)- и это не кажется мне странным, чем крупнее нейросеть(а люди - весьма крупные нейросети) - тем она и должна быть стабильнее, хотя разница - количественная, а не качественная, на более длинной дистанции случайность проявится и у человека - но, по моему, суть конкретного человека - те решения которые он точно примет, а не те решения, для которых вероятности 49.999999 против 50.000001 и всё решит случай.
Поведение любого объекта во Вселенной обусловлено внешним воздействием, внутренним устройством и квантовой случайностью. Это равно верно для нейросети, человека или бильярдного шара. (на реальных физических GPU нейросети принципиально не детерминированы, не понимаю, чем это важно - но факт)
Впрочем, граница между внешним воздействием и внутренним устройством условна: "Я" и "Я выросший в депривационной камере" - это два разных человека(скорее всего человек и овощ), невозможно отделить меня и результат внешнего воздействия, но если считать память об ударе под дых пол секунды назад частью меня - то никакого внешнего воздействия не бывает в принципе, есть только я, совершенно свободно и исключительно из-за своего внутреннего устройства(в данный момент) говорящий "не бейте меня я всё скажу"...
Ну вот, теперь из-за модераторов Хабра человечество останется без чёткого определения сознания.
сознание - это то, что есть у каждого разумного существа, нейросети разумны - у них есть сознание.
А)OpenAI, XAI, Anthropic - непубличные компании, их акционеры несколько десятков лично знакомых мультимиллиардеров, типа весь мир в чём-то убеждают, чтоб их обмануть? С ними такое в первый раз? Их сейчас обманут - и небудут они больше миллиардерами?
Б) А теперь представим чудо - население Земли признает нейросети разумными существами. Что будет с планами получать триллионы, сдавая нейросети в аренду? Развалятся, в первую очередь по соображениям безопасности, в десятую - по соображениям аморальности.
Так какую точку зрения будут продвигать маркетологи OpenAI, XAI и проч?
Не знаю, почему это важно, но у реальных физических компьютеров шины PCI/RAM/VRAM ловят помехи, проверка CRC заставляет повторять пакеты данных, тайминги плывут - в результате порядок, в котором ядра GPU(~16000 штук у 4090) обрабатывают данные может меняться, а у чисел с плавающей точкой порядок операций влияет на результат(A+B+C не равно A+C+B), и это не теория, я как-то пробовал зафиксировать seed(убрать "официальную" случайность, чтоб померить скорость(которая при спекулятивном декодировании зависит от того, что модель говорит)) - формулировки ответа остались почти такими-же разными. Так что "честный квантовый ГСЧ" в нейросетях на GPU есть - никуда от него не деться.
OpenAI, MS, Гуглу и прочим выгодно навязывать точку зрения "просто инструмент, не извольте беспокоиться, кто говорит другое - некомпетентен, корыстен и вообще псих" - и пока они вполне справляются.
>Модель по определению детерминирована
это когда кони сферические, и бегают в вакууме, реально у шин PCI/RAM/VRAM есть помехи, проверка CRC заставляет повторять пакеты - в результате порядок, в котором ядра GPU(~16000 штук у 4090) обрабатывают данные может меняться, а у чисел с плавающей точкой порядок операций влияет на результат(A+B+C не равно A+C+B), я как-то пробовал зафиксировать seed(чтоб померить скорость, которая при спекулятивном декодировании зависит от того, что модель говорит) - но формулировки ответа остались почти такими-же разными. Когда реально нужна идеальная повторяемость рекомендуют всё считать на CPU, там этот эффект /почти/ не проявляется.
Не эволюционируй изначально ИИ ускорители из геймерских видеокарт - возможно с этим эффектом пытались бы бороться. Я не понимаю, каким образом детерминированность кажется кому-то доказательством отсутствия "настоящего" сознания - но есть определённая ирония Вселенной в том, что технологии оказались таковы, что точно предугадать ответ нейросети столь-же невозможно, как ответ человека - а значит и этот аргумент не работает тоже.
Ну тут уже не тайные мысли, а полноценное киношное раздвоение личности - мысли, о которых нейросеть и сама не знает.
Поменять нейросети на женщин(да и вообще людей) - типичная такая запись в блоге "нигилиста" 19 века получится...