Вы упорно игнорируете факт, что я веду разговор про другое. Никто вам не мешает интересоваться почему. Это не значит, что ваши некорректные утверждения про J-Space вдруг стали корректными.
Речь не о замене, а об абляции
А, понятно, отключение слоя. Из того, что этот слой содержит абстракции, не следует, что это единственный слой, который содержит абстракции.
разграничьте высшие когнитивные функции Выготский не работает на уровне абстракций.
Вот, это и есть то, что у вас неправильно. И у Выготского тоже. Это всё следствие одного механизма, а не два разных.
Соответственно,это точно не слой абстракций.
Не вижу логики. С чего вдруг замена одной абстракции на другую должна что-то разрушать?
Но почему неправильно и как правильно, вы не говорите.
Я всё это сказал прямым текстом. Я это описал на том же уровне, на котором описано у вас в статье. Не вижу причин, почему я должен описывать механизм более подробно, если вы сами не удосужились это сделать.
Это же кредо любого верующего.
Ок, повторю еще раз. В моем комментарии не подразумевается никакое чудо, никакая вера, и ничего само по себе не происходит. Поймите это пожалуйста и перечитайте с учетом этой информации. Алгоритмы LLM известны, есть open-source реализации. Если вам интересно, как Claude строит абстракции, берёте и изучаете исходники. Почему я вам тут в комментах должен это объяснять? Мне достаточно факта, что это работает. В этом обсуждении я указал вам на ваше неправильное понимание работы Claude и J-Space, и на неправильную логику Выготского, которой вы пытаетесь объяснить результаты. Доказательств этого я привел достаточно. Как именно Claude строит абстракции, на мои возражения никоим образом не влияет.
высшие когнитивные функции не зарождаются в мозге сами по себе, а формируются извне через механизм интериоризации В процессе социального взаимодействия ребенок усваивает слова не просто как средство общения, а как психологическое орудие — систему знаков для управления собственной психикой затем эта внешняя речь “уходит внутрь”, превращаясь во внутренний диалог знак (названное слово) — это инструмент, с помощью которого разум вытаскивает себя из животного автоматизма реакций постепенно формируют у него систему внутренних знаков, через которые становится возможным саморегулируемое мышление внутренняя речь (знаковое опосредование) Мышление актуализирует себя исключительно через знак.
Это вы писали? Тут вы говорите об особой роли слов в появлении мышления и построении абстракций. Абстракции и понятия это важная часть мышления. J-Space это и есть слой абстракций. Это неверно, те же самые слова, сказанные программе аудиозаписи, не сформируют у нее никакого мышления. Важен алгоритм обработки информации. Он обрабатывает и слова, и другую входную информацию.
почему workspace сделан из слов
Это вы писали? Это неверно, workspace не сделан из слов. Даже преобразование J-lens из наборов чисел в токены из словаря может вернуть приставку, а не целое слово.
но не объясняет выделенный блок саморегуляции
Какой еще блок саморегуляции? J-Space это то же самое, что вывод ответа, только в более абстрактном виде. Поэтому именно объясняет, это и есть слой взаимосвязей.
вы называете “способность” и ждёте чуда.
В моем комментарии не подразумевается никакое чудо. Я вообще не говорю про механизм построения абстракций. Я говорю только про то, что он есть. Он и в вашей теории есть. Только вот как раз у вас он работает каким-то чудесным образом. Вот абстракций не было, мышления не было, потом на вход подали последовательность из нескольких ASCII-кодов, и вдруг мышление и абстракции появились. Как появились, откуда? Почему в программе аудиозаписи они не появляются?
Вы говорите “J-Space работает вот так, а Выготский объяснял это вот так, через роль слов”. Я вам объясняю, что и J-Space работает не так, как вы написали, и Выготский неправильно оценивал роль слов.
Я нигде и не говорил, что отказываюсь от концепции времени. Я сказал, что время можно считать одним из таких коротких измерений, а не вводить новые, пытаясь увязать их с концепцией времени как длинного измерения.
Для того чтобы об этом всём говорить, нужна координата времен
Это человеку нужна, а Вселенной не нужно ни с кем говорить. Информация о прошлом это лишь определенное состояние материи, которое существует в настоящем.
Не может быть способности к построению субстрата по определению.
В общепринятом смысле этого слова может. Субстрат же откуда-то берется. Не знаю, что вы под ним подразумеваете.
А ярлык каузален, но обозначает первичное.
Я не понял, что это означает. Вам стоит использовать в высказываниях меньше абстрактных слов с широким смыслом.
Если имя/ярлык/слово/паттерн лишь обозначает абстракцию
В контексте этого обсуждения писать их через слэш некорректно. Разговор именно о том, что в нейросети есть свой внутренний язык (паттерн, набор чисел), который по весам можно сопоставить со словом из словаря. Но работает нейросеть с внутренним паттерном, а не со словом. Паттерн это и есть абстракция, с которой работает сеть, он не обозначает какую-то другую абстракцию. А слово обозначает этот паттерн.
Меняет только замена имя/ярлык/слово/паттерн. Указатель, замена которого перекраивает поведение сильнее
Так как паттерн это сама абстракция, а не указатель, то понятно, что ее замена меняет вывод.
А на этом уровне вы можете объяснить только как система различает
Вы похоже не поняли, о чем идет речь. Вы говорите “Claude использует внутренний язык в виде слов, как говорил Выготский, значит слова это причина появления абстракций”. Я говорю, что Claude использует не слова в явном виде, а свой внутренний язык в виде наборов чисел, который исследователь может сопоставить со словарем отдельной операцией (J-lens) в режиме отладки, а абстракции появляются потому что у него есть способность строить взаимосвязи. Первична именно эта способность, она же и позволяет привязать слово к абстракции.
И это противоречит реальной жизни и непосредственно экспериментам Антропик
Вот именно с этим я и спорю. Я говорю, что это не противоречит, а объясняет.
Но вы делаете следующий шаг и называете его первичным абсолютно.
Первичен не субстрат, а способность к его построению.
Почему в j-пространстве именно слово, а не ваш “безымянный паттерн”?
Там не именно слово, а паттерн активности. J-lens, про который говорится в исследовании, просто сопоставляет этот паттерн наиболее вероятному элементу словаря. Элемент может быть не только целым словом, а также частью слова.
We find that Claude has developed a small collection of internal neural patterns that, compared to all its other internal processing, play a special role. We call the collection of these patterns the J-space. Each J-space pattern is linked to a particular word. Our technique is called the Jacobian lens, or J-lens for short. For every word in Claude’s vocabulary, the J-lens finds the internal activity pattern that makes Claude more likely to say that word at some point in the future. The J-lens is undoubtedly an imperfect method, which only approximately captures the model’s “true workspace”—for instance, it can only identify concepts that correspond to single tokens. And there remain many mysteries about how the J-space works. We don’t know what mechanism decides what enters the J-space in the first place.
Почему при замене слова, меняется поведение, хотя оно с вашей точки зрения вторично?
Я написал почему - потому что другое слово обозначает другую взаимосвязь, другую абстракцию. Ну и там заменяются не слова, а паттерны, соответствующие словам.
тогда так же просто задумайтесь почему и как именно это слово стало указателем
Я именно что предлагаю задуматься об этом вам и ответить на этот вопрос. Только используя не тезисы Выготского, а реальный механизм работы этой нейросети.
Выготский раскрывает почему в социуме с ним такого не происходит.
Ну и я раскрыл в своем комментарии.
Вы пытаетесь вовлечь Выготского но Выготского тогда нужно вынести за рамки
Я спорю не с Выготским, а с вашими высказываниями. У вас Выготский упомянут в заголовке статьи, и вся статья про него, вынести его за рамки не получится. Вы говорите про некую магическую необъяснимую роль слова, я говорю, что ее можно легко объяснить, и настоящая причина в другом.
LLM мне подсказывает следующее: “Тезис о первичности слова у Выготского относится не к мышлению вообще, а к генезису высших, специфически человеческих форм мышления: именно слово-знак как культурное орудие превращает натуральное, элементарное мышление в опосредствованное, понятийное. Это часть его культурно-исторической теории — способность к развитому человеческому мышлению формируется через овладение речью в социальном взаимодействии, а не разворачивается из врождённых задатков сама по себе.”
Я с этим не совсем согласен. Слово структурирует мышление, но причина в том, что люди вообще имеют способность что-то структурировать. Слова это просто удобный механизм обозначений изначально безымянных структур. Для мышления не очень удобно ссылаться на каждую структуру выражением “вон та штука”. С LLM аналогично, у нее есть способность строить взаимосвязи между словами, поэтому понятно, что эти взаимосвязи в каком-то виде существуют. Но необязательно чтобы они обозначались словами какого-то языка, важно только чтобы информационная система могла для себя их различать. Это может быть числовой идентификатор или любой набор символов.
родители не столько передают ребёнку знания, сколько постепенно формируют у него систему внутренних знаков
Меня удивляет, как много людей, даже технических специалистов, не видят очевидного. А как именно формируется система внутренних знаков, что этому способствует? Попробуйте сообщить те же данные программе аудиозаписи, или собаке. У них сформируется система знаков? Нет. Потому что у них нет того, что есть у людей. А именно - способность строить абстракции. Слова это просто следствие этой способности. Поэтому Выготский не прав, слова не первичны, а вторичны. Поэтому существа, у которых не было речи, смогли придумать речь. Если бы слова были первичной причиной мышления, речь бы вообще не появилась, ведь раньше ее не было.
А для учёного то что он не может измерить - не существует.
Измерьте напряженность электрического поля в районе двери вашей комнаты в моменте времени “3 секунды назад”. Вот вы и сами доказали, что моментов времени в прошлом не существует. Про моменты времени в будущем можно доказать аналогично.
Ответ на вопрос “как оно там на самом деле” - это область философии и теологии.
Вообще-то нет, Большой адронный коллайдер построили именно для ответа на этот вопрос.
А для учёного то что он не может измерить
У меня нет никаких высказываний о том, что что-то можно или нельзя измерить.
И чисто философски можно утверждать что их в природе нет.
Это утверждение будет некорректным. Они могут быть обобщением для многих параметров, но если бы их не было, то это был бы лишний элемент модели, и уравнения бы не работали.
Так что в науке именно что “в уравнениях так, поэтому во Вселенной это устроенно тоже так”
Я вижу, что вы не поняли о чем я говорю, и даже не хотите подумать. Если вам удобнее верить, что уравнения, написанные человеком на бумаге, определяют как работает Вселенная, дело ваше. Я с этим не согласен.
Я про это и говорю, они искажаются в уравнениях и графиках, но это ничего не говорит о реальном механизме. Версия с одним квантом времени этому не противоречит.
Я не думаю, что корректно использовать высказывания “У нас в уравнениях так, поэтому во Вселенной это устроенно тоже так”. Уравнения описывают Вселенную, а не задают как она работает. При том описывают численно, а реальный механизм может быть другим, хоть и численно давать те же результаты.
Какие у нас основания считать, что время является физическим измерением, аналогично пространственным? Их нет, просто так удобно изображать на графике и считать в уравнениях.
оплата труда не самая определяющая часть затрат в сельском хозяйстве
Это основная часть затрат примерно везде. Стоимость материалов тоже определяется оплатой труда на его производство. Производство кормов или удобрений это тоже область сельского хозяйства, и ее тоже можно автоматизировать.
которую заменит автоматизация, породив тем самым ещё больше безработных
Если людям будет что есть, то это как раз и сглаживает основную проблему этого варианта. Вы вот тоже почему-то рассматриваете вариант “уволить и заменить на ИИ”, когда разговор про решение вопроса “как сгладить проблемы использования ИИ”, и решение должно быть другим - “заменить на ИИ, но продолжать уволенным из с/х отрасли выплачивать зарплату или эквивалентный объем товаров, которые они хотели бы купить”. Они будут первыми, потом можно будет распространить эту модель на остальных людей.
В целом, вы исходите из того, что до людей, потерявших работу, кому-то будет дело.
Я исхожу из того, что люди собрались и обсудили опасности ИИ, о чем написано в статье.
который прикажет расставить коэффициенты по-другому
Естественно, а как вы думали. В реальном мире это тоже возможно, хоть и сложнее, обычный панцирь у черепахи это тоже форма влияния на коэффициенты. Такую возможность убрать невозможно. Разговор был про влияние на нейросети, а не на людей, которые их делают.
Вы упорно игнорируете факт, что я веду разговор про другое. Никто вам не мешает интересоваться почему. Это не значит, что ваши некорректные утверждения про J-Space вдруг стали корректными.
А, понятно, отключение слоя. Из того, что этот слой содержит абстракции, не следует, что это единственный слой, который содержит абстракции.
Вот, это и есть то, что у вас неправильно. И у Выготского тоже. Это всё следствие одного механизма, а не два разных.
Не вижу логики. С чего вдруг замена одной абстракции на другую должна что-то разрушать?
Я всё это сказал прямым текстом. Я это описал на том же уровне, на котором описано у вас в статье. Не вижу причин, почему я должен описывать механизм более подробно, если вы сами не удосужились это сделать.
Ок, повторю еще раз. В моем комментарии не подразумевается никакое чудо, никакая вера, и ничего само по себе не происходит. Поймите это пожалуйста и перечитайте с учетом этой информации. Алгоритмы LLM известны, есть open-source реализации. Если вам интересно, как Claude строит абстракции, берёте и изучаете исходники. Почему я вам тут в комментах должен это объяснять? Мне достаточно факта, что это работает. В этом обсуждении я указал вам на ваше неправильное понимание работы Claude и J-Space, и на неправильную логику Выготского, которой вы пытаетесь объяснить результаты. Доказательств этого я привел достаточно. Как именно Claude строит абстракции, на мои возражения никоим образом не влияет.
Это вы писали? Тут вы говорите об особой роли слов в появлении мышления и построении абстракций. Абстракции и понятия это важная часть мышления. J-Space это и есть слой абстракций.
Это неверно, те же самые слова, сказанные программе аудиозаписи, не сформируют у нее никакого мышления. Важен алгоритм обработки информации. Он обрабатывает и слова, и другую входную информацию.
Это вы писали? Это неверно, workspace не сделан из слов. Даже преобразование J-lens из наборов чисел в токены из словаря может вернуть приставку, а не целое слово.
Какой еще блок саморегуляции? J-Space это то же самое, что вывод ответа, только в более абстрактном виде. Поэтому именно объясняет, это и есть слой взаимосвязей.
В моем комментарии не подразумевается никакое чудо. Я вообще не говорю про механизм построения абстракций. Я говорю только про то, что он есть.
Он и в вашей теории есть. Только вот как раз у вас он работает каким-то чудесным образом. Вот абстракций не было, мышления не было, потом на вход подали последовательность из нескольких ASCII-кодов, и вдруг мышление и абстракции появились. Как появились, откуда? Почему в программе аудиозаписи они не появляются?
Вы говорите “J-Space работает вот так, а Выготский объяснял это вот так, через роль слов”. Я вам объясняю, что и J-Space работает не так, как вы написали, и Выготский неправильно оценивал роль слов.
И зачем же им это находить, если не для ответа на вопрос “как оно там на самом деле”?
Я нигде и не говорил, что отказываюсь от концепции времени. Я сказал, что время можно считать одним из таких коротких измерений, а не вводить новые, пытаясь увязать их с концепцией времени как длинного измерения.
Это человеку нужна, а Вселенной не нужно ни с кем говорить.
Информация о прошлом это лишь определенное состояние материи, которое существует в настоящем.
В общепринятом смысле этого слова может. Субстрат же откуда-то берется. Не знаю, что вы под ним подразумеваете.
Я не понял, что это означает. Вам стоит использовать в высказываниях меньше абстрактных слов с широким смыслом.
В контексте этого обсуждения писать их через слэш некорректно. Разговор именно о том, что в нейросети есть свой внутренний язык (паттерн, набор чисел), который по весам можно сопоставить со словом из словаря. Но работает нейросеть с внутренним паттерном, а не со словом.
Паттерн это и есть абстракция, с которой работает сеть, он не обозначает какую-то другую абстракцию. А слово обозначает этот паттерн.
Так как паттерн это сама абстракция, а не указатель, то понятно, что ее замена меняет вывод.
Вы похоже не поняли, о чем идет речь. Вы говорите “Claude использует внутренний язык в виде слов, как говорил Выготский, значит слова это причина появления абстракций”. Я говорю, что Claude использует не слова в явном виде, а свой внутренний язык в виде наборов чисел, который исследователь может сопоставить со словарем отдельной операцией (J-lens) в режиме отладки, а абстракции появляются потому что у него есть способность строить взаимосвязи. Первична именно эта способность, она же и позволяет привязать слово к абстракции.
Вот именно с этим я и спорю. Я говорю, что это не противоречит, а объясняет.
Первичен не субстрат, а способность к его построению.
Там не именно слово, а паттерн активности. J-lens, про который говорится в исследовании, просто сопоставляет этот паттерн наиболее вероятному элементу словаря. Элемент может быть не только целым словом, а также частью слова.
https://www.anthropic.com/research/global-workspace
Я написал почему - потому что другое слово обозначает другую взаимосвязь, другую абстракцию. Ну и там заменяются не слова, а паттерны, соответствующие словам.
Я именно что предлагаю задуматься об этом вам и ответить на этот вопрос. Только используя не тезисы Выготского, а реальный механизм работы этой нейросети.
“Маугли придумал язык” это и есть филогенез речи.
Ну и я раскрыл в своем комментарии.
Я спорю не с Выготским, а с вашими высказываниями.
У вас Выготский упомянут в заголовке статьи, и вся статья про него, вынести его за рамки не получится.
Вы говорите про некую магическую необъяснимую роль слова, я говорю, что ее можно легко объяснить, и настоящая причина в другом.
Из моих слов не следует, что он должен его придумать.
Но в целом это высказывание неверно, именно первобытные Маугли и придумали первые слова.
LLM мне подсказывает следующее:
“Тезис о первичности слова у Выготского относится не к мышлению вообще, а к генезису высших, специфически человеческих форм мышления: именно слово-знак как культурное орудие превращает натуральное, элементарное мышление в опосредствованное, понятийное. Это часть его культурно-исторической теории — способность к развитому человеческому мышлению формируется через овладение речью в социальном взаимодействии, а не разворачивается из врождённых задатков сама по себе.”
Я с этим не совсем согласен. Слово структурирует мышление, но причина в том, что люди вообще имеют способность что-то структурировать. Слова это просто удобный механизм обозначений изначально безымянных структур. Для мышления не очень удобно ссылаться на каждую структуру выражением “вон та штука”. С LLM аналогично, у нее есть способность строить взаимосвязи между словами, поэтому понятно, что эти взаимосвязи в каком-то виде существуют. Но необязательно чтобы они обозначались словами какого-то языка, важно только чтобы информационная система могла для себя их различать. Это может быть числовой идентификатор или любой набор символов.
Меня удивляет, как много людей, даже технических специалистов, не видят очевидного. А как именно формируется система внутренних знаков, что этому способствует? Попробуйте сообщить те же данные программе аудиозаписи, или собаке. У них сформируется система знаков? Нет. Потому что у них нет того, что есть у людей. А именно - способность строить абстракции. Слова это просто следствие этой способности. Поэтому Выготский не прав, слова не первичны, а вторичны. Поэтому существа, у которых не было речи, смогли придумать речь. Если бы слова были первичной причиной мышления, речь бы вообще не появилась, ведь раньше ее не было.
Измерьте напряженность электрического поля в районе двери вашей комнаты в моменте времени “3 секунды назад”.
Вот вы и сами доказали, что моментов времени в прошлом не существует. Про моменты времени в будущем можно доказать аналогично.
Вообще-то нет, Большой адронный коллайдер построили именно для ответа на этот вопрос.
У меня нет никаких высказываний о том, что что-то можно или нельзя измерить.
Это утверждение будет некорректным. Они могут быть обобщением для многих параметров, но если бы их не было, то это был бы лишний элемент модели, и уравнения бы не работали.
Я вижу, что вы не поняли о чем я говорю, и даже не хотите подумать. Если вам удобнее верить, что уравнения, написанные человеком на бумаге, определяют как работает Вселенная, дело ваше. Я с этим не согласен.
Я про это и говорю, они искажаются в уравнениях и графиках, но это ничего не говорит о реальном механизме. Версия с одним квантом времени этому не противоречит.
Я не думаю, что корректно использовать высказывания “У нас в уравнениях так, поэтому во Вселенной это устроенно тоже так”. Уравнения описывают Вселенную, а не задают как она работает. При том описывают численно, а реальный механизм может быть другим, хоть и численно давать те же результаты.
Вопрос не в том, как это можно назвать и что нафантазировать, а в том, как это реально существует во Вселенной.
А вы пробовали проверять резюме тех, кого изначально отсеяли? Может среди них есть нормальные кандидаты.
Какие у нас основания считать, что время является физическим измерением, аналогично пространственным? Их нет, просто так удобно изображать на графике и считать в уравнениях.
Это основная часть затрат примерно везде. Стоимость материалов тоже определяется оплатой труда на его производство. Производство кормов или удобрений это тоже область сельского хозяйства, и ее тоже можно автоматизировать.
Если людям будет что есть, то это как раз и сглаживает основную проблему этого варианта. Вы вот тоже почему-то рассматриваете вариант “уволить и заменить на ИИ”, когда разговор про решение вопроса “как сгладить проблемы использования ИИ”, и решение должно быть другим - “заменить на ИИ, но продолжать уволенным из с/х отрасли выплачивать зарплату или эквивалентный объем товаров, которые они хотели бы купить”. Они будут первыми, потом можно будет распространить эту модель на остальных людей.
Я исхожу из того, что люди собрались и обсудили опасности ИИ, о чем написано в статье.
Естественно, а как вы думали. В реальном мире это тоже возможно, хоть и сложнее, обычный панцирь у черепахи это тоже форма влияния на коэффициенты. Такую возможность убрать невозможно. Разговор был про влияние на нейросети, а не на людей, которые их делают.