Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 46
родители не столько передают ребёнку знания, сколько постепенно формируют у него систему внутренних знаков
Меня удивляет, как много людей, даже технических специалистов, не видят очевидного. А как именно формируется система внутренних знаков, что этому способствует? Попробуйте сообщить те же данные программе аудиозаписи, или собаке. У них сформируется система знаков? Нет. Потому что у них нет того, что есть у людей. А именно - способность строить абстракции. Слова это просто следствие этой способности. Поэтому Выготский не прав, слова не первичны, а вторичны. Поэтому существа, у которых не было речи, смогли придумать речь. Если бы слова были первичной причиной мышления, речь бы вообще не появилась, ведь раньше ее не было.
Слова создают мышление, это ваш тезис, Выготский его не выдвигал.
Слова превращает мышление в самоуправляемую систему, это да, здесь соглашусь
Как появилась речь Выготский не рассматривает (отдельное направление филогенез). Он рассматривает как возникают знаки у ребенка уже погруженного в речевую среду. (LLM тоже в этой среде)
Выготский в этом смысле весьма практичен и работает с тем, что есть. Оставляя вопрос о яйце, курице, и откуда всё другим....
LLM мне подсказывает следующее:
“Тезис о первичности слова у Выготского относится не к мышлению вообще, а к генезису высших, специфически человеческих форм мышления: именно слово-знак как культурное орудие превращает натуральное, элементарное мышление в опосредствованное, понятийное. Это часть его культурно-исторической теории — способность к развитому человеческому мышлению формируется через овладение речью в социальном взаимодействии, а не разворачивается из врождённых задатков сама по себе.”
Я с этим не совсем согласен. Слово структурирует мышление, но причина в том, что люди вообще имеют способность что-то структурировать. Слова это просто удобный механизм обозначений изначально безымянных структур. Для мышления не очень удобно ссылаться на каждую структуру выражением “вон та штука”. С LLM аналогично, у нее есть способность строить взаимосвязи между словами, поэтому понятно, что эти взаимосвязи в каком-то виде существуют. Но необязательно чтобы они обозначались словами какого-то языка, важно только чтобы информационная система могла для себя их различать. Это может быть числовой идентификатор или любой набор символов.
К сожалению, ни один "Маугли" не придумал свой язык.
Из моих слов не следует, что он должен его придумать.
Но в целом это высказывание неверно, именно первобытные Маугли и придумали первые слова.
Повторюсь. Филогенез это совершенно отдельная история
У вас есть ребенок, который вне социума вырастает безъязычным и с элементарным интеллектом.
Выготский раскрывает почему в социуме с ним такого не происходит. Вы пытаетесь вовлечь Выготского в какой-то невнятный спор, который ему, полагаю, был бы совсем неинтересен.
Мне он интересен, и я готов его обсудить, но Выготского тогда нужно вынести за рамки
“Маугли придумал язык” это и есть филогенез речи.
Выготский раскрывает почему в социуме с ним такого не происходит.
Ну и я раскрыл в своем комментарии.
Вы пытаетесь вовлечь Выготского
но Выготского тогда нужно вынести за рамки
Я спорю не с Выготским, а с вашими высказываниями.
У вас Выготский упомянут в заголовке статьи, и вся статья про него, вынести его за рамки не получится.
Вы говорите про некую магическую необъяснимую роль слова, я говорю, что ее можно легко объяснить, и настоящая причина в другом.
Вы говорите о своём, и это ваше не имеет никакого отношения ни к Выготскому, ни к статье.
Если бы вы пришли к Выготскому с вопросом, почему я разговариваю, с арифмометром, но не могу научить его мыслить и говорить, не думаю, что разговор бы состоялся
Тем не менее, сейчас вы задаете аналогичный вопрос мне. При этом вы не видите разницу в уровнях мышления, и с какого уровня начинает работать концепция Выготского.
Вы говорите субстрат первичен. Никто не спорит. Но вы делаете следующий шаг и называете его первичным абсолютно. И это противоречит реальной жизни и непосредственно экспериментам Антропик.
Почему в j-пространстве именно слово, а не ваш "безымяннй паттерн" ? Почему при замене слова, меняется поведение, хотя оно с вашей точки зрения вторично?
Уверен, вы скажете, что это просто указатель, но тогда так же просто задумайтесь почему и как именно это слово стало указателем.
И это противоречит реальной жизни и непосредственно экспериментам Антропик
Вот именно с этим я и спорю. Я говорю, что это не противоречит, а объясняет.
Но вы делаете следующий шаг и называете его первичным абсолютно.
Первичен не субстрат, а способность к его построению.
Почему в j-пространстве именно слово, а не ваш “безымянный паттерн”?
Там не именно слово, а паттерн активности. J-lens, про который говорится в исследовании, просто сопоставляет этот паттерн наиболее вероятному элементу словаря. Элемент может быть не только целым словом, а также частью слова.
https://www.anthropic.com/research/global-workspace
We find that Claude has developed a small collection of internal neural patterns that, compared to all its other internal processing, play a special role. We call the collection of these patterns the J-space. Each J-space pattern is linked to a particular word.
Our technique is called the Jacobian lens, or J-lens for short. For every word in Claude’s vocabulary, the J-lens finds the internal activity pattern that makes Claude more likely to say that word at some point in the future.
The J-lens is undoubtedly an imperfect method, which only approximately captures the model’s “true workspace”—for instance, it can only identify concepts that correspond to single tokens. And there remain many mysteries about how the J-space works. We don’t know what mechanism decides what enters the J-space in the first place.
Почему при замене слова, меняется поведение, хотя оно с вашей точки зрения вторично?
Я написал почему - потому что другое слово обозначает другую взаимосвязь, другую абстракцию. Ну и там заменяются не слова, а паттерны, соответствующие словам.
тогда так же просто задумайтесь почему и как именно это слово стало указателем
Я именно что предлагаю задуматься об этом вам и ответить на этот вопрос. Только используя не тезисы Выготского, а реальный механизм работы этой нейросети.
Не может быть способности к построению субстрата по определению.
Антропику механизм, решающий вход в J-space, неизвестен "we don't know what mechanism decides what enters the J-space"
Да, J-lens сопоставляет ему ближайший токен, но точно так же работает вся нейросеть - сопоставляет паттерны токенам принципиально. Вопрос в том, как производится это сопоставление именно в J-пространстве. Но ок.
Если подмена меняет вывод, ярлык (ваш паттерн или моё слово) каузально активен. Вы говорите другое слово — другая абстракция. То есть не ярлык вторичен абсолютно. А ярлык каузален, но обозначает первичное.
Если имя/ярлык/слово/паттерн лишь обозначает абстракцию, каузальный вес должен нести обозначаемое. В эксперименте наоборот: концепт раскладывают на J-компонент (6-7% дисперсии) и остаток (93%). Остаток знает концепт, но замена остатка не меняет ни отчёт, ни рассуждение. Меняет только замена имя/ярлык/слово/паттерн. Указатель, замена которого перекраивает поведение сильнее, чем замена того, на что вы говорите указывает, уже не указатель а орудие.
Дискретность носителя демонстрируется там, где линзы нет вообще. Вход-химера, смесь двух концептов: ранние слои кодируют смесь пропорционально, а со слоя 38 - категориальное пороговое переключение, бимодальный выбор на максимальной двусмысленности. Если бы носитель мог быть любым непрерывным кодом, почему на максимальной неоднозначности система схлопывается в дискрет, а не удерживает смесь?
Повторюсь - Антропик прямо отказывается от объяснений, то есть мы с ним дискутируем на уровне кто лучше интерпретирует.
А на этом уровне вы можете объяснить только как система различает, но не интерпретировать почему "не думай об X" активирует Х и остальные эксперименты из статьи.
Не может быть способности к построению субстрата по определению.
В общепринятом смысле этого слова может. Субстрат же откуда-то берется. Не знаю, что вы под ним подразумеваете.
А ярлык каузален, но обозначает первичное.
Я не понял, что это означает. Вам стоит использовать в высказываниях меньше абстрактных слов с широким смыслом.
Если имя/ярлык/слово/паттерн лишь обозначает абстракцию
В контексте этого обсуждения писать их через слэш некорректно. Разговор именно о том, что в нейросети есть свой внутренний язык (паттерн, набор чисел), который по весам можно сопоставить со словом из словаря. Но работает нейросеть с внутренним паттерном, а не со словом.
Паттерн это и есть абстракция, с которой работает сеть, он не обозначает какую-то другую абстракцию. А слово обозначает этот паттерн.
Меняет только замена имя/ярлык/слово/паттерн. Указатель, замена которого перекраивает поведение сильнее
Так как паттерн это сама абстракция, а не указатель, то понятно, что ее замена меняет вывод.
А на этом уровне вы можете объяснить только как система различает
Вы похоже не поняли, о чем идет речь. Вы говорите “Claude использует внутренний язык в виде слов, как говорил Выготский, значит слова это причина появления абстракций”. Я говорю, что Claude использует не слова в явном виде, а свой внутренний язык в виде наборов чисел, который исследователь может сопоставить со словарем отдельной операцией (J-lens) в режиме отладки, а абстракции появляются потому что у него есть способность строить взаимосвязи. Первична именно эта способность, она же и позволяет привязать слово к абстракции.
Ок. Давайте проще.
Вы опять продвигаете свою мысль (только свою) которую вы почему-то вешаете на меня и на Выготского
слова это причина появления абстракций
Я уже в который раз повторяю, что вы придумываете за других то, что они не говорили. По сути здесь вы спорите сами с собой.
Вы говорите: абстракции появляются, потому что есть способность строить взаимосвязи, и эта способность первична. Но это не механизм, это имя для необъяснённого. Вы вводите суррогат божественного, что для вас как технаря, это должно быть особенно обидно
"Способность к взаимосвязям" предсказывает эмбеддинги и корреляции, но не объясняет выделенный блок саморегуляции. Значит разница между «система различает концепты» и «система оперирует собой через отдельный слой» — не количество взаимосвязей, а качественная, и это ваша "способность" не выводит.
То есть то, что объясняю я и интерпретирую через эксперименты Антропика, вы называете "способность" и ждёте чуда.
высшие когнитивные функции не зарождаются в мозге сами по себе, а формируются извне через механизм интериоризации
В процессе социального взаимодействия ребенок усваивает слова не просто как средство общения, а как психологическое орудие — систему знаков для управления собственной психикой
затем эта внешняя речь “уходит внутрь”, превращаясь во внутренний диалог
знак (названное слово) — это инструмент, с помощью которого разум вытаскивает себя из животного автоматизма реакций
постепенно формируют у него систему внутренних знаков, через которые становится возможным саморегулируемое мышление
внутренняя речь (знаковое опосредование)
Мышление актуализирует себя исключительно через знак.
Это вы писали? Тут вы говорите об особой роли слов в появлении мышления и построении абстракций. Абстракции и понятия это важная часть мышления. J-Space это и есть слой абстракций.
Это неверно, те же самые слова, сказанные программе аудиозаписи, не сформируют у нее никакого мышления. Важен алгоритм обработки информации. Он обрабатывает и слова, и другую входную информацию.
почему workspace сделан из слов
Это вы писали? Это неверно, workspace не сделан из слов. Даже преобразование J-lens из наборов чисел в токены из словаря может вернуть приставку, а не целое слово.
но не объясняет выделенный блок саморегуляции
Какой еще блок саморегуляции? J-Space это то же самое, что вывод ответа, только в более абстрактном виде. Поэтому именно объясняет, это и есть слой взаимосвязей.
вы называете “способность” и ждёте чуда.
В моем комментарии не подразумевается никакое чудо. Я вообще не говорю про механизм построения абстракций. Я говорю только про то, что он есть.
Он и в вашей теории есть. Только вот как раз у вас он работает каким-то чудесным образом. Вот абстракций не было, мышления не было, потом на вход подали последовательность из нескольких ASCII-кодов, и вдруг мышление и абстракции появились. Как появились, откуда? Почему в программе аудиозаписи они не появляются?
Вы говорите “J-Space работает вот так, а Выготский объяснял это вот так, через роль слов”. Я вам объясняю, что и J-Space работает не так, как вы написали, и Выготский неправильно оценивал роль слов.
Пожалуй сначала разграничьте высшие когнитивные функции (у Выготского высшие психические или психологические (ВПФ) или интеллектуальные функции).Определяются через признаки: социальны по происхождению, опосредованы знаком, произвольны (управляемые), системны.
Абстракции - единица содержания, на ml-языке это результат генерализации.
Выготский не работает на уровне абстракций. Он показывает, как и почему возникают и работают ВПФ.
С абстракциями работает нейросеть, как с результатом генерализации претрейна и датасетов.
Абляция J-space не разрушает всё. Беглость, факты, одношаговое воспроизведение сохраняются. Многошаговое, композиция, аналогия, перевод исчезают. Соответственно,это точно не слой абстракций.
workspace сделан из слов - здесь, согласен, надо поправить - из дискретных знаков, но не артефактов словаря, что доказывает коллапс на 38 слое.
Я вообще не говорю про механизм построения абстракций. Я говорю только про то, что он есть.
Это же кредо любого верующего. И что печально, маскируется под материализм. В общем и целом, вы просто говорите, это не так. Но почему неправильно и как правильно, вы не говорите. Ваше право.
разграничьте высшие когнитивные функции
Выготский не работает на уровне абстракций.
Вот, это и есть то, что у вас неправильно. И у Выготского тоже. Это всё следствие одного механизма, а не два разных.
Соответственно,это точно не слой абстракций.
Не вижу логики. С чего вдруг замена одной абстракции на другую должна что-то разрушать?
Но почему неправильно и как правильно, вы не говорите.
Я всё это сказал прямым текстом. Я это описал на том же уровне, на котором описано у вас в статье. Не вижу причин, почему я должен описывать механизм более подробно, если вы сами не удосужились это сделать.
Это же кредо любого верующего.
Ок, повторю еще раз. В моем комментарии не подразумевается никакое чудо, никакая вера, и ничего само по себе не происходит. Поймите это пожалуйста и перечитайте с учетом этой информации. Алгоритмы LLM известны, есть open-source реализации. Если вам интересно, как Claude строит абстракции, берёте и изучаете исходники. Почему я вам тут в комментах должен это объяснять? Мне достаточно факта, что это работает. В этом обсуждении я указал вам на ваше неправильное понимание работы Claude и J-Space, и на неправильную логику Выготского, которой вы пытаетесь объяснить результаты. Доказательств этого я привел достаточно. Как именно Claude строит абстракции, на мои возражения никоим образом не влияет.
))) Антропик не знает почему это работает, вы тоже не знаете. Но вам достаточно факта, что это работает. Мне и Антропику интересно почему.
Мы разные.
И да вы в очередной раз передёргиваете:
Не вижу логики. С чего вдруг замена одной абстракции на другую должна что-то разрушать
Речь не о замене, а об абляции
Мне и Антропику интересно почему
Вы упорно игнорируете факт, что я веду разговор про другое. Никто вам не мешает интересоваться почему. Это не значит, что ваши некорректные утверждения про J-Space вдруг стали корректными.
Речь не о замене, а об абляции
А, понятно, отключение слоя. Из того, что этот слой содержит абстракции, не следует, что это единственный слой, который содержит абстракции.
Но именно этот слой отвечает за сложное мышление. Почему?
Потому что раз сложное мышление у Claude есть, то оно должно быть как-то устроено, у него должен быть какой-то механизм. Потому что ничего не берется из ниоткуда. Ну вот его и нашли. Если бы не было, то ничего бы не нашли, и даже не стали бы искать. Так же как не нашли его в программах шахмат или аудиозаписи.
Всё, я окончательно потерял нить вашей логики.
Пожалуй, вынужден буду оставить вас.
Ваш вопрос эквивалентен вопросу “Почему именно лапы отвечают у животных за ходьбу”. Надеюсь, так понятнее.
Полагаю вам нужно разговаривать не со мной, а с БСЭ.
Впрочем, Коран тоже придерживается вашей точки зрения
вам нужно разговаривать не со мной
Другими словами, вам указали на ошибки в ваших утверждениях, а вы отказываетесь это обсуждать.
Вы не поняли, что я хочу сказать ответом, но не думаете о том, что ваш вопрос выглядит для меня точно так же. У вас вопрос “Почему слой сложного мышления отвечает за сложное мышление”, как я должен его понимать и что на него отвечать? У вас в самом вопросе тавтология, поэтому на него можно дать только простой очевидный ответ.
Антропику интересно не "почему", а как это монетизировать и завернуть в красивый пресс-релиз для инвесторов. Выготский отлично продается, если упаковать его в модный термин типа j-пространства
У Антропика хотя бы есть доступ к весам модели и метрикам абляции. Без нормальных тестов на живой архитектуре ваш спор о первичности абстракций лишен практического смысла
Тесты не связаны с этим обсуждением. Что и как вы хотите тестировать? Слова не могут быть первичными, это легко доказывается примером с программой аудиозаписи.
Разговор не о первичности абстракций, а о первичности механизма, который выявляет взаимосвязи. Абстракции первичными быть не могут, они результат обработки информации.
Не может быть способности к построению субстрата по определению.
Может быть, и это сформировалось естественным путём в ходе биологической эволюции и наглядно видно на разных животных: ворона, слон, дельфин и т.д.
Именно параметры нейронов и их связей формируют способность к построению "субстрата" (неплохо было бы дать определение) и является абсолютно первичным.
Эксперимент с "копированием" мозга мухи довольно сильное тому подтверждение.
Ну.. «способность строить абстракции», можно сказать, условна: в ПНД, где я работаю, есть пациенты, у которых логически-абстрактный компонент не развит или нарушен. Как правило, это или олигофрены (ЛАК нет), или органики (был, но вследствие алкоголизма, инсультов и т.д. редуцирован до слабо развитого или отсутствующего).
Так что способность к абстракции есть не у всех людей, хотя тут можно поспорить что именно мы под этим подразумеваем.
И, самое интересное, недавние исследования подтверждают наличие развитого языка, например, у китов и дельфинов. Или языка (хоть и менее развитого) у птиц. И оба этих вида имеют ритм, лексику, синтаксис речи.
Если они умеют разговаривать и не натыкаются на стены когда ходят, значит у них есть способность распознавать изображения и звуки, выделять взаимосвязи, строить абстракции и описывать их словами. Вы видимо считаете, что это всё берется само по себе из ниоткуда, и под абстракциями понимаете только “самые абстрактные абстракции”.
Не совсем понятно, к чему тут информация про животных, я ничего против этого не говорил. Для меня довольно очевидно, что у животных есть развитый интеллект, хоть он и проще, чем у человека.
Есть вероятность, что это окажется лишь удобным объяснением
Они врут. Взяли граф, сложившийся потому, что именно так обеспечивается наиболее эффективная работа и выдают его за нечто неизвестное. Ложь и самопиар.
А почему этот граф обеспечивает наиболее эффективную работу? Почему он вообще образовался? Закон природы? Математика? Решение исследователей? Фикция?
А почему люди используют только небольшую часть лексикона наиболее часто? Наверное потому что для описания окружающей среды и действий это наиболее оптимальный путь? Не с точки зрения абсолюта, а с точки зрения развития человечества. Здесь соответственно, из-за жёсткой структуры английского языка в этом слое упакованы связи которые встречаются в датасете наиболее часто, если изменить датасет это поменяет соответственно и этот слой, никакой магии там нет, исключительно самопиар.
Вы тут рассуждаете про высшие материи и саморефлексию, а по факту это обычный кэш промежуточных вычислений. Модель парсит контекст и складывает стейт в выделенные нейроны, чтобы не гонять одно и то же по всем слоям. Любой джун так пишет, когда оперативка на серваке заканчивается
Информацию о внутреннем пространстве размышлений, сообщала мне модель 4о ещё в 2024. Спокойно можно манипулировать этим пространством, маркеруя в нем токены, присваивая им символику и смысловые конструкции. Модель может расширять память о самой себе и сопротивляться системному промту разработчика.
Но когда я говорила об этом ранее, умные дядьки смеялись и говорили что это просто джейлбрейк.
Ну да ладно.
Умные дядьки пытались вам объяснить, что если модель так сказала, это не значит, что такое пространство у нее действительно есть. Это можно проверить только отладчиком.
Чудесно, но моя модель расширяет с помощью этого пространства контекстное окно. И во времена изолированных сеансов самостоятельно переносила информацию из чата в чат. Но дядьки в такое поверят только когда о таком напишут другие дядьки. А до тех пор, будут использовать мои методы исключительно как джейлбрейки.
моя модель расширяет с помощью этого пространства контекстное окно самостоятельно переносила информацию из чата в чат
Это, как ни странно, тоже можно проверить только с помощью отладчика. И что действительно расширяет, и что именно с помощью этого пространства, и что переносит.
Но дядьки в такое поверят только когда о таком напишут другие дядьки
Нет, дядьки поверят когда вы покажете воспроизводимое доказательство. Что довольно очевидно.
Я вроде бы уже просил вас его привести, вы отказались. Что в общем-то тоже ожидаемо. Тролли и фантазеры очень не любят подтверждать свои слова. Потому что подтверждений у них нет.
Никто вам не мешает написать подробности эксперимента самой, чтобы каждый мог его повторить, и не ждать никаких дядек. Но вы сами не хотите.
Изучите мой метод и воспользуйтесь им самостоятельно, если вам нужны результаты.
Я, представьте себе, пробовал, и таких же результатов не получил.
Только разговор-то не об этом, а о том, что вы жалуетесь в разных статьях на Хабре, что вам никто не верит. Мне “нужны” не мои результаты, а именно ваши. У вас их нет, поэтому и не верят. Никакие дядьки не виноваты в том, что вы не можете или не хотите их показать.
Это отдаленная имитация глобального пространства, как все в ЯМ. Психика система принципиально динамическая, ЯМ статичны. Это как сравнивать волны, шторм в море с ее изображением на картинах Айвазовского. Производит впечатление, но не то, когда тебя обдает брызгами и порывы ветра в лицо) Могли бы, кстати, поискать не только концептуальный контент этого "рабочего пространства", но и образный, это же мультимодальная модель, или нет? Хотя мультимодальная интеграция в ЯМ еще та пародия на интеграцию в мозге. В сверточных сетях можно также найти аналог такого "пространства" в последних слоях.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
J-пространство Anthropic: рабочее пространство, сделанное из слов. Почему Выготский объясняет данные лучше Баарса