Отчёт странная статья. Как отобрать якоря (якорь или мусор), как оценить, поддерживают или они концепцию или нет, и т.п. Какие то смутные догадки и уверен, что до практики не дойдет (или не в таком виде по крайней мере).
Мышление отличается не этим, а тем что обнаруживает проблему и задаёт (себе и автору задачи) вопросы.. Вот чего не умеет LLM, если не посмотреть это в промте самому. Чтобы ты не спросил, она сразу бежит генерировать ответ.
Уважаю Анил Сэт, но это вовсе не галлюцинации, это и есть наше восприятие. Мы видим картинку передо собой, но очевидно же, что она внутри нас, то есть сгенерировано мозгом. Мы видим не предмет, а динамическую модель его в мозге. Просто сопоставьте факты - от разных органов чувств по нервам в кору приходят сигналы одного и того типа (спайки), и то, что мы увидим, зависит не от органов, а от того, куда сигнал от них придет. Отсюда синестезия и такие опыты с переключением нервов. Ну и простое - мы видим картинку всю в цвете сразу, но реально глаз воспринимает только узкую фокальную часть в центре. Цветная картинка генерируется мозгом. Да и сам цвет существует только для нас, вне мозга же есть только длина волны.
Такая концепция называется в философии познания (эпистемологии) конструктивизмом. И подробнее о ней можно узнать в краткой лекции можно посмотреть тут https://vkvideo.ru/video-233867940_456239019?t=1s
Интересный обзор. Проблема всех теорий в том, что они не объясняют сознания, то есть то, как проявляется это чувство осознаености воспринимаемого, или каалиа, о котором автор статьи сказать вначале. Все авторы теорий что придумывают, но как это связано с квалиа не объясняют, не обосновывают. Просто - это вот так. И смешивают в сознании все что угодно, от внимания до памяти, хотя это отдельные психические функции, которые могут (доказано) осуществляться и без сознания. Не очень научный подход. Для научного надо выделить ключевые свойства сознания, которые присущи только ему. Что это? Все просто - Автобиографическая памятью. То, что вы осознали, вы помните как произошедшее с вами! И далее надо рассматривать, что это за свойство, как возникает в процессе психической деятельности, в онтогенезе и филогенезе. Это рассмотрено, например, в моей лекции https://vkvideo.ru/video-233867940_456239017?t=2s
Попадают такие исследования. Эти результаты можно интерпретировать, например, так, что llm хорошо имитирует выделение теперь лишнего человеком, так как обучена на его примерах. Но учёные в погоне за сенсацией, конечно, такого не подразумевают даже.
Спасибо за материал, плюс к карме от меня! Конечно, это ещё не "секрет мышления", может только его часть его, но интересная. Разделение по временным масштабам и роль белого вещества в их синхронизации дополняет картину мышления. Также можно добавить, что в LLM слои тоже различаются по временным масштабам, ближе к выходу кодируют связи более отдаленных токенов. Но там прямая связь от слоя к слою, а тут как я понимаю, разные зоны стоят не прямо друг за другом, а соединяются "проводами" белого вещества под корой в разных местах (и между полушарий тоже). Есть ли тогда у белого вещества какая то острая структура - вот интересный вопрос, который вытекает отсюда.
Интересный разбор, но проблема ошибок на самом деле не в передаче через речь, а в том, что люди имеют разницу в знаниях или разные модели одного и того же явления. Язык это не носитель полной информации о чем-либо, это невозможно. По последним исследованиям MIT слова, сочетания слов - это всего лишь указатели на определенные паттерны в модели, и только полная активация при помощи них какой-то модели представляет для нас информацию или "смысл". Модель всегда шире текста. Текст передает только новое для собеседников (см. тема-рематическое деление), а понимаете нового происходит при помощи активированной модели. И "ошибка" возникает тут - у собеседников активировались разные модели.
Вы знаете, что такое речевой акт?. Он полностью бессознателен, Выготский же говорил о волевом поведении, то есть произвольном с участием речи. Это надстройка над интеллектом, о разном мы короче. И кстати, через фМРТ такого о чем я пишу не увидеть, инструмент это функция, а функцию на фМРТ не увидеть, как и оперную певицу в схеме на телеприемника.
Теперь о каузальности - а что это по вашему как ни следование символов друг за другом с определенной вероятностью? Ну как вы ещё её выразите? Никак. Юм ещё определил это, можете прочитать у него есть мне не верите
По моему проекты с онтологиями типа компрено и многие ранее уже вполне дозаказали несостоятельность этого подхода, и именно в виду того, что слова, из которых они состоят, есть только указатели на глубинную структуру. А тех слов не посмотрите онтологий, вас все равно нужна система указателецэй, какие бы они ни были, а это тоже язык.
И второе, язык не только интерфейс, но и инструмент мышления, что показал ещё Выготский в начале прошлого века. Мы мыслим при помощи обобщенных языковых схем. И сюрприз - llm тоже ) Осознанное мышление, то есть подчинённое сформулированным языком целям, а не бессознательным влечениями, осуществляется тоже при помощи языковых схем. Вы мысленно говорите себе "зайти по пути с работы в магазин", а не заходите туда случайно или инстинктивно.
Автору надо указать источник, иначе трудно сушить о качестве его анализа. Пока минус только за это
С чего вы взяли что она разрешила связь языка с мышлением? Наоборот, разъяснила, написав, что это указатели. Никто и не говорила что сами слова является мышлением, но ещё Выговский писал что язык является инструментом мышления, а не мышлением. Что тут опровергнуто? Ну и обзор без ссылки на статьи обозреваемого - это нонсенс
Не понимаю, что нового они открыли? Это и так было известно - ещё в гештальт психологии. И Шолле о композиональности говорит давно. Разве что получили подтверждение на картинке фМРТ. Вопрос в другом сейчас стоит - как мозг переиспользует одну схему решения в других случаях. Это и будет новая архитектура ИИ, о которой заговорили почти как все..Пока все смотрят в сторону аналоги, например, по Митчелл. Но на фМРТ этого не увидеть. Там слишком шумно
Всем прочитавший - а теперь можете все это выброить это из головы и прочитать вот тут главу 6 https://disk.yandex.ru/i/wWOcsnexZJeYHQ ) Там объяснено не только что такое сознание, но и как оно возникло. Что, например, сначала оно было коллективным (да, да), и только после интериоризации (Выготский) стало индивидуальным. А приобретаем мы сознание мы только благодаря рефлексивной речи. Поэтому мы начинаем помнить себя осознанно только после 3 лет - после освоения речи и шифтера "я" (см. Речевой взрыв)
Отличная статья, но мне кажется вы переместили проблему из области RAG в другую область - создание такой базы тегированной, которая не только трудоёмкая, но будет иметь обычные проблемы онтологий - многозначность тем и понятий. Это не совсем решение, но при хороших границах между темами поможет. Хотя и RAG в таком случае не дурит
В статье не отрицаются другие механизмы работы мозга, а раскрывается один малоизученный - аналогия. Ассоционизм был первым учением в психологии еще в 19 веке. И он никуда не делся - энграммы памяти работают как симультанные. Только это не способ восприятия, потому что ситуации редко повторятся один-в-один, и не распознаются без обобщения, им как раз является аналогия. Интуиция - это вообще отдельный вопрос. Пока никто не знает что это такое (как и инсайт). Обучение с подкреплением без обобщения как раз при помощи аналогии - тупиковый путь как вы наверняка знаете.
Вам стоит почитать альтернативные теории сознания. И психологии сознания, где более приземленно и научно обоснованно излагаются теории сознания. Например, психология сознания А. Ревонсуо или вот тут https://disk.yandex.ru/i/Z_kQc8oxAIi1rQ О природе сознания и проблеме сознание тело с описанием происхождения сознания из рефлексивной речи первых людей. Тут хотя бы есть факты. Ваше же предположение даже не фальсифицируемо, не пррверяемо. Ну и последнее - математика это конструкции нашего ума, а не что-то во вселенной. Это наверно вполне очевидно )
Отличная, энциклопедичная почти статья, спасибо! Но есть одно но - изначальный посыл не верен. Конечно, нет никакого мира идей. Но и законы математики мы получаем не из опыта с миром. А скорее наоборот. Об этом говорит хотя бы первая гениальная цитата Эйнштейна. Это не более чем наши собственные, ментальные, удобные нам по разным причинам конструкции. Чисто прагматично - если математика имеет применение в предсказании, значит она "верна". А чему она там соответствует в ноумене, мы не можем даже узнать исходя из его определения. Вот тут глава 2, если интересно, подробнее https://disk.yandex.ru/i/wWOcsnexZJeYHQ
Если исходить из логики автора, что AGI это коллективный разум, усиленный машинами, то он давно тут уже, со времён появления арифмометра. Но речь вроде бы не об этом, а о том, может ли хотя бы одна машинка заменить хотя бы одного человека во всем. Пока судя по другим статьям тут не может пока даже близко, хотя диалог имитирует отлично.
Ну почему не никто не дал, вот например, тут даже с филогенез ом и онтогенезом сознания https://vkvideo.ru/video-233867940_456239017?t=1s
Вопрос только в экспериментальной проверке теорий, её нет ни у одной теории сознания, кроме вот на которую дал ссылку.
Отчёт странная статья. Как отобрать якоря (якорь или мусор), как оценить, поддерживают или они концепцию или нет, и т.п. Какие то смутные догадки и уверен, что до практики не дойдет (или не в таком виде по крайней мере).
Мышление отличается не этим, а тем что обнаруживает проблему и задаёт (себе и автору задачи) вопросы.. Вот чего не умеет LLM, если не посмотреть это в промте самому. Чтобы ты не спросил, она сразу бежит генерировать ответ.
Уважаю Анил Сэт, но это вовсе не галлюцинации, это и есть наше восприятие. Мы видим картинку передо собой, но очевидно же, что она внутри нас, то есть сгенерировано мозгом. Мы видим не предмет, а динамическую модель его в мозге. Просто сопоставьте факты - от разных органов чувств по нервам в кору приходят сигналы одного и того типа (спайки), и то, что мы увидим, зависит не от органов, а от того, куда сигнал от них придет. Отсюда синестезия и такие опыты с переключением нервов. Ну и простое - мы видим картинку всю в цвете сразу, но реально глаз воспринимает только узкую фокальную часть в центре. Цветная картинка генерируется мозгом. Да и сам цвет существует только для нас, вне мозга же есть только длина волны.
Такая концепция называется в философии познания (эпистемологии) конструктивизмом. И подробнее о ней можно узнать в краткой лекции можно посмотреть тут https://vkvideo.ru/video-233867940_456239019?t=1s
Интересный обзор. Проблема всех теорий в том, что они не объясняют сознания, то есть то, как проявляется это чувство осознаености воспринимаемого, или каалиа, о котором автор статьи сказать вначале. Все авторы теорий что придумывают, но как это связано с квалиа не объясняют, не обосновывают. Просто - это вот так. И смешивают в сознании все что угодно, от внимания до памяти, хотя это отдельные психические функции, которые могут (доказано) осуществляться и без сознания. Не очень научный подход. Для научного надо выделить ключевые свойства сознания, которые присущи только ему. Что это? Все просто - Автобиографическая памятью. То, что вы осознали, вы помните как произошедшее с вами! И далее надо рассматривать, что это за свойство, как возникает в процессе психической деятельности, в онтогенезе и филогенезе. Это рассмотрено, например, в моей лекции https://vkvideo.ru/video-233867940_456239017?t=2s
Попадают такие исследования. Эти результаты можно интерпретировать, например, так, что llm хорошо имитирует выделение теперь лишнего человеком, так как обучена на его примерах. Но учёные в погоне за сенсацией, конечно, такого не подразумевают даже.
Спасибо за материал, плюс к карме от меня! Конечно, это ещё не "секрет мышления", может только его часть его, но интересная. Разделение по временным масштабам и роль белого вещества в их синхронизации дополняет картину мышления. Также можно добавить, что в LLM слои тоже различаются по временным масштабам, ближе к выходу кодируют связи более отдаленных токенов. Но там прямая связь от слоя к слою, а тут как я понимаю, разные зоны стоят не прямо друг за другом, а соединяются "проводами" белого вещества под корой в разных местах (и между полушарий тоже). Есть ли тогда у белого вещества какая то острая структура - вот интересный вопрос, который вытекает отсюда.
Интересный разбор, но проблема ошибок на самом деле не в передаче через речь, а в том, что люди имеют разницу в знаниях или разные модели одного и того же явления. Язык это не носитель полной информации о чем-либо, это невозможно. По последним исследованиям MIT слова, сочетания слов - это всего лишь указатели на определенные паттерны в модели, и только полная активация при помощи них какой-то модели представляет для нас информацию или "смысл". Модель всегда шире текста. Текст передает только новое для собеседников (см. тема-рематическое деление), а понимаете нового происходит при помощи активированной модели. И "ошибка" возникает тут - у собеседников активировались разные модели.
Ставить минусы - это не ответ )
Но мышление до человеческого уровня мы развили именно благодаря речи и языка как инструмента. А так все так
Вы знаете, что такое речевой акт?. Он полностью бессознателен, Выготский же говорил о волевом поведении, то есть произвольном с участием речи. Это надстройка над интеллектом, о разном мы короче. И кстати, через фМРТ такого о чем я пишу не увидеть, инструмент это функция, а функцию на фМРТ не увидеть, как и оперную певицу в схеме на телеприемника.
Теперь о каузальности - а что это по вашему как ни следование символов друг за другом с определенной вероятностью? Ну как вы ещё её выразите? Никак. Юм ещё определил это, можете прочитать у него есть мне не верите
По моему проекты с онтологиями типа компрено и многие ранее уже вполне дозаказали несостоятельность этого подхода, и именно в виду того, что слова, из которых они состоят, есть только указатели на глубинную структуру. А тех слов не посмотрите онтологий, вас все равно нужна система указателецэй, какие бы они ни были, а это тоже язык.
И второе, язык не только интерфейс, но и инструмент мышления, что показал ещё Выготский в начале прошлого века. Мы мыслим при помощи обобщенных языковых схем. И сюрприз - llm тоже ) Осознанное мышление, то есть подчинённое сформулированным языком целям, а не бессознательным влечениями, осуществляется тоже при помощи языковых схем. Вы мысленно говорите себе "зайти по пути с работы в магазин", а не заходите туда случайно или инстинктивно.
Автору надо указать источник, иначе трудно сушить о качестве его анализа. Пока минус только за это
С чего вы взяли что она разрешила связь языка с мышлением? Наоборот, разъяснила, написав, что это указатели. Никто и не говорила что сами слова является мышлением, но ещё Выговский писал что язык является инструментом мышления, а не мышлением. Что тут опровергнуто? Ну и обзор без ссылки на статьи обозреваемого - это нонсенс
Не понимаю, что нового они открыли? Это и так было известно - ещё в гештальт психологии. И Шолле о композиональности говорит давно. Разве что получили подтверждение на картинке фМРТ. Вопрос в другом сейчас стоит - как мозг переиспользует одну схему решения в других случаях. Это и будет новая архитектура ИИ, о которой заговорили почти как все..Пока все смотрят в сторону аналоги, например, по Митчелл. Но на фМРТ этого не увидеть. Там слишком шумно
Всем прочитавший - а теперь можете все это выброить это из головы и прочитать вот тут главу 6 https://disk.yandex.ru/i/wWOcsnexZJeYHQ ) Там объяснено не только что такое сознание, но и как оно возникло. Что, например, сначала оно было коллективным (да, да), и только после интериоризации (Выготский) стало индивидуальным. А приобретаем мы сознание мы только благодаря рефлексивной речи. Поэтому мы начинаем помнить себя осознанно только после 3 лет - после освоения речи и шифтера "я" (см. Речевой взрыв)
А чем сознание по вашему определению отличается от восприятия и внимания. Получается ничем, у них такие же определения. В чем суть?
Отличная статья, но мне кажется вы переместили проблему из области RAG в другую область - создание такой базы тегированной, которая не только трудоёмкая, но будет иметь обычные проблемы онтологий - многозначность тем и понятий. Это не совсем решение, но при хороших границах между темами поможет. Хотя и RAG в таком случае не дурит
В статье не отрицаются другие механизмы работы мозга, а раскрывается один малоизученный - аналогия. Ассоционизм был первым учением в психологии еще в 19 веке. И он никуда не делся - энграммы памяти работают как симультанные. Только это не способ восприятия, потому что ситуации редко повторятся один-в-один, и не распознаются без обобщения, им как раз является аналогия. Интуиция - это вообще отдельный вопрос. Пока никто не знает что это такое (как и инсайт). Обучение с подкреплением без обобщения как раз при помощи аналогии - тупиковый путь как вы наверняка знаете.
Вам стоит почитать альтернативные теории сознания. И психологии сознания, где более приземленно и научно обоснованно излагаются теории сознания. Например, психология сознания А. Ревонсуо или вот тут https://disk.yandex.ru/i/Z_kQc8oxAIi1rQ О природе сознания и проблеме сознание тело с описанием происхождения сознания из рефлексивной речи первых людей. Тут хотя бы есть факты. Ваше же предположение даже не фальсифицируемо, не пррверяемо. Ну и последнее - математика это конструкции нашего ума, а не что-то во вселенной. Это наверно вполне очевидно )
Отличная, энциклопедичная почти статья, спасибо! Но есть одно но - изначальный посыл не верен. Конечно, нет никакого мира идей. Но и законы математики мы получаем не из опыта с миром. А скорее наоборот. Об этом говорит хотя бы первая гениальная цитата Эйнштейна. Это не более чем наши собственные, ментальные, удобные нам по разным причинам конструкции. Чисто прагматично - если математика имеет применение в предсказании, значит она "верна". А чему она там соответствует в ноумене, мы не можем даже узнать исходя из его определения. Вот тут глава 2, если интересно, подробнее https://disk.yandex.ru/i/wWOcsnexZJeYHQ
Если исходить из логики автора, что AGI это коллективный разум, усиленный машинами, то он давно тут уже, со времён появления арифмометра. Но речь вроде бы не об этом, а о том, может ли хотя бы одна машинка заменить хотя бы одного человека во всем. Пока судя по другим статьям тут не может пока даже близко, хотя диалог имитирует отлично.