Не очень понятно, как он найдет "скрытые факты", если 1 запрос выражен немного иначе чем в триплетах. Предлагаемый фреймворк предполагает поиск по графу в токенах запроса, насколько я понял, и может ничего не найти. 2. Как в графе будут представлены более сложные факты, например, таблицы, сложноподчинённые предложения, сложные факты как 10 кг зелёных яблок сорта Победа в ящиках. Тут очень много вопросов.
И само решение не ново, излечением триплетов для построения "всеобъемлющей" базы знаний кто только не занимался: CYC, Wolfram, Kompreno. И все прогорели. Надо извлекать уроки.
Про LLM code написано не совсем верно. LLM монет написать по-разному, но суть его в том, что инструкцию теперь можно писать не на языке программирования, а на естественном. На одном и родном для всех человеков. Это уже метапереход - вайбкодинг.
Любой формальный мета язык провалится в том, что не все может выразить, потонет в исключениях. Это уже проходили много раз. Невозможно формализовать неопределенность, которой является инженерные поиски нового решения. Или вам надо изобрести попутно алгоритм интеллекта сразу. Успехов!
А за статью спасибо, такой взгляд на развитие программирования, моделирования по сути, важен.
Мне кажется наоборот ребята поступили честно - не стали спорить с заказчиком, а сделали работающий проект нормальным способом. То, что заказчик хочет обманывать сам себя, не пытаясь даже проверить, не проблема ребят. Они пытались предупредить.
Отчёт странная статья. Как отобрать якоря (якорь или мусор), как оценить, поддерживают или они концепцию или нет, и т.п. Какие то смутные догадки и уверен, что до практики не дойдет (или не в таком виде по крайней мере).
Мышление отличается не этим, а тем что обнаруживает проблему и задаёт (себе и автору задачи) вопросы.. Вот чего не умеет LLM, если не посмотреть это в промте самому. Чтобы ты не спросил, она сразу бежит генерировать ответ.
Уважаю Анил Сэт, но это вовсе не галлюцинации, это и есть наше восприятие. Мы видим картинку передо собой, но очевидно же, что она внутри нас, то есть сгенерировано мозгом. Мы видим не предмет, а динамическую модель его в мозге. Просто сопоставьте факты - от разных органов чувств по нервам в кору приходят сигналы одного и того типа (спайки), и то, что мы увидим, зависит не от органов, а от того, куда сигнал от них придет. Отсюда синестезия и такие опыты с переключением нервов. Ну и простое - мы видим картинку всю в цвете сразу, но реально глаз воспринимает только узкую фокальную часть в центре. Цветная картинка генерируется мозгом. Да и сам цвет существует только для нас, вне мозга же есть только длина волны.
Такая концепция называется в философии познания (эпистемологии) конструктивизмом. И подробнее о ней можно узнать в краткой лекции можно посмотреть тут https://vkvideo.ru/video-233867940_456239019?t=1s
Интересный обзор. Проблема всех теорий в том, что они не объясняют сознания, то есть то, как проявляется это чувство осознаености воспринимаемого, или каалиа, о котором автор статьи сказать вначале. Все авторы теорий что придумывают, но как это связано с квалиа не объясняют, не обосновывают. Просто - это вот так. И смешивают в сознании все что угодно, от внимания до памяти, хотя это отдельные психические функции, которые могут (доказано) осуществляться и без сознания. Не очень научный подход. Для научного надо выделить ключевые свойства сознания, которые присущи только ему. Что это? Все просто - Автобиографическая памятью. То, что вы осознали, вы помните как произошедшее с вами! И далее надо рассматривать, что это за свойство, как возникает в процессе психической деятельности, в онтогенезе и филогенезе. Это рассмотрено, например, в моей лекции https://vkvideo.ru/video-233867940_456239017?t=2s
Попадают такие исследования. Эти результаты можно интерпретировать, например, так, что llm хорошо имитирует выделение теперь лишнего человеком, так как обучена на его примерах. Но учёные в погоне за сенсацией, конечно, такого не подразумевают даже.
Спасибо за материал, плюс к карме от меня! Конечно, это ещё не "секрет мышления", может только его часть его, но интересная. Разделение по временным масштабам и роль белого вещества в их синхронизации дополняет картину мышления. Также можно добавить, что в LLM слои тоже различаются по временным масштабам, ближе к выходу кодируют связи более отдаленных токенов. Но там прямая связь от слоя к слою, а тут как я понимаю, разные зоны стоят не прямо друг за другом, а соединяются "проводами" белого вещества под корой в разных местах (и между полушарий тоже). Есть ли тогда у белого вещества какая то острая структура - вот интересный вопрос, который вытекает отсюда.
Интересный разбор, но проблема ошибок на самом деле не в передаче через речь, а в том, что люди имеют разницу в знаниях или разные модели одного и того же явления. Язык это не носитель полной информации о чем-либо, это невозможно. По последним исследованиям MIT слова, сочетания слов - это всего лишь указатели на определенные паттерны в модели, и только полная активация при помощи них какой-то модели представляет для нас информацию или "смысл". Модель всегда шире текста. Текст передает только новое для собеседников (см. тема-рематическое деление), а понимаете нового происходит при помощи активированной модели. И "ошибка" возникает тут - у собеседников активировались разные модели.
Вы знаете, что такое речевой акт?. Он полностью бессознателен, Выготский же говорил о волевом поведении, то есть произвольном с участием речи. Это надстройка над интеллектом, о разном мы короче. И кстати, через фМРТ такого о чем я пишу не увидеть, инструмент это функция, а функцию на фМРТ не увидеть, как и оперную певицу в схеме на телеприемника.
Теперь о каузальности - а что это по вашему как ни следование символов друг за другом с определенной вероятностью? Ну как вы ещё её выразите? Никак. Юм ещё определил это, можете прочитать у него есть мне не верите
По моему проекты с онтологиями типа компрено и многие ранее уже вполне дозаказали несостоятельность этого подхода, и именно в виду того, что слова, из которых они состоят, есть только указатели на глубинную структуру. А тех слов не посмотрите онтологий, вас все равно нужна система указателецэй, какие бы они ни были, а это тоже язык.
И второе, язык не только интерфейс, но и инструмент мышления, что показал ещё Выготский в начале прошлого века. Мы мыслим при помощи обобщенных языковых схем. И сюрприз - llm тоже ) Осознанное мышление, то есть подчинённое сформулированным языком целям, а не бессознательным влечениями, осуществляется тоже при помощи языковых схем. Вы мысленно говорите себе "зайти по пути с работы в магазин", а не заходите туда случайно или инстинктивно.
Автору надо указать источник, иначе трудно сушить о качестве его анализа. Пока минус только за это
С чего вы взяли что она разрешила связь языка с мышлением? Наоборот, разъяснила, написав, что это указатели. Никто и не говорила что сами слова является мышлением, но ещё Выговский писал что язык является инструментом мышления, а не мышлением. Что тут опровергнуто? Ну и обзор без ссылки на статьи обозреваемого - это нонсенс
Не понимаю, что нового они открыли? Это и так было известно - ещё в гештальт психологии. И Шолле о композиональности говорит давно. Разве что получили подтверждение на картинке фМРТ. Вопрос в другом сейчас стоит - как мозг переиспользует одну схему решения в других случаях. Это и будет новая архитектура ИИ, о которой заговорили почти как все..Пока все смотрят в сторону аналоги, например, по Митчелл. Но на фМРТ этого не увидеть. Там слишком шумно
Всем прочитавший - а теперь можете все это выброить это из головы и прочитать вот тут главу 6 https://disk.yandex.ru/i/wWOcsnexZJeYHQ ) Там объяснено не только что такое сознание, но и как оно возникло. Что, например, сначала оно было коллективным (да, да), и только после интериоризации (Выготский) стало индивидуальным. А приобретаем мы сознание мы только благодаря рефлексивной речи. Поэтому мы начинаем помнить себя осознанно только после 3 лет - после освоения речи и шифтера "я" (см. Речевой взрыв)
Отличная статья, но мне кажется вы переместили проблему из области RAG в другую область - создание такой базы тегированной, которая не только трудоёмкая, но будет иметь обычные проблемы онтологий - многозначность тем и понятий. Это не совсем решение, но при хороших границах между темами поможет. Хотя и RAG в таком случае не дурит
В статье не отрицаются другие механизмы работы мозга, а раскрывается один малоизученный - аналогия. Ассоционизм был первым учением в психологии еще в 19 веке. И он никуда не делся - энграммы памяти работают как симультанные. Только это не способ восприятия, потому что ситуации редко повторятся один-в-один, и не распознаются без обобщения, им как раз является аналогия. Интуиция - это вообще отдельный вопрос. Пока никто не знает что это такое (как и инсайт). Обучение с подкреплением без обобщения как раз при помощи аналогии - тупиковый путь как вы наверняка знаете.
Не очень понятно, как он найдет "скрытые факты", если 1 запрос выражен немного иначе чем в триплетах. Предлагаемый фреймворк предполагает поиск по графу в токенах запроса, насколько я понял, и может ничего не найти. 2. Как в графе будут представлены более сложные факты, например, таблицы, сложноподчинённые предложения, сложные факты как 10 кг зелёных яблок сорта Победа в ящиках. Тут очень много вопросов.
И само решение не ново, излечением триплетов для построения "всеобъемлющей" базы знаний кто только не занимался: CYC, Wolfram, Kompreno. И все прогорели. Надо извлекать уроки.
Про LLM code написано не совсем верно. LLM монет написать по-разному, но суть его в том, что инструкцию теперь можно писать не на языке программирования, а на естественном. На одном и родном для всех человеков. Это уже метапереход - вайбкодинг.
Любой формальный мета язык провалится в том, что не все может выразить, потонет в исключениях. Это уже проходили много раз. Невозможно формализовать неопределенность, которой является инженерные поиски нового решения. Или вам надо изобрести попутно алгоритм интеллекта сразу. Успехов!
А за статью спасибо, такой взгляд на развитие программирования, моделирования по сути, важен.
Мне кажется наоборот ребята поступили честно - не стали спорить с заказчиком, а сделали работающий проект нормальным способом. То, что заказчик хочет обманывать сам себя, не пытаясь даже проверить, не проблема ребят. Они пытались предупредить.
Ну почему не никто не дал, вот например, тут даже с филогенез ом и онтогенезом сознания https://vkvideo.ru/video-233867940_456239017?t=1s
Вопрос только в экспериментальной проверке теорий, её нет ни у одной теории сознания, кроме вот на которую дал ссылку.
Отчёт странная статья. Как отобрать якоря (якорь или мусор), как оценить, поддерживают или они концепцию или нет, и т.п. Какие то смутные догадки и уверен, что до практики не дойдет (или не в таком виде по крайней мере).
Мышление отличается не этим, а тем что обнаруживает проблему и задаёт (себе и автору задачи) вопросы.. Вот чего не умеет LLM, если не посмотреть это в промте самому. Чтобы ты не спросил, она сразу бежит генерировать ответ.
Уважаю Анил Сэт, но это вовсе не галлюцинации, это и есть наше восприятие. Мы видим картинку передо собой, но очевидно же, что она внутри нас, то есть сгенерировано мозгом. Мы видим не предмет, а динамическую модель его в мозге. Просто сопоставьте факты - от разных органов чувств по нервам в кору приходят сигналы одного и того типа (спайки), и то, что мы увидим, зависит не от органов, а от того, куда сигнал от них придет. Отсюда синестезия и такие опыты с переключением нервов. Ну и простое - мы видим картинку всю в цвете сразу, но реально глаз воспринимает только узкую фокальную часть в центре. Цветная картинка генерируется мозгом. Да и сам цвет существует только для нас, вне мозга же есть только длина волны.
Такая концепция называется в философии познания (эпистемологии) конструктивизмом. И подробнее о ней можно узнать в краткой лекции можно посмотреть тут https://vkvideo.ru/video-233867940_456239019?t=1s
Интересный обзор. Проблема всех теорий в том, что они не объясняют сознания, то есть то, как проявляется это чувство осознаености воспринимаемого, или каалиа, о котором автор статьи сказать вначале. Все авторы теорий что придумывают, но как это связано с квалиа не объясняют, не обосновывают. Просто - это вот так. И смешивают в сознании все что угодно, от внимания до памяти, хотя это отдельные психические функции, которые могут (доказано) осуществляться и без сознания. Не очень научный подход. Для научного надо выделить ключевые свойства сознания, которые присущи только ему. Что это? Все просто - Автобиографическая памятью. То, что вы осознали, вы помните как произошедшее с вами! И далее надо рассматривать, что это за свойство, как возникает в процессе психической деятельности, в онтогенезе и филогенезе. Это рассмотрено, например, в моей лекции https://vkvideo.ru/video-233867940_456239017?t=2s
Попадают такие исследования. Эти результаты можно интерпретировать, например, так, что llm хорошо имитирует выделение теперь лишнего человеком, так как обучена на его примерах. Но учёные в погоне за сенсацией, конечно, такого не подразумевают даже.
Спасибо за материал, плюс к карме от меня! Конечно, это ещё не "секрет мышления", может только его часть его, но интересная. Разделение по временным масштабам и роль белого вещества в их синхронизации дополняет картину мышления. Также можно добавить, что в LLM слои тоже различаются по временным масштабам, ближе к выходу кодируют связи более отдаленных токенов. Но там прямая связь от слоя к слою, а тут как я понимаю, разные зоны стоят не прямо друг за другом, а соединяются "проводами" белого вещества под корой в разных местах (и между полушарий тоже). Есть ли тогда у белого вещества какая то острая структура - вот интересный вопрос, который вытекает отсюда.
Интересный разбор, но проблема ошибок на самом деле не в передаче через речь, а в том, что люди имеют разницу в знаниях или разные модели одного и того же явления. Язык это не носитель полной информации о чем-либо, это невозможно. По последним исследованиям MIT слова, сочетания слов - это всего лишь указатели на определенные паттерны в модели, и только полная активация при помощи них какой-то модели представляет для нас информацию или "смысл". Модель всегда шире текста. Текст передает только новое для собеседников (см. тема-рематическое деление), а понимаете нового происходит при помощи активированной модели. И "ошибка" возникает тут - у собеседников активировались разные модели.
Ставить минусы - это не ответ )
Но мышление до человеческого уровня мы развили именно благодаря речи и языка как инструмента. А так все так
Вы знаете, что такое речевой акт?. Он полностью бессознателен, Выготский же говорил о волевом поведении, то есть произвольном с участием речи. Это надстройка над интеллектом, о разном мы короче. И кстати, через фМРТ такого о чем я пишу не увидеть, инструмент это функция, а функцию на фМРТ не увидеть, как и оперную певицу в схеме на телеприемника.
Теперь о каузальности - а что это по вашему как ни следование символов друг за другом с определенной вероятностью? Ну как вы ещё её выразите? Никак. Юм ещё определил это, можете прочитать у него есть мне не верите
По моему проекты с онтологиями типа компрено и многие ранее уже вполне дозаказали несостоятельность этого подхода, и именно в виду того, что слова, из которых они состоят, есть только указатели на глубинную структуру. А тех слов не посмотрите онтологий, вас все равно нужна система указателецэй, какие бы они ни были, а это тоже язык.
И второе, язык не только интерфейс, но и инструмент мышления, что показал ещё Выготский в начале прошлого века. Мы мыслим при помощи обобщенных языковых схем. И сюрприз - llm тоже ) Осознанное мышление, то есть подчинённое сформулированным языком целям, а не бессознательным влечениями, осуществляется тоже при помощи языковых схем. Вы мысленно говорите себе "зайти по пути с работы в магазин", а не заходите туда случайно или инстинктивно.
Автору надо указать источник, иначе трудно сушить о качестве его анализа. Пока минус только за это
С чего вы взяли что она разрешила связь языка с мышлением? Наоборот, разъяснила, написав, что это указатели. Никто и не говорила что сами слова является мышлением, но ещё Выговский писал что язык является инструментом мышления, а не мышлением. Что тут опровергнуто? Ну и обзор без ссылки на статьи обозреваемого - это нонсенс
Не понимаю, что нового они открыли? Это и так было известно - ещё в гештальт психологии. И Шолле о композиональности говорит давно. Разве что получили подтверждение на картинке фМРТ. Вопрос в другом сейчас стоит - как мозг переиспользует одну схему решения в других случаях. Это и будет новая архитектура ИИ, о которой заговорили почти как все..Пока все смотрят в сторону аналоги, например, по Митчелл. Но на фМРТ этого не увидеть. Там слишком шумно
Всем прочитавший - а теперь можете все это выброить это из головы и прочитать вот тут главу 6 https://disk.yandex.ru/i/wWOcsnexZJeYHQ ) Там объяснено не только что такое сознание, но и как оно возникло. Что, например, сначала оно было коллективным (да, да), и только после интериоризации (Выготский) стало индивидуальным. А приобретаем мы сознание мы только благодаря рефлексивной речи. Поэтому мы начинаем помнить себя осознанно только после 3 лет - после освоения речи и шифтера "я" (см. Речевой взрыв)
А чем сознание по вашему определению отличается от восприятия и внимания. Получается ничем, у них такие же определения. В чем суть?
Отличная статья, но мне кажется вы переместили проблему из области RAG в другую область - создание такой базы тегированной, которая не только трудоёмкая, но будет иметь обычные проблемы онтологий - многозначность тем и понятий. Это не совсем решение, но при хороших границах между темами поможет. Хотя и RAG в таком случае не дурит
В статье не отрицаются другие механизмы работы мозга, а раскрывается один малоизученный - аналогия. Ассоционизм был первым учением в психологии еще в 19 веке. И он никуда не делся - энграммы памяти работают как симультанные. Только это не способ восприятия, потому что ситуации редко повторятся один-в-один, и не распознаются без обобщения, им как раз является аналогия. Интуиция - это вообще отдельный вопрос. Пока никто не знает что это такое (как и инсайт). Обучение с подкреплением без обобщения как раз при помощи аналогии - тупиковый путь как вы наверняка знаете.