Все фундаментальные открытия приведшие к новым теориям таким, как КМ или ТО, были сделаны неожиданно, даже просто случайно, как в случае с радиоактивностью. Это относится к открытию линейчатых спектров, неожиданных результатов опытов Майкельсона-Морли, в которых было эмпирически установлено постоянство ск. света, или неожиданные, противоречащие теории тяготения Ньютона результаты наблюдений смещения перигелия Меркурия, и некоторые другие факты. Все они фактически вписываются в один сценарий - искали одно, нашили другое, нечто совершенно новое, не предсказываемое существующими теориями. А как еще должна проявлять себя неизведанная реальность? Только так.
Конечно при условии, что возможности экспериментальных технологий созрели для открытия таких ее новых проявлений. Как использование фотопроцесса в исследованиях, который позволил фиксировать продукты радиораспада, увеличение оптической чувствительности спектрометров, которое позволило увидеть линейчатость спектров, использование технологии интерофотометрии в исследованиях, которая позволила зафиксировать неизменность скорости света от направлений движения Земли. Оставалось только, чтобы кто-то, пусть случайно применил эти экспериментальные технологии в нужном контексте. Везло тем, кто занимался близкими задачами, как Беккерелю, который искал невидимые излучения, как Фраунгоферу, который занимался оптическими исследованиями, как Майкельсону и Морли, которые искали подтверждение теории эфира.
Поэтому исследования ТМ и ТЭ нужно вести во всех направлениях, по возможности проверять самые невероятные предположения, самыми разными доступными методами, если на них выделяют средства) Совершенно неожиданно кому повезет, и он в шуме увидит новое, что никак не предсказывалось никакими теориями и гипотетическими предположениями. И это станет толчком к новым теоретическим представлениям, которые не сводятся полностью к уже существующим. Как концепции квантованности и корпускулярно-волнового дуализма, которые потребовались для объяснения свойств линейчатых спектров и проблем с ними в классике, приведшие к КМ. Как делимость атом, точнее его ядра, в противоречии с его неделимостью по античным представлениям, приведшая к атомной и ядерной физике современности. Как концепция пространственно-временного континуума в виде пространства Минковского, для введения в физику конечности ск. распространения любых физических взаимодействий, приведшая к СТО. Или в более общем виде этой концепции, как псевдориманова многообразия, для объяснения аномалий во вращении Меркурия, приведшей к ОТО.
Действительно ждем новостей из физических и других лабораторий, надеемся, что кому-то повезет и он проявит серендипность) в хаосе эмпирических данных. Как Беккерель который увидел в этом шуме нечто новое, реально существующее явление, и сделал его достоянием физического сообщества, а не выбросил фотопластину в мусор.
Еще из истории серендипности в физике. Первым линейчатые спектры поглощения увидел Волластон. Увидел и решил, что это не достойный внимания шум прибора, упомянул об этом в своих записях, но поскольку он повторялся нашел ему нелепое объяснение, как границ цветовых диапазонов непрерывного ньютоновского спектра. В общем не проявил серендипности, возможно был уже стар, нелюбопытен и твердым приверженцем ньютоновской спектральной теории. А вот Фраунгофер любопытство проявил поняв, что это что-то новое, описал и сделал достоянием физического сообщества. Таких примеров в истории было не мало, кто упустил первенство открытия не придав ему значение, тот же С. Томсон, который также наткнулся на радиоактивность, но тоже не придал этому явлению достойного внимания. А сколько просто не обратили внимание на новое? Однако ситуация с тех пор сильно изменилась. Исследованиями занимаются не единицы а целые коллективы, эксперименты превратились в целые предприятия типа БАКа, или телескопов и детекторов частиц различного базирования, и объемы данных они генерируют не сметно. Одному человеку разобраться в них и найти новое уже не под силу. На помощь приходят суперкопы для анализа данных, но они ищут в них нужные паттерны, и набирают по ним статистику. А что же шумы? Их анализ пока не под силам. Хотя на сцене появился новый игрок - ИИ. Вот уже обнадеживающая новость такой ИИ что-то нашел в шуме БАКа. Осталось понять что? Распад или глюк)
Физическое познание видимо закончится, когда все шумы всех экспериментов получат свое объяснение.
О концептуальных. Об элементах множества «чувства»
Так они и не определи, что это за элементы множества. Если как элементарные, далее не делимые, то эти "чувства" должны соответствовать числу рецепторов. Если модальностям ощущений, то другой уровень, и другое число. Если архаичному делению Аристотеля, то их пять по основным органам чувств. Их вывод об оптимальности 7 чувств к чему относится? Как это применить к человеку? Прошел он этот оптимум в своем развитии, или еще нет?
Оказывается, максимум достигается, когда размерность концептуального пространства равна семи. Из этого исследователи делают вывод, что семь — это оптимальное количество чувств.
О каких чувствах идет речь? Пять насчитал в античности Аристотель - зрительные, слуховые, обонятельные, вкусовые и тактильные. Это грубое деление, считается по типам рецепторов, о которых он ничего не знал - короче.
«Наш вывод, конечно, носит чисто спекулятивный характер в применении к человеческим чувствам, хотя никогда не знаешь: может быть, люди будущего разовьют чувство радиации или магнитного поля.
Это может быть проделано с помощью нейроинтерфейсов - небольшой обзор исследований и технологий.
Получается в ядре галактик целый пул вложеных вселенных? ЧД сливаются, что происходит со всеми вложенными вселенными? ЧД сливаясь укрупняются, все сольются в одну? Сомнительно, что на этом уровне работает обычная линейная логика вложенных структур устройства нашей Вселенной. Мозг заполняет пустоту незнания знакомыми формами. Тот же Кант утверждал, что пространство и время лишь формы организации нашего восприятия и мышления, а не свойства реальности, а разум постоянно путается в неразрешимой игре конечного и бесконечного, делимого и неделимого, и тп. И потому ждем неожиданных открытий из физических и других лабораторий, которые в корне противоречат устоявшимся физическим представлениям. Как это произошло с неожиданными открытиями линейчатых спектров и радиоактивности положивших начало наук о микромире, или неожиданного факта постоянства скорости света в опытах Майкельсона-Морли, а также ничем необъяснимо факта смещения перигелия Меркурия, которые в совокупности с другими фактами, привели к СТО и ОТО. А пока щелкаем семечки экстравагантных гипотез)
Спасибо, интересно. Как-то баловался подобными идеями) Но реальность и ее познание сложнее устроены, как минимум изучаем теорию познания Канта - 1, 2, 3
Может, но дело в другом, дело в принципе, что человек может обобщить процедуры вычисления при обучении на конечном числе примеров, а ЯМ с существующей архитектурой нет. См. подробнее выше.
По вашему утверждению выходит, что школяр способен умножить 15580146 на 550624703 без калькулятора и не ошибиться ни в одной из цифр.
В принципе столбиком может сложить и умножить любые числа на бумаге с ручкой, если освоил процедуру. Обратите внимание в принципе всегда, т.к человек сделал, первое, обобщение, и второе, оно действует, как навык, человеку не нужно каждый раз инструктировать, когда и как его применять. Ошибки могут возникать только из-за невнимания, т.е. случайно, это биология, но человек может их сам исправить в соответствии с процедурой. Есть конечно уникумы, которые делают подобное в уме, для них даже проводятся чемпионаты. Вычисления на мысленных абаках показывают еще более впечатляющие результаты, но это все специальные техники. Речь именно о символических вычислениях.
Что с ЯМ? Дело в принципе. Могут они обобщить счет на конечном числе примеров, или нет? Ответ - пока нет! И точно вычислять, какие бы установки для них делали, естественно предполагается установка "жадного" режима сэмплирования, тоже нет. Какие обобщения могут делать ЯМ с учетом их текущей архитектуры? Только аппроксимации, нейронные сети универсальные аппроксиматоры, думаю вы в курсе. Если для обобщения требуется конечное число примеров, как в примере здесь (в разделе "Ну а что там со сложением-то?"), то может произойти их полное обобщение, там даже подобранная формула для аппроксимации приведена. Если нет, т.е. требуется очень большое число примеров, а операции с числами несчетное множество, для вещественных континуум, то только приближенная аппроксимация, и соответственно обобщение. Именно поэтому ЯМ часто дают ответы близкие к правильным значениям в вычислениях с большими числами. Чем больше примеров в обучающей выборке, тем точнее аппроксимация, тем больше точных ответов и близких к правильным. Но всегда будут ошибочные. Это архитектурное ограничение прямых трансформерных сетей ЯМ! У калькуляторов, и в мат. пакетах такого ограничения нет, т.к. выполнение алгоритмов вычисления символических чисел в процессоре позволяет делать, в принципе, любое число циклов. В ЯМ это доступно только через внешний авторегрессионный цикл. И в том случае, если хотим заставить выполнять эти операции по инструкциям, коль скоро аппроксимации дают ошибки. При этом цикличность операций разворачивается в линейную последовательность шагов, где-то подобное на Хабре демонстрировалось. Их число будет конечным из-за ограничений объема контекстного окна, и следовательно, опять будут возникать ошибки. Конечно можно проверять их результаты, инструктировать в промптах исправлять ошибки, использовать разные оптимизации, и тд. Сорри, но это не ИИ будущего в моих представлениях.
Резюмируя в чем разница. Школьник на конечном числе примеров может сделать обобщение этих операций, и использовать их самостоятельно. Ошибки при вычислениях могут быть связаны с когнитивными ограничениями, в основном недостатком внимания, но он сам может проверять и исправлять их. ЯМ в принципе не могут сделать такое обобщение на конечном числе примеров, в силу специфики задачи, и ограничений архитектуры. Их ошибки связаны либо с ошибками аппроксимации, либо при инструкциях с ограничениями объема памяти контекстного окна. Ирония в том что само железо на котором "крутится" ЯМ при прямом программировании такие точные вычисления делать может, а вот мозг наоборот, прямые вычисления может делать ограниченно, только с использование специальных техник, как это делают феноменальные счетчики.
У человек также имеется нативная аппроксимационная процедура оценки численности и операций с ними, доставшаяся нам эволюционно. Она правильно работает только до 3-4, дальше вероятностные оценки подчиняющиеся закону Вебера (отношение разброса оценки к самому числу константа). Символическое представление чисел и операций с ними выработалась и базируется на этой системе. К абстрактно-символической мы прибегаем, когда есть время на точный счет, если нет, особенно в опасных ситуациях, то оцениваем и вычисляем с помощью нативной системы приближенно. И это позволяет, как правило, выживать, и животным, и человеку.
Это не одна проблема с обобщением, подобных выявилось не мало в процессе эксплуатации ЯМ в последнее время, поэтому начинается новый цикл осмысления их архитектуры, и ЯМ и агентов - 1, 2, 3. На мой взгляд конечным решением будет переход на нейроморфные архитектуры. У них преимущества по динамике, асинхронности выполнения, непрерывности обучения, вычислениям в памяти, и главное, в энергоэффективности.
По 1 ссылке как раз противоположное говорится, что модели могут это сделать.
Сорру, правильная ссылка на комент, ниже ссылка на другой пример.
Люди собирали статистику, им больше доверия. По логике, если ЯМ используют CoT, то точность будет зависеть от объема контекстного окна. У вас примеры простые с целыми числами, речь о любых. Проверьте с вещественные стозначные и со сто знаков после запятой сгенерированные случайно с набором статистики. Если проверять, то корректно. Да, на практике такие числа практически не встречаются, но это дело принципа, сравнения с возможностями человека, как мотив для развития ЯМ. Когда-то и такие числа могут быть востребованы, и что это будет за ИИ, который не может правильно обучиться достаточно простой для человеческого интеллекта задаче обобщения? Таких процедур не мало, если эволюция отвела для них даже отдельный вид памяти.
В чем вообще проблема. Символическое сложение и умножение циклические процедуры. Со школы обучившись этой процедуре на примерах и объяснениях учителей навык оседает в процедурной памяти, как, например, и навык вождения авто после обучения. Проводились даже исследование таких навыков с визуализацией активности мозга, где и как, и такая цикличность была зафиксирована. В мозге связи рекуррентные. В ЯМ с трансформерной архитектурой, а сами они прямые сети, организовать цикличность можно только через внешний авторегрессионный цикл, и в этом проблема, из-за конечности размера окна.
Спасибо за примеры генерации. У меня их тоже полно, правда где-то годовой давности, и там ошибок немало. Не раз обсуждал эту тему - ветка с многими примерами, пример, правда, со степенями, ветка о причинах ошибок. Но приведенные примеры возможно несколько устарели, и уже правильно вычисляются в новых моделях, обучающие выборки растут в объеме и числе параметров моделей. Но все примеры с числами в выборках все равно не охватить.
Но как быть с бесконечностями? Здесь вступает в игру перенормировка - один из самых непонятых, но фундаментальных инструментов теоретической физики.
Суть в следующем: бесконечности, возникающие в расчётах, не являются физическими. Они - артефакт того, что мы пытаемся описать взаимодействие на всех масштабах сразу, включая нереалистично малые расстояния. Перенормировка позволяет "переопределить" наблюдаемые величины - массу и заряд электрона - через их эффективные значения, измеренные при определённых условиях. Всё, что не наблюдается напрямую, поглощается в эти параметры.
Это не "подгонка", как иногда думают. Это строгая математическая процедура, доказанная Дайсоном: в КЭД все бесконечности можно последовательно устранить, и результат остаётся конечным и предсказуемым.
Костыль от того, что он достаточно точный, не перестает быть костылем. Его суть в экспериментальном устранении расходимостей, которая зависит от точности измерений, в данном случае, массы и заряда электрона. Чем точнее эти измерения, тем точнее результаты подпраленной ручками теории.
Наличие сингулярностей в формальном аппарате физических теории признак незавершенности теорий. Насколько он распространен? Вспомним классику, бесконечности в законах гравитации Ньютона и электростатики Кулона при радиусе стремящимся к нулю. Каким костылем это объясняли тогда? Конечностью размера неделимого атома, еще демокритовского. До тех пор пока не выяснилось, что атом делим, точнее его ядро, и это было началом новой атомной и ядерной физики. А ультрафиолетовая катастрофа связанная с бесконечной энергией спектра при стремлении длины волны к нулю? Привела к идее костыля квантования, Планк долго стеснялся о нем сообщать физическому сообществу, но развитие этой идеи привело к новой науке - КМ. Сингулярность во втором законе Ньютона a = F / m , при m стремящей к нулю приводит к бесконечному ускорению. Чем закрывали? Тем же костылем неделимого атома с конечной массой. Оказалось нет, проблема в другом, в ограниченной скорости распространения взаимодействий, которая была установлена в опытах Майкельсона-Морли. К чему это привело, в совокупности с другими факторами? К новой механике в виде СТО. Эта же сингулярность в законе тяготения Ньютона в совокупности с СТО привела к обобщению в виде новой теории гравитации - ОТО. Но и в ней сингулярности не исчезли. Эйнштейн считал обнаружение сингулярных решений ОТО большим недостатком теории. Пока одно из них в применении к эволюции Вселенной не было подтверждено наблюдениями Хабла, и впоследствии стало основой для теории БВ. Позже было подтверждено другое сингулярное решение в виде обнажения ЧД. Сингулярности просто орут о новом, неизвестном) Ищите здесь новые горизонты реальности, отбрасывая костыли! Как эти подтвержденные сингулярности ОТО объяснить? Пока не известно, имеются только предположения, теоретические костыли. Один из них, призванный навсегда закрыть проблему размеров частиц, теория струн. Но, увы. Результативных экспериментов по закрытию этих сингулярностей еще не было и многие уже не надеется это. Почему? ТС чисто математический экзерсис на который было потрачено немало сил и ресурсов. Проявления новых горизонтов реальности абсолютно не предсказуемо! Имеется в виду вне известных теорий. Все перечисленные выше экспериментальные результаты были получены случайно, как правило, в стиле искали одно, нашли другое. Так было с открытием линейчатых спектров, радиоактивности, не ожидаемого негативного результата опытов М-М, и тд. Костыли в теориях просто так не уходят, для этого необходимо созревание многих условий, первую очередь, появления новых экспериментальных технологий, и тогда открытие становится делом везения. В случае с открытием линейчатых спектров такой новой технологией было резкое повышение чувствительности спектроскопов, радиоактивности - открытие фотографического процесса, опытов М-М появление интерферометрии.
Вот так дыры в формальных моделях физических теорий, говорящие о их ограничениях, приводят к костылям для их закрытия, теоретическим и опытным, борьба с которыми приводит к новых экспериментальным открытиям фундаментального уровня, и к теориям новой физики, которая эти дыры корректно закрывают. И, увы, открывают другие, новые, более глубокие и трудные для понимания. И как утверждал старик Кант в своей теории познания конца этому не видно - реальность "вещей в себе" до конца не познаваема)
Уже известно, что LLM с трудом обобщают свои способности к рассуждению. В статье подчёркивается: «теоретические и эмпирические данные показывают, что CoT работает успешно только тогда, когда тестовые данные содержат скрытые структуры, сходные с обучающими; во всех остальных случаях производительность резко падает».
Вывод исследования однозначен: CoT — это «утончённое структурное сопоставление шаблонов, жёстко ограниченное обучающими данными». Малейший выход за пределы распределения приводит к полному провалу. То, что кажется логически последовательным рассуждением, на деле оказывается лишь миражом — результатом запоминания или интерполяции уже известных схем, а не настоящим логическим выводом.
Чтобы это понять не нужно даже проводить специальных исследований, а вспомнить тот факт, что никакие ЯМ не могут правильно складывать и умножать любые наперед заданные числа без использования сторонних средств, см. 1, 2 с примерами. Т.е. ЯМ не могут на любой выборке из сети обучиться и выработать универсальную процедуру сложения и умножения чисел на конечном числе примеров, которые в них имеются. То чему могут обучиться среднестатистические школяры уже в начальных классах. ЯМ моделируют пока только ассоциативное мышление и память, а у человека, кроме того, имеется абстрактно-логический уровень мышления, который может использовать любое число циклов при выполнении процедур и специальную процедурную память. Нужно улучшать архитектуру нейросетей ЯМ, а не ограничиваться только трансформерами.
Сон - это не просто перерыв в бодрствовании, а фундаментальная часть нашей биологии. Взрослый человек проводит около трети своей жизни во сне, и эта потребность универсальна для большинства млекопитающих. Но зачем нам сон? На первый взгляд, это кажется эволюционной загадкой: в дикой природе спящее существо уязвимо, а энергия, затрачиваемая на сон, могла бы быть использована для выживания. Однако исследования показывают, что сон играет ключевую роль в поддержании здоровья мозга и тела.
Эволюционной загадкой? А наступление ночи как-бы не причем, суточный и другие ритмы? Чрезвычайно эволюционно значимые факторы приспособления и отбора. Ночью намного сложнее вести активной образ жизни, т.к. дневное зрение не работает. Хотя ночных животных немало это всего лишь адаптация вызванная эволюционным давлением, которое вытеснило их в эту экологическую нишу. Одних из-за дневных хищников, которых очень много. Считается, что предки млекопитающих были небольшими ночными животными во времена динозавров из-за их давления и поэтому выжили. А хищники? За сонной добычей легче охотится. Поэтому многие приспособились охотится ночью, хотя бы частично, как львы. Чисто ночных охотников не так уж много. Есть и другие факторы связанные с размножением. Но ночные животные вынуждены днем прятаться, бездействовать, и поэтому тоже спать.
Сон вынужденная мера, множество животных, особенно простейших, никогда не спят, или спят мало, и это могут быть специфические виды "сна" - оцепенение, гибернация (сезонная спячка), и тп. (запустите поиск - животные которые не спят). Если вернуться к млекопитающим, то сон для них характеризуется оцепенением мышц, торможением активности мозга, и частичной депривацией восприятия. Что такое депривация? С ней экспериментируют даже с помощью специальных камер добиваясь, как можно полной депривации. Полная и длительная депривация может приводить к проблемам с психикой, неполная, как правило вызывает галлюциогенные состояния связанные с различными проблемами индивида. Сновидения в норме это род подобных галлюциогенных состояний со спецификой сна вызванных вынужденной частичной депривацией, а не переход в параллельные миры. Сны испытывают многие другие млекопитающие, а не только люди, и это хорошо установленный факт. Впрочем, собаки могут бегать по своим собачьим мирам, исходя из такой логики) Хотя, некоторые считают, что любые галлюцинации это путешествия в иные миры - трипы, и используют для такого перехода любые средства.
Что касается "очистки" мозга во время сна и "перезагрузки" состояния, то эволюция нашла подобные применения этому вынужденному состоянию, но не стоит их абсолютизировать. Сезонные спячки животных на полгода вовсе не связаны с этими процессами. Мозг всегда потребляет свои ~20% процентов энергии, шумит в целом одинаково, что при бодрствовании, что при активности связанной с решением интеллектуальных задач, что во сне. Проблема в организации этой активности, по современным представлениям, в критических режимах. Вот это пока действительно загадка.
Куклы тут не причем, хотя интеллект для воплощенных агентов - роботов, понадобится. Архитектуру придется улучшать хотя бы из-за повышения ее энергоэффективности, но также и улучшения функционала. По ссылке выше приводил пример - 1, 2 с операциями для любых чисел без обращения к внешним специализированным средствам. Для этого необходима встроенная рекуррентность, для организации аналога процедурной памяти, которая позволит обучаться циклическим процедурам с любым числом циклов, тому что могут уже школяры в начальных классах на конечном числе примеров.
Оба компонента важны и язык и его обоснованность (grounding), воплощенность (embodying, язык), то о чем фактически писали выше. Именно недостаточность этих компонент в ЯМ является причиной их избыточного фантазирования ("галлюцинаций"). Обучением только на текстах эту задачу не решить, как не увеличивая объем выборки и число параметров моделей. Тут требуются архитектурные улучшения, включения той же рекуррентности. Например, как встроить интуитивную физику или теорию теорий в эти модели? Пока это только имитации, и далеко не самые лучшие.
Наиболее общий ответ на вопрос познаваемости реальности дан в теории познания Канта (схематично, кратко суть теории довольно сложной для понимания). Реальность "вещей в себе" не имеет предела познания, т.е. они не познаваемые, но при этом нет принципиальных ограничений на их познание, как явлений, особенно в современном когнитивном и эволюционном контексте понимания его теории. В этом смысле утверждения статьи является частным случаем представлений Канта, как познания феноменов, если согласны с тем, что имеется неустранимым субъект познания. Подход Канта позволяет избегать в процессе познания методологические кризисы вроде "исчезновения реальности", как это было в период создания КМ и ОТО, и сейчас из-за проблем с их объединением в единую теорию, т.е. якобы "выявления" границ познания реальности. Методологически это проявляется в атаках на научный метод и связанный с ним эмпирический поиск оснований и обоснования теорий. Особенно активны в этом сторонники ТС - 1, 2, из-за проблем с ее эмпирическим обоснованием.
Что касается подхода Канта, то он проявляется в исторической динамике физического познания, которая регулируется методологическими принципами дополнительности (следствие конструктивного характера познания) и соответствия (следствие исторической динамики связанной с наследованием проверенных теорий), которые были выработаны Н. Бором в период обоснования КМ на основе представлений Канта - 1, 2, так же принципом относительности к средства познания в изложении Фока.
Спасибо, интересно. В таких экспериментальных системах моделируются и проверяются также принципы работы нейросетей мозга при обучении и предсказании - принцип свободной энергии.
1) Семантическая память - хранит фактические знания, концепции и взаимосвязи. В LLM-системах это реализуется через векторные базы данных, RAG (Retrieval-Augmented Generation), и структурированные хранилища знаний.
2) Эпизодическая память - сохраняет последовательности прошлых событий и взаимодействий. Для агентов это означает возможность вспоминать предыдущие разговоры, извлекать уроки из опыта и использовать контекст прошлых взаимодействий для улучшения будущих ответов.
3) Процедурная память - содержит алгоритмы, процессы и паттерны поведения. В LLM-агентах это проявляется как внутренние рутины, методы решения задач и навыки использования инструментов.
Это деление для ЯМ весьма условное, может приводить к непониманию, т.к. в ЯМ реализован некоторый аналог того, что в психофизиологии называется ассоциативной памятью, примеры исследований - 1, 2, 3, моделирование - 4, для ЯМ - 5, 6. Из-за этого неизбежность фантазирования ("галлюцинаций") ЯМ, это их неустранимое свойство. Что касается процедурной памяти, то из-за ее отсутствия ЯМ, например, в принципе не могут считать любые числа без посторонних костылей - 1, 2. Cемантическая память также в основном сводится к ассоциативности, а не глубоким концептуальным связям - ЯМ можно легко переубедить, подобных примеров приводится масса. Это все следствия ограничений трансформерной (прямой) архитектуры ЯМ, которые со временем устранятся с помощью тех же нейроморфных решений.
И, признаться, режет глаз тезис, что модели не поддерживают абстракции и не строят «модели мира». Как минимум есть работы показывающие обратное.
Разница имеется, и еще довольно большая. Например, в физической "модели мира". ЯМ обучают имеющейся информацией в сети + некоторые исправления от экспертов. Но равнозначно ли это физической "модели мира" человека? Нет, конечно, т.к. она совокупный результат 4 млрд. летнего эволюционного обучения методом проб и ошибок (есть даже такой взгляд, что не только отбором), передаваемого наследственно, эпигенетически, и путем социального обучения, который у человека проявляется, как имплицитное знание о мире, в частности, как "интуитивная" физика, которая связана с встроенным физическим "движком" (см. работы упомянутого Тэненбаума и его группы - 1, 2, 3), т.е. является активной, предсказательной, динамической способностью, в отличии от статической модели, построенной на не полных символических описаниях из сети. Естественно, и физическая "модель" мира человека иногда подводит, но она дополняется, надстраивается символическими уточнениями выработанными на практике, и в исследованиях. Это непрерывный процесс улучшений. Это пока не реализовано в текущих трансформерных ЯМ, включая агентах, и вряд будет пока не найдется адекватная архитектура, вероятно, нейроморфная и энергоэффективная.
Конкретный пример по абстракции чисел и операций с ними, еще по теме. Тоже для своего решения требует улучшений на уровне архитектуры, если хотим имитацию этих абстракций на уровне человека, без обращения к сторонним средствам.
Т.е. в обоих случаях, и модели мира, и абстракций, ЯМ имитируют возможности человека, но пока далеко не лучшим образом. Все рассказы, что не должны имитировать, потому что у ИИ свой путь развития - немешочый, будут иметь смысл только тогда, когда ЯМ достоверно превзойдут творческие способности этих мешков. Например, придумают и эмпирически проверят КТГ, как следующее расширение физической модели мира, так чтобы это было понятно мешкам, ну или хотя бы помогут мешкам создать такую теорию. Не зря же последнего нобеля по физике дали за работы по нейросетей) Может потом они могут пойти своим путем, творить для себя, и это уже может быть не понятным людям.
Особенно, покуда мы не понимаем работу нашего интеллекта.
Да, много чего не понимаем, но уже имеющегося задела достаточно, для инспирации разработчиков ИИ лет на сто вперед... если в теме достижений в когнитивных исследованиях. Заодно, что нибудь новое об интеллекте самих мешков узнаем)
Вообще говоря необходимо ввести квант сознания как некий минимум. Проведём мысленный эксперимент
Далее описываете постановку реальных экспериментов с сенсорной депривацией. Они часто приводят к галлюцинациям, еще более глубокая и длительная к расстройствам психики. Ограниченная может улучшать творческие способности. Сон также можно рассматривать, как вынужденную форму неполной сенсорной депривации.
Все фундаментальные открытия приведшие к новым теориям таким, как КМ или ТО, были сделаны неожиданно, даже просто случайно, как в случае с радиоактивностью. Это относится к открытию линейчатых спектров, неожиданных результатов опытов Майкельсона-Морли, в которых было эмпирически установлено постоянство ск. света, или неожиданные, противоречащие теории тяготения Ньютона результаты наблюдений смещения перигелия Меркурия, и некоторые другие факты. Все они фактически вписываются в один сценарий - искали одно, нашили другое, нечто совершенно новое, не предсказываемое существующими теориями. А как еще должна проявлять себя неизведанная реальность? Только так.
Конечно при условии, что возможности экспериментальных технологий созрели для открытия таких ее новых проявлений. Как использование фотопроцесса в исследованиях, который позволил фиксировать продукты радиораспада, увеличение оптической чувствительности спектрометров, которое позволило увидеть линейчатость спектров, использование технологии интерофотометрии в исследованиях, которая позволила зафиксировать неизменность скорости света от направлений движения Земли. Оставалось только, чтобы кто-то, пусть случайно применил эти экспериментальные технологии в нужном контексте. Везло тем, кто занимался близкими задачами, как Беккерелю, который искал невидимые излучения, как Фраунгоферу, который занимался оптическими исследованиями, как Майкельсону и Морли, которые искали подтверждение теории эфира.
Поэтому исследования ТМ и ТЭ нужно вести во всех направлениях, по возможности проверять самые невероятные предположения, самыми разными доступными методами, если на них выделяют средства) Совершенно неожиданно кому повезет, и он в шуме увидит новое, что никак не предсказывалось никакими теориями и гипотетическими предположениями. И это станет толчком к новым теоретическим представлениям, которые не сводятся полностью к уже существующим. Как концепции квантованности и корпускулярно-волнового дуализма, которые потребовались для объяснения свойств линейчатых спектров и проблем с ними в классике, приведшие к КМ. Как делимость атом, точнее его ядра, в противоречии с его неделимостью по античным представлениям, приведшая к атомной и ядерной физике современности. Как концепция пространственно-временного континуума в виде пространства Минковского, для введения в физику конечности ск. распространения любых физических взаимодействий, приведшая к СТО. Или в более общем виде этой концепции, как псевдориманова многообразия, для объяснения аномалий во вращении Меркурия, приведшей к ОТО.
Действительно ждем новостей из физических и других лабораторий, надеемся, что кому-то повезет и он проявит серендипность) в хаосе эмпирических данных. Как Беккерель который увидел в этом шуме нечто новое, реально существующее явление, и сделал его достоянием физического сообщества, а не выбросил фотопластину в мусор.
Еще из истории серендипности в физике. Первым линейчатые спектры поглощения увидел Волластон. Увидел и решил, что это не достойный внимания шум прибора, упомянул об этом в своих записях, но поскольку он повторялся нашел ему нелепое объяснение, как границ цветовых диапазонов непрерывного ньютоновского спектра. В общем не проявил серендипности, возможно был уже стар, нелюбопытен и твердым приверженцем ньютоновской спектральной теории. А вот Фраунгофер любопытство проявил поняв, что это что-то новое, описал и сделал достоянием физического сообщества. Таких примеров в истории было не мало, кто упустил первенство открытия не придав ему значение, тот же С. Томсон, который также наткнулся на радиоактивность, но тоже не придал этому явлению достойного внимания. А сколько просто не обратили внимание на новое? Однако ситуация с тех пор сильно изменилась. Исследованиями занимаются не единицы а целые коллективы, эксперименты превратились в целые предприятия типа БАКа, или телескопов и детекторов частиц различного базирования, и объемы данных они генерируют не сметно. Одному человеку разобраться в них и найти новое уже не под силу. На помощь приходят суперкопы для анализа данных, но они ищут в них нужные паттерны, и набирают по ним статистику. А что же шумы? Их анализ пока не под силам. Хотя на сцене появился новый игрок - ИИ. Вот уже обнадеживающая новость такой ИИ что-то нашел в шуме БАКа. Осталось понять что? Распад или глюк)
Физическое познание видимо закончится, когда все шумы всех экспериментов получат свое объяснение.
Так они и не определи, что это за элементы множества. Если как элементарные, далее не делимые, то эти "чувства" должны соответствовать числу рецепторов. Если модальностям ощущений, то другой уровень, и другое число. Если архаичному делению Аристотеля, то их пять по основным органам чувств. Их вывод об оптимальности 7 чувств к чему относится? Как это применить к человеку? Прошел он этот оптимум в своем развитии, или еще нет?
О каких чувствах идет речь? Пять насчитал в античности Аристотель - зрительные, слуховые, обонятельные, вкусовые и тактильные. Это грубое деление, считается по типам рецепторов, о которых он ничего не знал - короче.
Это может быть проделано с помощью нейроинтерфейсов - небольшой обзор исследований и технологий.
Все может быть проще и сложнее одновременно, каждый индивид живет в собственной симуляции)
Получается в ядре галактик целый пул вложеных вселенных? ЧД сливаются, что происходит со всеми вложенными вселенными? ЧД сливаясь укрупняются, все сольются в одну? Сомнительно, что на этом уровне работает обычная линейная логика вложенных структур устройства нашей Вселенной. Мозг заполняет пустоту незнания знакомыми формами. Тот же Кант утверждал, что пространство и время лишь формы организации нашего восприятия и мышления, а не свойства реальности, а разум постоянно путается в неразрешимой игре конечного и бесконечного, делимого и неделимого, и тп. И потому ждем неожиданных открытий из физических и других лабораторий, которые в корне противоречат устоявшимся физическим представлениям. Как это произошло с неожиданными открытиями линейчатых спектров и радиоактивности положивших начало наук о микромире, или неожиданного факта постоянства скорости света в опытах Майкельсона-Морли, а также ничем необъяснимо факта смещения перигелия Меркурия, которые в совокупности с другими фактами, привели к СТО и ОТО. А пока щелкаем семечки экстравагантных гипотез)
Спасибо, интересно. Как-то баловался подобными идеями) Но реальность и ее познание сложнее устроены, как минимум изучаем теорию познания Канта - 1, 2, 3
Может, но дело в другом, дело в принципе, что человек может обобщить процедуры вычисления при обучении на конечном числе примеров, а ЯМ с существующей архитектурой нет. См. подробнее выше.
В принципе столбиком может сложить и умножить любые числа на бумаге с ручкой, если освоил процедуру. Обратите внимание в принципе всегда, т.к человек сделал, первое, обобщение, и второе, оно действует, как навык, человеку не нужно каждый раз инструктировать, когда и как его применять. Ошибки могут возникать только из-за невнимания, т.е. случайно, это биология, но человек может их сам исправить в соответствии с процедурой. Есть конечно уникумы, которые делают подобное в уме, для них даже проводятся чемпионаты. Вычисления на мысленных абаках показывают еще более впечатляющие результаты, но это все специальные техники. Речь именно о символических вычислениях.
Что с ЯМ? Дело в принципе. Могут они обобщить счет на конечном числе примеров, или нет? Ответ - пока нет! И точно вычислять, какие бы установки для них делали, естественно предполагается установка "жадного" режима сэмплирования, тоже нет. Какие обобщения могут делать ЯМ с учетом их текущей архитектуры? Только аппроксимации, нейронные сети универсальные аппроксиматоры, думаю вы в курсе. Если для обобщения требуется конечное число примеров, как в примере здесь (в разделе "Ну а что там со сложением-то?"), то может произойти их полное обобщение, там даже подобранная формула для аппроксимации приведена. Если нет, т.е. требуется очень большое число примеров, а операции с числами несчетное множество, для вещественных континуум, то только приближенная аппроксимация, и соответственно обобщение. Именно поэтому ЯМ часто дают ответы близкие к правильным значениям в вычислениях с большими числами. Чем больше примеров в обучающей выборке, тем точнее аппроксимация, тем больше точных ответов и близких к правильным. Но всегда будут ошибочные. Это архитектурное ограничение прямых трансформерных сетей ЯМ! У калькуляторов, и в мат. пакетах такого ограничения нет, т.к. выполнение алгоритмов вычисления символических чисел в процессоре позволяет делать, в принципе, любое число циклов. В ЯМ это доступно только через внешний авторегрессионный цикл. И в том случае, если хотим заставить выполнять эти операции по инструкциям, коль скоро аппроксимации дают ошибки. При этом цикличность операций разворачивается в линейную последовательность шагов, где-то подобное на Хабре демонстрировалось. Их число будет конечным из-за ограничений объема контекстного окна, и следовательно, опять будут возникать ошибки. Конечно можно проверять их результаты, инструктировать в промптах исправлять ошибки, использовать разные оптимизации, и тд. Сорри, но это не ИИ будущего в моих представлениях.
Резюмируя в чем разница. Школьник на конечном числе примеров может сделать обобщение этих операций, и использовать их самостоятельно. Ошибки при вычислениях могут быть связаны с когнитивными ограничениями, в основном недостатком внимания, но он сам может проверять и исправлять их. ЯМ в принципе не могут сделать такое обобщение на конечном числе примеров, в силу специфики задачи, и ограничений архитектуры. Их ошибки связаны либо с ошибками аппроксимации, либо при инструкциях с ограничениями объема памяти контекстного окна. Ирония в том что само железо на котором "крутится" ЯМ при прямом программировании такие точные вычисления делать может, а вот мозг наоборот, прямые вычисления может делать ограниченно, только с использование специальных техник, как это делают феноменальные счетчики.
У человек также имеется нативная аппроксимационная процедура оценки численности и операций с ними, доставшаяся нам эволюционно. Она правильно работает только до 3-4, дальше вероятностные оценки подчиняющиеся закону Вебера (отношение разброса оценки к самому числу константа). Символическое представление чисел и операций с ними выработалась и базируется на этой системе. К абстрактно-символической мы прибегаем, когда есть время на точный счет, если нет, особенно в опасных ситуациях, то оцениваем и вычисляем с помощью нативной системы приближенно. И это позволяет, как правило, выживать, и животным, и человеку.
Это не одна проблема с обобщением, подобных выявилось не мало в процессе эксплуатации ЯМ в последнее время, поэтому начинается новый цикл осмысления их архитектуры, и ЯМ и агентов - 1, 2, 3. На мой взгляд конечным решением будет переход на нейроморфные архитектуры. У них преимущества по динамике, асинхронности выполнения, непрерывности обучения, вычислениям в памяти, и главное, в энергоэффективности.
Сорру, правильная ссылка на комент, ниже ссылка на другой пример.
Люди собирали статистику, им больше доверия. По логике, если ЯМ используют CoT, то точность будет зависеть от объема контекстного окна. У вас примеры простые с целыми числами, речь о любых. Проверьте с вещественные стозначные и со сто знаков после запятой сгенерированные случайно с набором статистики. Если проверять, то корректно. Да, на практике такие числа практически не встречаются, но это дело принципа, сравнения с возможностями человека, как мотив для развития ЯМ. Когда-то и такие числа могут быть востребованы, и что это будет за ИИ, который не может правильно обучиться достаточно простой для человеческого интеллекта задаче обобщения? Таких процедур не мало, если эволюция отвела для них даже отдельный вид памяти.
В чем вообще проблема. Символическое сложение и умножение циклические процедуры. Со школы обучившись этой процедуре на примерах и объяснениях учителей навык оседает в процедурной памяти, как, например, и навык вождения авто после обучения. Проводились даже исследование таких навыков с визуализацией активности мозга, где и как, и такая цикличность была зафиксирована. В мозге связи рекуррентные. В ЯМ с трансформерной архитектурой, а сами они прямые сети, организовать цикличность можно только через внешний авторегрессионный цикл, и в этом проблема, из-за конечности размера окна.
Спасибо за примеры генерации. У меня их тоже полно, правда где-то годовой давности, и там ошибок немало. Не раз обсуждал эту тему - ветка с многими примерами, пример, правда, со степенями, ветка о причинах ошибок. Но приведенные примеры возможно несколько устарели, и уже правильно вычисляются в новых моделях, обучающие выборки растут в объеме и числе параметров моделей. Но все примеры с числами в выборках все равно не охватить.
Костыль от того, что он достаточно точный, не перестает быть костылем. Его суть в экспериментальном устранении расходимостей, которая зависит от точности измерений, в данном случае, массы и заряда электрона. Чем точнее эти измерения, тем точнее результаты подпраленной ручками теории.
Наличие сингулярностей в формальном аппарате физических теории признак незавершенности теорий. Насколько он распространен? Вспомним классику, бесконечности в законах гравитации Ньютона и электростатики Кулона при радиусе стремящимся к нулю. Каким костылем это объясняли тогда? Конечностью размера неделимого атома, еще демокритовского. До тех пор пока не выяснилось, что атом делим, точнее его ядро, и это было началом новой атомной и ядерной физики. А ультрафиолетовая катастрофа связанная с бесконечной энергией спектра при стремлении длины волны к нулю? Привела к идее костыля квантования, Планк долго стеснялся о нем сообщать физическому сообществу, но развитие этой идеи привело к новой науке - КМ. Сингулярность во втором законе Ньютона a = F / m , при m стремящей к нулю приводит к бесконечному ускорению. Чем закрывали? Тем же костылем неделимого атома с конечной массой. Оказалось нет, проблема в другом, в ограниченной скорости распространения взаимодействий, которая была установлена в опытах Майкельсона-Морли. К чему это привело, в совокупности с другими факторами? К новой механике в виде СТО. Эта же сингулярность в законе тяготения Ньютона в совокупности с СТО привела к обобщению в виде новой теории гравитации - ОТО. Но и в ней сингулярности не исчезли. Эйнштейн считал обнаружение сингулярных решений ОТО большим недостатком теории. Пока одно из них в применении к эволюции Вселенной не было подтверждено наблюдениями Хабла, и впоследствии стало основой для теории БВ. Позже было подтверждено другое сингулярное решение в виде обнажения ЧД. Сингулярности просто орут о новом, неизвестном) Ищите здесь новые горизонты реальности, отбрасывая костыли! Как эти подтвержденные сингулярности ОТО объяснить? Пока не известно, имеются только предположения, теоретические костыли. Один из них, призванный навсегда закрыть проблему размеров частиц, теория струн. Но, увы. Результативных экспериментов по закрытию этих сингулярностей еще не было и многие уже не надеется это. Почему? ТС чисто математический экзерсис на который было потрачено немало сил и ресурсов. Проявления новых горизонтов реальности абсолютно не предсказуемо! Имеется в виду вне известных теорий. Все перечисленные выше экспериментальные результаты были получены случайно, как правило, в стиле искали одно, нашли другое. Так было с открытием линейчатых спектров, радиоактивности, не ожидаемого негативного результата опытов М-М, и тд. Костыли в теориях просто так не уходят, для этого необходимо созревание многих условий, первую очередь, появления новых экспериментальных технологий, и тогда открытие становится делом везения. В случае с открытием линейчатых спектров такой новой технологией было резкое повышение чувствительности спектроскопов, радиоактивности - открытие фотографического процесса, опытов М-М появление интерферометрии.
Вот так дыры в формальных моделях физических теорий, говорящие о их ограничениях, приводят к костылям для их закрытия, теоретическим и опытным, борьба с которыми приводит к новых экспериментальным открытиям фундаментального уровня, и к теориям новой физики, которая эти дыры корректно закрывают. И, увы, открывают другие, новые, более глубокие и трудные для понимания. И как утверждал старик Кант в своей теории познания конца этому не видно - реальность "вещей в себе" до конца не познаваема)
Чтобы это понять не нужно даже проводить специальных исследований, а вспомнить тот факт, что никакие ЯМ не могут правильно складывать и умножать любые наперед заданные числа без использования сторонних средств, см. 1, 2 с примерами. Т.е. ЯМ не могут на любой выборке из сети обучиться и выработать универсальную процедуру сложения и умножения чисел на конечном числе примеров, которые в них имеются. То чему могут обучиться среднестатистические школяры уже в начальных классах. ЯМ моделируют пока только ассоциативное мышление и память, а у человека, кроме того, имеется абстрактно-логический уровень мышления, который может использовать любое число циклов при выполнении процедур и специальную процедурную память. Нужно улучшать архитектуру нейросетей ЯМ, а не ограничиваться только трансформерами.
Эволюционной загадкой? А наступление ночи как-бы не причем, суточный и другие ритмы? Чрезвычайно эволюционно значимые факторы приспособления и отбора. Ночью намного сложнее вести активной образ жизни, т.к. дневное зрение не работает. Хотя ночных животных немало это всего лишь адаптация вызванная эволюционным давлением, которое вытеснило их в эту экологическую нишу. Одних из-за дневных хищников, которых очень много. Считается, что предки млекопитающих были небольшими ночными животными во времена динозавров из-за их давления и поэтому выжили. А хищники? За сонной добычей легче охотится. Поэтому многие приспособились охотится ночью, хотя бы частично, как львы. Чисто ночных охотников не так уж много. Есть и другие факторы связанные с размножением. Но ночные животные вынуждены днем прятаться, бездействовать, и поэтому тоже спать.
Сон вынужденная мера, множество животных, особенно простейших, никогда не спят, или спят мало, и это могут быть специфические виды "сна" - оцепенение, гибернация (сезонная спячка), и тп. (запустите поиск - животные которые не спят). Если вернуться к млекопитающим, то сон для них характеризуется оцепенением мышц, торможением активности мозга, и частичной депривацией восприятия. Что такое депривация? С ней экспериментируют даже с помощью специальных камер добиваясь, как можно полной депривации. Полная и длительная депривация может приводить к проблемам с психикой, неполная, как правило вызывает галлюциогенные состояния связанные с различными проблемами индивида. Сновидения в норме это род подобных галлюциогенных состояний со спецификой сна вызванных вынужденной частичной депривацией, а не переход в параллельные миры. Сны испытывают многие другие млекопитающие, а не только люди, и это хорошо установленный факт. Впрочем, собаки могут бегать по своим собачьим мирам, исходя из такой логики) Хотя, некоторые считают, что любые галлюцинации это путешествия в иные миры - трипы, и используют для такого перехода любые средства.
Что касается "очистки" мозга во время сна и "перезагрузки" состояния, то эволюция нашла подобные применения этому вынужденному состоянию, но не стоит их абсолютизировать. Сезонные спячки животных на полгода вовсе не связаны с этими процессами. Мозг всегда потребляет свои ~20% процентов энергии, шумит в целом одинаково, что при бодрствовании, что при активности связанной с решением интеллектуальных задач, что во сне. Проблема в организации этой активности, по современным представлениям, в критических режимах. Вот это пока действительно загадка.
Сколько еще стартапов можно открыть по способам аналоговых вычислений)
Куклы тут не причем, хотя интеллект для воплощенных агентов - роботов, понадобится. Архитектуру придется улучшать хотя бы из-за повышения ее энергоэффективности, но также и улучшения функционала. По ссылке выше приводил пример - 1, 2 с операциями для любых чисел без обращения к внешним специализированным средствам. Для этого необходима встроенная рекуррентность, для организации аналога процедурной памяти, которая позволит обучаться циклическим процедурам с любым числом циклов, тому что могут уже школяры в начальных классах на конечном числе примеров.
Оба компонента важны и язык и его обоснованность (grounding), воплощенность (embodying, язык), то о чем фактически писали выше. Именно недостаточность этих компонент в ЯМ является причиной их избыточного фантазирования ("галлюцинаций"). Обучением только на текстах эту задачу не решить, как не увеличивая объем выборки и число параметров моделей. Тут требуются архитектурные улучшения, включения той же рекуррентности. Например, как встроить интуитивную физику или теорию теорий в эти модели? Пока это только имитации, и далеко не самые лучшие.
Наиболее общий ответ на вопрос познаваемости реальности дан в теории познания Канта (схематично, кратко суть теории довольно сложной для понимания). Реальность "вещей в себе" не имеет предела познания, т.е. они не познаваемые, но при этом нет принципиальных ограничений на их познание, как явлений, особенно в современном когнитивном и эволюционном контексте понимания его теории. В этом смысле утверждения статьи является частным случаем представлений Канта, как познания феноменов, если согласны с тем, что имеется неустранимым субъект познания. Подход Канта позволяет избегать в процессе познания методологические кризисы вроде "исчезновения реальности", как это было в период создания КМ и ОТО, и сейчас из-за проблем с их объединением в единую теорию, т.е. якобы "выявления" границ познания реальности. Методологически это проявляется в атаках на научный метод и связанный с ним эмпирический поиск оснований и обоснования теорий. Особенно активны в этом сторонники ТС - 1, 2, из-за проблем с ее эмпирическим обоснованием.
Что касается подхода Канта, то он проявляется в исторической динамике физического познания, которая регулируется методологическими принципами дополнительности (следствие конструктивного характера познания) и соответствия (следствие исторической динамики связанной с наследованием проверенных теорий), которые были выработаны Н. Бором в период обоснования КМ на основе представлений Канта - 1, 2, так же принципом относительности к средства познания в изложении Фока.
Спасибо, интересно. В таких экспериментальных системах моделируются и проверяются также принципы работы нейросетей мозга при обучении и предсказании - принцип свободной энергии.
Это деление для ЯМ весьма условное, может приводить к непониманию, т.к. в ЯМ реализован некоторый аналог того, что в психофизиологии называется ассоциативной памятью, примеры исследований - 1, 2, 3, моделирование - 4, для ЯМ - 5, 6. Из-за этого неизбежность фантазирования ("галлюцинаций") ЯМ, это их неустранимое свойство. Что касается процедурной памяти, то из-за ее отсутствия ЯМ, например, в принципе не могут считать любые числа без посторонних костылей - 1, 2. Cемантическая память также в основном сводится к ассоциативности, а не глубоким концептуальным связям - ЯМ можно легко переубедить, подобных примеров приводится масса. Это все следствия ограничений трансформерной (прямой) архитектуры ЯМ, которые со временем устранятся с помощью тех же нейроморфных решений.
Разница имеется, и еще довольно большая. Например, в физической "модели мира". ЯМ обучают имеющейся информацией в сети + некоторые исправления от экспертов. Но равнозначно ли это физической "модели мира" человека? Нет, конечно, т.к. она совокупный результат 4 млрд. летнего эволюционного обучения методом проб и ошибок (есть даже такой взгляд, что не только отбором), передаваемого наследственно, эпигенетически, и путем социального обучения, который у человека проявляется, как имплицитное знание о мире, в частности, как "интуитивная" физика, которая связана с встроенным физическим "движком" (см. работы упомянутого Тэненбаума и его группы - 1, 2, 3), т.е. является активной, предсказательной, динамической способностью, в отличии от статической модели, построенной на не полных символических описаниях из сети. Естественно, и физическая "модель" мира человека иногда подводит, но она дополняется, надстраивается символическими уточнениями выработанными на практике, и в исследованиях. Это непрерывный процесс улучшений. Это пока не реализовано в текущих трансформерных ЯМ, включая агентах, и вряд будет пока не найдется адекватная архитектура, вероятно, нейроморфная и энергоэффективная.
Конкретный пример по абстракции чисел и операций с ними, еще по теме. Тоже для своего решения требует улучшений на уровне архитектуры, если хотим имитацию этих абстракций на уровне человека, без обращения к сторонним средствам.
Т.е. в обоих случаях, и модели мира, и абстракций, ЯМ имитируют возможности человека, но пока далеко не лучшим образом. Все рассказы, что не должны имитировать, потому что у ИИ свой путь развития - немешочый, будут иметь смысл только тогда, когда ЯМ достоверно превзойдут творческие способности этих мешков. Например, придумают и эмпирически проверят КТГ, как следующее расширение физической модели мира, так чтобы это было понятно мешкам, ну или хотя бы помогут мешкам создать такую теорию. Не зря же последнего нобеля по физике дали за работы по нейросетей) Может потом они могут пойти своим путем, творить для себя, и это уже может быть не понятным людям.
Да, много чего не понимаем, но уже имеющегося задела достаточно, для инспирации разработчиков ИИ лет на сто вперед... если в теме достижений в когнитивных исследованиях. Заодно, что нибудь новое об интеллекте самих мешков узнаем)
Далее описываете постановку реальных экспериментов с сенсорной депривацией. Они часто приводят к галлюцинациям, еще более глубокая и длительная к расстройствам психики. Ограниченная может улучшать творческие способности. Сон также можно рассматривать, как вынужденную форму неполной сенсорной депривации.
Есть понятие минимального сознания, и минимального субъективный опыта, в последнем случае в опытах с глубокой медитацией достигается похожее, но более глубокое состояние тонической готовности к восприятию.