Во многих системах при обучении распознаванию образов загружается большое количество различных изображений этого образа. Однако человек запомнив, например, цифру 3 на примере одного из ее изображений, способен распознавать тройки самых разных форм, размеров и ориентаций. Причем распознавать быстро и безошибочно. Как такое возможно?
А это, кстати, не так уж трудно понять исходя из МО. ИНС неплохо моделируют процессы в мозге, в частности, сверточные сети вентральный тракт зрительной системы приматов, т.к. прототипами ИНС были именно биологические нейроны и сети мозга. Достаточно понять, что происходит при обучении CNN. Для этого нужно посмотреть на зависимость показателей эффективности обучения от показателей их объема. Обычно вычисляется процент успеха тренинга от числа итераций обучения с заданным числом выборок (batch). В этом исследовании приводятся такие графики для разных батчей и обучающих наборов. Видно, что показатель успеха вначале довольно быстро нарастает, кумулятивно, особенно для больших значений батчей, но в дальнейшем рост резко замедляется. С чем связано такое поведение? Видимо с интеграцией в слоях сети общих признаков обучающих выборок (изображений), которые облегчают дальнейшее обучение, но все меньше содержат новизну. В нижележащих слоях накапливаются общие геометрические примитивы - различные линии, края, и тд, выше углы, контуры, еще выше общие части объектов. То же самое происходит в зрительном тракте человека только намного более эффективно, т.к. многие подобные признаки у человека носят априорный характер, они имеются уже у новорожденных. Зрительную систему не нужно тренировать специально, чтобы они появились, например, для выделения краев, линий, углов, и даже более сложных признаков, например, контуров лица. Эти факты установленные в различных психофизиологических исследованиях. Младенцы и детеныши животных реагируют на них сразу же после появления на свет. Если бы это было не так, и они уже не были готовы реагировать на различные критические ситуации, привлекая родителей, то могли быстро погибнуть. К таким общим комплексным признакам относится, в частности, нативная приближенная оценка численности объектов, см. обсуждение этого вопроса в этой ветке коментов.
Мозг с рождения имеет сложную структуру частично уже настроенную на восприятие, которая развивается с возрастом по мере приобретения опыта. Это не обучение с "чистого листа", как иногда полагают разработчики ИИ, исходя из опыта собственной работы по программированию ИНС, затем проецируя его на структуру и функции мозга. Нечто похожее предлагается в статье. Это может больше подходить для разработки проекта бионического зрения, но не объяснения процессов в мозге человека. По нейрофизиологии зрительной системы почитайте книгу одного из классиков исследований в этой области Д. Хьюбела: Глаз, мозг, зрение.
Условно они видели что в одной 9 вещей, а в другой 7 вещей, но не могли сказать какая из этих куч больше, так как для этого надо по сути сосчитать кол-во вещей в них.
Эта задача на абстрактное символическое понимание чисел и счета. Она их ставила просто в ступор, т.к. у них не выработались такие концепции. Точно также дети которые еще не освоили их не поймут о чем их просят. Речь о другой постановке задачи. Не нужно их просить в какой куче предметов больше путем их подсчета, а просто спросить какая куча им кажется большей? Тогда начинает действовать нативный механизм оценки численности основанный на чувстве численности, который был выработан эволюционно. Именно он передается фактически наследственно и подстраивается (растет точность оценки) в процессе развития в детстве с увеличением опыта обращения с предметами. Причем бессознательно. Специально этому не учат (режим обучение без учителя). Естественно, он имеет статистическую природу, чем предметов в кучах больше, тем ошибки оценки возникают чаще. Но в пределах нескольких десятков предметов такая оценка не произвольная, а закономерно подчинятся эмпирически установленному закону Вебера. Для большего числа действуют закономерности восприятия паттернов.
Это выяснилось в опытах, которые в современной постановке можно свести к оценке испытуемыми числа точек выводимых на экран монитора. Если их выводить случайным образом (по числу и положению) и достаточно долго экспонировать, то испытуемые успевают их посчитать и сказать сколько их. Работает обычный символический пересчет предметов. Что будет, если время экспонирования постепенно уменьшать? Когда оно станет равным нескольким сотням миллисекунд (имеется индивидуальный разброс) для большого числа точек - несколько десятков, точный подсчет становится невозможным, и будут даваться приблизительные ответы с разбросом в обе стороны. При еще меньшем времени ошибки уже будут и для небольшого, не больше трех, числа точек. Для 150 мс и меньше начинает принудительно работает только приблизительная оценка с помощью чувства численности. Если обработать результаты таких экспериментов для многих испытуемых, то выясняется, что отношение разброса оценки числа к самому числу остается постоянной величиной. Это и есть закон Вебера. В психофизике это задача дифференциальной оценки прироста интенсивности ощущений. Ему, кстати, подчиняются прирост интенсивности ощущений для других наших чувств. Интегральная форма этих закономерностей описывается законом Вебера-Фехнера и имеет логарифмическую зависимость. Считается, что таким образом оптимально сжимается сенсорная информация поступающая от органов чувств, т.к. диапазон действия физический стимулов велик. Измерение для мундуруку из статьи эта константа равна 0.17, для контрольной группы европейцев 0.12. Однако измерения были произведены косвенным путем сравнения куч поскольку в отличии от европейцев у них отсутствует символически счет больше нескольких чисел. Такие измерения были проведены для разных групп населения и племен и результат приблизительно одинаковые.
В свое время к методике постановки таких измерений были претензии состоящие в том, что подсчет может быть связан с физическими характеристиками изображений, а не подсчетом объектов. Действительно изображение с большим числом точек или предметов в куче в целом занимает большую площадь на экране или в куче, и сравнение может происходить по этому критерию. Специальной постановкой экспериментов удалось установить, что такое влияние имеется, но не является определяющим, а скорее является шумом для механизма оценки. Самый наглядный способ - соединить пары точек линиями и считать их целостными объектами. Площадь при этом даже увеличится за счет линий, но измерения показали, что оценка производится правильно, т.е. механизм считает именно объекты, а не сравнивает их площади и др. физические характеристики для получения оценки.
Решающим аргументом в наличии чувства численности стало подтверждение его механизмом исследованиями на приматах на нейронном уровне. Коротко, как он работает в критических ситуациях. Допустим, что в саванне вблизи перед антилопой неожиданно появляются слева 5 львов, справа 3. В какую сторон отпрыгивать, чтобы с большей вероятностью удрать? Пересчитать точно число львов предварительно полностью распознав их в окружении? В такой ситуации важны доли секунды, а на указанную процедуру уйдет немало времени, чем больше отделов мозга будет задействовано. Точный подсчет для любого количества оказался долгим, затратным и избыточным. Эволюция пошла другим путем. В отдел IPS, в котором локализуется этот механизм, поступает информация о различных простых полезных признаках из среды в поле зрения характеризующих форму, цвета, движение, и тп (они определяются результатами отбора), которые обрабатываются параллельно (так называемая преаттентивная обработка, здесь некоторая иллюстрация ее работы). Она приводит к возбуждению множества нейронов в области IPS селективно настроенных на конкретные числа объектов, от 1 до нескольких десятков (больше с эволюционной точки зрения особого смысла не имеет). Далее происходит голосование, каких именно нейронов возбудилось больше. Если, например, отвечающих за три, то принимается решение, что таких объектов в поле зрения 3. Эта информация передается в отделы мозга в которых принимается решение о дальнейшем поведении, в том числе, на основе сравнения числа опасных объектов слева и справа. Меньше возбудится число нейронов отвечающих за 2 и 4, еще меньше за другие числа. Эти уровни возбуждения наблюдались впрямую записью активности отдельных нейронов. В совокупности эта активность подчинялась закону Вебера на нейронном уровне! Этого удалось также добиться моделированием на сверточных нейронных сетях с архитектурой подобной структуре вентрального тракта зрительной системы приматов, частью которого является область IPS. Естественно, это вероятностные решения, значения признаков могут оказаться не точными, т.к. полного распознавания объектов еще не произошло. Поэтому антилопы могут иногда ошибаться и прыгать даже в направлении, где львов больше)
На самом дело, у человека умение считать кол-во предметов не врожденное.
Счет устроен сложнее, чем обычно считается) Он состоит из двух представлений - явного, символического, точного с помощью чисел, и скрытого, не символического, приближенного, нативного с помощью чувства (интуиции) численности. Символическое представление не врожденное, ему учат. А нативное, приближенное, из которого абстрактное символическое представление возникло в ходе социо-культурной эволюции человека, является фактически наследственным. Младенцы уже на 2-3 сутки после рождения могут грубо дискриминировать численность стимулов, этому их не кто не учил, и они не знают символического счета. Со временем точность этой дискриминации возрастает в результате опыта оперирования предметами в окружающем мире. Дообучение этого механизма происходит на бессознательном уровне. От того насколько хорошо работает эта нативная система - чувство численности, зависят успехи в обучении и понимании символического представления чисел, и вообще, математические способности. См. публикации на сайте ссылку на который давал выше. Нарушения области мозга отвечающей за этот механизм приводит не только к потере способности интуитивно оценивать численность, но и правильно выполнять операции с символическим представлением чисел (степень нарушений зависит от степени повреждения). Чувство численности также имеется у животных.
Что касается некоторых аборигенных племен, то они практически также, как и образованные европейцы могут интуитивно оценивать количество предметов и сравнивать совокупности на основе чувства численности. И при этом иметь примитивную символическую систему представления в которой собственные названия могут иметь только несколько первых чисел. Им пока больше не нужно)
В статье не даётся определения сознания, а потом вдруг откуда-то вместо него взялся разум (а mind еще и ум) - а это что, и как они сопоставляются?
В том переводе описывается методологический подход к исследованию ментальных явлений развивающийся в последнее время, и фактически становящийся новым стандартом исследований в этой области. Основная идея - многоуровневый, предсказательный режим функционирования нейронных механизмов мозга (Predictive coding, Bayesian approaches to brain function). В русскоязычной литературе - байесовский мозг, разум, обзор подхода - Байесовский разум: новая перспектива в когнитивной науке. Это не просто указания к постановке исследований и объяснения результатов, но и сам алгоритм исследования, моделирования основанный на принципе свободной энергии. Лучше всего изучать этот метод по работам его автора К. Фристона. Корнями этот подход уходит к знаменитой теории познания Канта, как собственно, и весь когнитивный подход. Хорошая иллюстрация подхода приведена в этой статье (ветка с более подробными объяснениями).
Хотя используете термин "прогноз" в статье довольно часто, но в несколько устаревшем кибернетическом контексте или теории автоматического управления. Гомеостаз сейчас считается частным случаем аллостазиса основанного на предсказании, а не жестком контроле. Скажем так, гомеостаз это первое приближение, следующее, более точное, аллостатический контроль, который должен позволять адаптировать саму модель реагирования.
Что касается сознания, то там есть ссылки на работы М. Солмса, который определяет его в духе эмоционального сознания и связывает с деятельностью ретикулярной активирующей системы мозга в контексте теории предиктивного кодирования. Мне больше нравится работы Метцингера по минимальному субъективному опыту, см. комент со ссылками.
Задача была показать как можно проще и даже примитивнее, на всем известных примерах, что сознание (как и работа мозга) это не нечто магическое, а вполне возможное к пониманию, что важно для сотрудников ИТ создающих ИИ.
Какое там сознание в этом ИИ) Это продвинутые архиваторы с подсказками для распаковки. Эта технология стала возможной только благодаря мощной аппаратной поддержки и не меренным энергозатратам. Он может правильно распаковать ответ на вопрос о сложном интегрировании, но не даст правильного ответа на арифметические операции с любыми числами без привлечения внешних мат. пакетов. Странный интеллект. Это пока больше маркетинг. Последняя перепалка на эти темы с адептами)
То есть собаки понимают, когда предметов становится меньше или больше.
У человека и животных имеется нативное чувство численности выработанное эволюционно. Фактически оно врожденное и имеется уже у младенцев. Отслеживалось по реакциям, движению глаз в специально поставленных экспериментах. Это чувство приблизительное, без обращения к абстрактным числам и счету. Подчиняется закону Вебера - отношение разброса оценки к оцениваемому числу объектов константа. Поэтому точность оценки быстро падает. У разных видов константа разная. Фактически это аналоговый счет, но именно на его основе возникли абстракции чисел и счет у предков людей. Некоторые аборигенные племена так и остались на уровне без абстрактного счета. Чувство численности моделируется нейросетями, см. статью и комент. На этом сайте можно проверить свое чувство численности. Немного считать могут даже растения)
Свое мнение о перспективах чисто трансформерного ИИ обосновывал ссылками на источники, так что оно не только лично мое.
Модель "o3" от OpenAI показала результат 75,7% в бенчмарке ARC-AGI-Pub.
С этими тестами часто незадача, если они стандартные, ответы на них могут присутствовать в обучающих выборках. Какие-бы результаты не показывали трансформеры, если эта архитектура не способна обучиться арифметическому счету с любыми числами, и без привлечения внешних средств правильно считать, то это сомнительный ИИ. Это касается любых операций требующих процедурную память. У трансформеров ее нет. Моделируется только что-то напоминающее ассоциативную. Это их ограничение, которое пытаются устранить различными внешними примочками, вместо того чтобы развивать архитектуру.
твое упоминание проблемы "захламления данных" тоже выглядит несостоятельным
Чтобы разобраться в этом вопросе нужно понимать, что такое процесс познания? Что является источником знаний? Такими способностями обладают системы с когнитивной архитектурой (обзор, все перечисленное там проекты во всем объеме пока так и не были доведены да рабочего состояния). Человек ей соответствует. Все современные реализации ИИ также ей не обладают. На это претендуют проекты ИИ-агентов в будущем, но вряд ли на трансформерной основе. По этим причинам перспектива захламления сети ИИ-мусором вполне реальная, если люди перестанут ее обновлять новыми знаниями, фактами и данными. Пользователи сети уже жалуются на этот мусор в выдаче поисковиков.
По этим вопросам проведено немало исследований - 1, 2, 3, 4, 5
"экспертные системы" прошлого века, которые ты почему-то считаешь удачной аналогией
Это был один из проектов символического ИИ, который помог выявить многие проблемы разработки таких систем, включая на этапе их обучения.
Трансформеры — это не тупиковая ветвь, а ФУНДАМЕНТ, который эволюционирует в том числе в новые архитектуры, включая нейроморфные решения (о которых ты вскользь упомянул) и другие подходы, — чего ты, собственно, и не отрицаешь.
Где там написано про тупиковую ветвь? Трансформеры вовсе не база для нейроморфных решений. Это другая аппаратная платформа, а не раздутые графические процессоры. Со временем решения на трансформерах займут свою нишу, где их архитектура будет эффективной. Основная проблема с ними требование огромных вычислительных ресурсов, и соответственно энергопотребление, как на обучение, так и дата-центры обслуживания онлайн. Есть еще немало недостатков. На это пока закрывают глаза и идут на затраты, чтобы создать индустрию ИИ, рынок. Если вложения не оправдаются, может повторится история с кризисом доткомов.
А реально работающий прототип, есть у "Меты". Просто надо подождать
Да, реально работающий прототип очков когда-то уже был у гугла) Все это мелочи, ждем нейроинтерфейсы. Вот это прорывная технология, и там ИИ тоже может понадобиться. А также использования ИИ со специальной архитектурой в научных исследования для обучения на эмпирических данных типа этого, а не на текстовом хламе (в основном) из сети.
Судя по тексту и количеству ссылок вы просто идолопоклонник Альтмана) Он даже не придумал трансформеры, или еще что в этом роде, это просто менеджер, который не всегда принимает верные решения. Фактически разогнал исследовательский отдел компании, все поставил на трансформеры, а не на развитие архитектуры. Пытается превратить организацию в чисто коммерческую структуру из исследовательской заявленной в уставе. Посмотри, чем это все кончится.
ЯМ на трансформерах пока как-то моделируют ассоциативное языковое мышление и память человека. Из-за этого они могут фантазировать ("галлюцинировать"). Сейчас пытаются освоить логический и критический уровень мышления, чтобы контролировать эти фантазии, но для этого нужно развивать архитектуру сетей. Интуиция и воображение связаны с образным уровнем мышления - аудио-визуальным, тактильным, и другими модальностями. На трансформерах и эти возможности как-то пытаются моделировать, но их архитектура для этого не оптимальна. Для связывания всех этих уровней мышления еще далеко и ростом числа параметров сеток и объема обучающих выборок эти проблемы не решить. Собственно даже поддержка языка на пределе возможностей этой технологии. У человека много типов мышления и они все интегрированы, см. список. Пока ЯМ не могут без привлечения внешних средств освоить даже арифметические операции для любых чисел, это тоже связано с ограничениями архитектуры. Возможно все эти ограничения удастся преодолеть в энергоэффективных нейроморфных решениях, которые лучше моделируют биологические прототипы нейронов и сетей из них. Похоже мой прогноз полуторолетней давности развития этой технологии начинает понемногу сбываться)
Абстрактное мышление осознается нами, в этом суть, поддается волевому контролю - хочу мыслю так, хочу по другому, а интуиция и воображение нет. Это безсознательный уровень психики. Можно его мотивировать, например, длительным изучением и обдумыванием проблем, но полностью контролировать нет. Это, условно, различие между фронтендом и бэкендом, что там внутри можно только догадываться.
«Мы переносим человеческий интеллект из человеческих умов в машинные умы», — сказал Джонатан Сиддхарт, генеральный директор и соучредитель Turing, компании по инфраструктуре ИИ, которая работает с OpenAI, Meta* и другими. ...
OpenAI сотрудничала с экспертами в теоретической физике, чтобы объяснить, как они подошли бы к решению самых сложных проблем в своей сфере. Это также может помочь Orion стать умнее.
Если бы все было так просто, то ИИ решающий задачи как человек появился давно, когда еще работали над технологией Экспертных систем в прошлом веке. Они должны были воспроизводить рассуждения экспертов, включая, математиков, физиков, и тд. Однако выяснилось, что рассуждения экспертов =/= их методу решения задач. На эту тему было сломано не мало копий с целью поиска причин, см. работы Дрейфуса на эту тему - обзор. Хотя сейчас используются нейросетевой (коннективистский) подход, более близкий к биологическому прототипу организации мозга, проблема по прежнему осталась. Эксперты должны свою интуицию, воображение, вообще образные формы мышления, которые существенны при при решении творческих задач, и часто они индивидуальны, выразить языком, как-то формализовать. При этом теряются существенная часть контекста решения, используемых неявных знаний и представлений. Например, для теоретика, решение может возникнуть из отдаленной аналогии о которой он не упомянет в решении, а само решение окажется достаточно тривиальным, известным. Как показывают нейрофизиологические исследования с визуализацией при решении творческих задач активизируются самые различные области мозга, включая сенсо-моторные, а не только ассоциативные в высших отделах, и эта активность имеет сложную динамику, включая обратные связи. Однако архитектура трансформеров, на которых основана технология GPT, такими внутренними связями не обладает, и ограничивается только внешним циклом. Т.е. в основном является статическим, а не динамическим решением, как в биологическом прототипе. Требуется добавление рекуррентности в архитектуру, которая может приводить к возникновению аттракторов, отвечающих за многие феномены в мозге. Движение в этом направлении в других проектах имеется.
Математика при описании мира должна соответствовать физике — реальный мир подчиняется причинам и следствиям! Наложение на математические уравнения физических причинно‑следственных связей, которые являются своего рода ограничениями, означает, что существуют математические преобразования, которые нарушают эти ограничения и являются некорректными (нефизичными) с точки зрения физики. Это звучит тревожно, потому что вера в математику, царицу наук, лежит в основе психологии любого физика.
Концептуальные модели физических теорий основанные на эмпирических данных накладывают ограничения на возможные формальные модели, но не строго, поэтому возможны ее эквивалентные формализмы (см. подробнее). В рамках концептуальной модели всегда присутствует эмпирическая модель теории, которая связывает наблюдаемые измеряемые величины теории. В случае теории гравитации Ньютона это закон гравитации F = G*(m1*m2) / R². Уравнение Пуассона один из эквивалентных формализмов теории гравитации Ньютона в котором определяется гравитационный потенциал. Какие именно математические методы подходят на роль формальных моделей теорий? На это вопрос дает ответ теории моделей, в которой исследуются эти вопросы. Подходит любой математический аппарат, методы, которые интерпретируются в концептуальной модели теории, и являются эквивалентными эмпирической формальной модели теории. Хотя конечно реальные теории, как лингвистические сущности, богаче этих представлений. Тем не менее, теория моделей хорошо демонстрирует структурные связи внутри научных теорий.
Что существует (обладает онтологическим статусом) в теориях в рамках научного реализма, который допускает существование не наблюдаемых объектов научных теорий? В данном случае концептуальное представление (в концептуальной модели теории гравитации Ньютона) о силовом поле создаваемом в пространстве гравитирующими массами, как это следует из наблюдений и измерений, которые оформились в эмпирическую мат. модель теории в виде закона Ньютона. Однако существует ли гравитационный потенциал поля в реальности? Он не проявляет себя непосредственно, определен с точностью до константы ф(r) = - G*M/r + С, но задает поведение других тел в виде действия на них силы притяжения F = ф(r)*m / r, которая являясь измеримой величиной имеет физический смысл, нося эмпирический характер. Нет, это удобный инструмент для расчетов в рамках пуассоновского формализма теории гравитации, который необходимо доопределять исходя из некоторых соображений решаемой задачи в рамках концептуальной модели теории. Как это согласуется с методологией научного реализма? Согласуется. Гр. потенциал существует в рамках эквивалентной математической модели теории, т.е. в представлениях теоретиков (виртуально в воображении, в головах и на информационных носителях). Реально существует силовое гравитационное поле, которое может действовать на тела, и быть измеримым, в широкой практике рычажными весами. Гр. потенциал, как скалярная функция, и его эквиваленты в других формализмах теории, например, векторным полем его напряженности, существуют для удобства решения определенных задач, которые возникали перед теоретической механикой на протяжении ее истории. Аналогичные рассуждения можно произвести в рамках других физических теорий. Определившись с онтологическими вопросами теорий можно рассмотреть проявления причинно-следственных связей в их формальных моделях.
Вся физика построена на математических уравнениях: например, закон притяжения Ньютона выводится из уравнения Пуассона для гравитационного потенциала:
С математической точки зрения, правая и левая части математического уравнения (1) полностью равноправны. Однако физические уравнения обычно представляют собой связь между причиной и следствием. В этом смысле правая часть (1) представляет собой причину, а левая часть (1) – следствие.
Причинно-следственные связи возникают между реально существующими физическими сущностями, которые наблюдаются и измеряются на практике, в данном случае силовым воздействием гр. поля на тело со стороны другого тела или тел подчиняющимся закону гравитации Ньютона. Однако гр. потенциал является элементом описания поля, существует виртуально в воображении физиков, и поэтому приведенная формула задает преобразование из одного представления в другое, и не определяет причинно-следственную связь. В правой части находится распределение плотности гравитирующих масс, в левой соответствующая им скалярная функция гр. потенциала описывающая конфигурацию поля, которую необходимо дополнительно калибровать. В чем разница с представлением в рамках эмпирической модели теории? Конфигурация поля в таком представлении однозначно с точностью до константы будет соответствовать распределению масс. В соответствии с эмпирическим законом Ньютона нет, разные распределения масс могут создавать одинаковый вектор силы действующий на целевое тело.
Всем понятно, что мир абстрактной математики гораздо шире мира математических уравнений, которые используют физики. Но обычно полагалось, что если выбрать правильное математическое уравнение для физической системы, то дальше оно само поведет нас за собой, лишь на одной математической логике. Оказывается, если я не ошибаюсь, физика накладывает ограничения и на математические преобразования правильного «физического» уравнения.
Совершив такой переход от мат. модели привязанной к опыту и реальности к мат. модели фактически свободной от нее можно модифицировать ее в соответствии с правилами математики и производить дополнительную интерпретацию уже в соответствии с собственным представлениями авторов. Собственно это происходит с эквивалентными формальными моделями КМ получившими название интерпретаций или трактовок КМ. В частности, формализм Бома в котором в дополнении к ВФ вводится квантовый потенциал и производится его собственная интерпретация с введением концепта волны-пилота. То же происходит с интерпретацией относительных состояний Эверетта путем введения концепта универсальной ВФ Вселенной и отказа от измерительного постулата эмпирической модели КМ. Фактически это приводит к переформулировкам КМ в другие теории квантового мира с непонятным онтологическим статусом (отношения к реальности) новых введенных концептуальных представлений. То же самое может произойти, если превратит гр. потенциал из инструментария расчета конфигурации гр. полей тел в некоторое иное представление путем его модификации и дополнительной интерпретации, и получить модификацию классической теории гравитации, как пример. Вот так, совершенно легально через эмпирически доказанные теории путем модификации их формальных моделей могут вводиться новые представления с непонятным (неопределенным) эмпирическим и онтологическим статусом.
Не случайно привел достаточно подробные рассуждения с повторами и указаниями составных частей (моделей) в данном случае теории гравитации. На практике такого разделения моделей теорий мало кто придерживается, как в публикациях и преподавании, так и работе, где обычно она сводится к расчетам, т.е. использованию формальных моделей теорий. В результате исторически, постепенно произошла подмена (вытеснение) объектов концептуальных (включая часто эмпирических) моделей теорий соответствующими представлениями формальных моделей, включая в вопросе их существования. Представление об объективности существования силового поля гравитации тел в пространстве постепенно заменилось представлениями о существовании скалярного поля гравитационного потенциала или другими мат. структурами, которые полностью его описывают (эквивалентны эмпирической формальной модели теории). Постепенно такая подмена перемещается на интуитивный уровень и начинает определять мышление, в особенности теоретиков. Насколько это существенно? Весьма, к примеру, когда Пуанкаре и Эйнштейн задумались о новой теории гравитации, то их первые наработки носили скалярный характер исходя из формализмов ньютоновской теории гравитации. Эйнштейн, как преимущественно реалист по взглядам в те годы, преодолел эту инерцию мышления, когда сформулировал принцип эквивалентности обобщив имеющиеся данные о равенстве инертной и гравитационной массы. Пуанкаре, как математик и конвенционалист по взглядам, так и не смог. А каково современным студентам) см. пример изложения классической механики в теоретико-множественном ключе без какого-либо намека на сложную внутреннюю структуру теории и ее эмпирические основания. Сжато.. да, но где тут физика?
Кант утверждал, что арифметика порождает время, поскольку временные отношения могут быть выражены числами, а геометрия порождает пространство, поскольку пространственные отношения могут быть выражены геометрическими фигурами и законами.
У Канта наоборот априорная пространственная форма познания делает возможным геометрию, а априорная временная форма познания арифметику. По современным представлениям действительно геометрическая и арифметическая интуиция возможны благодаря пространственности и темпоральности механизмов восприятия на всех уровнях. Это проверялось в многочисленных исследованиях на младенцах и аборигенах, которые ничего не знают о геометрии и арифметике (здесь ссылки на исследования по евклидовости геометрической интуиции).
А самые смелые вообще задаются вопросом, а зачем нам что-то кроме математики per se, чтобы всё объяснять?
Так в основном думают сами математики) А как же всевозможные ограничения которые выявились в самой математике? Теоремы Геделя там, которые недвусмысленно намекает на замкнутость математических основ на опыт? Как же ее интуитивный (априорный) характер, который завязан на разум, о котором еще Кант твердил, и который все больше подтверждается (1, 2) когнитивными исследованиями? Это ограниченный когнитивный ресурс. Теоретики все более обоснованно ропчат) Началось с Ли Смолина недовольного ТС с ее практически отсутствующей концептуальной физической моделью и соответственно предсказательной силы (хотя математики в восторге от нее). Матметоды не объясняют, они описывают и предсказывают результаты физических наблюдений и экспериментов (возможность предсказания возникла эволюционно на нейронном уровне структур мозга, как средство обеспечивающее выживание организмов в изменчивом физическом мире, человек только концептуализировал и символизировал эту возможность в виде арифметических и геометрических представлений на этапе социо-культурной эволюции). Объяснения находятся в концептуальных моделях физических теорий, новых идеях, которые рождаются с новым опытом, а с этим как раз похоже назревают проблемы. Тут выход один - строить новые ускорители, телескопы, детекторы частиц, и другие экспериментальные установки с соответствующими параметрами, и использовать продвинутые информационные технологии вроде ИИ обученных на эмпирических данных (как пример реализации подхода) и нейроинтерфейсов - новые когнитивные ресурсы, для поиска новых фундаментальных закономерностей в дополнении к усилиям теоретиков. Их результатом уже могут быть теории не имеющие традиционных аналитических мат. моделей.
Взаимодействия объединили, пространство и время объединили, вещество и излучение объединили...
Эти объединения основываются на теориях, которые содержат сингулярности, ОТО в виде ЧД, КТП в виде "элементарных" частиц. Объединение основанное не на полном понимании, а на опыте. А впереди объяснение суперсингулярностей - происхождения Вселенной и самого сознаниЯ)
Может быть само существование физических объектов относительно?
На квантовом и релятивистском уровне действует принцип относительности к средствам наблюдения. Это обобщение принципа относительности Эйнштейна. См. в изложении Фока. Совместно с принципами дополнительности и соответствия Бора они составляют методологическую основу понимания объектности физической реальности. Существование перечисленных объектов фактически сводится к вопросу существования ВФ описывающих их, как самостоятельной физической сущности. Вот как на этот вопрос отвечает известный физик теоретик К. Ровелли, один из авторов петлевой теории гравитации, опираясь на эти методологические основания:
In general, we can get clarity about the meaning of a quantity in an advanced theory by considering the role of this quantity in a regime where the theory reduces to physics we understand. This can be done for the wave function by looking at the semiclassical limit of quantum mechanics. In this limit, the wave function is the (expo- nent of the) Hamilton function. The Hamilton function is a quantity that nobody would dream of charging with an ontological meaning. It is a technical device for com- puting predictions about real events. The same is true for the quantum state at some time. It is not a repre- sentation of reality at that time: it is a theoretical tool for computing probabilities about possible real quantum events
Почему в предельном случае классической механики мы считает формализм элементом описания, а на квантовом ему придается онтологический статус? Некоторым обоснованием служит утверждение, что классического уровня реальности не существует, это иллюзорный мир создаваемый восприятием человека, и соответственно объектов этого уровня также нет. Нет стула за которым сидит человек, нет стола на который он опирается и таращится в несуществующий экран монитора, да и самого человека тоже нет. Есть только непрерывно эволюционирующие ВФ, как формы математического реализма. Однако Ровелли считает, что непрерывность удобный концепт выработанный человеком для описания окружающей среды (прерывистый, пороговый характер различных ощущений подтверждается психофизическими исследованиями, как раз непрерывность восприятия является иллюзорной) и распространенный за ее пределы, а онтологическую основу квантовой реальности и описывающей ее теории составляют эмпирически регистрируемые дискретные события:
These quantum events provide a reasonable ontology for quantum theory. Their characteristic aspect is to be discrete. Discreteness has been the first manifesta- tion of quantum theory (quanta of light, discrete spec- tra, discrete angular momentum, particles in quantum fields...) and discreteness remains the core physical as- pect of quantum theory: the number of distinguishable states in a finite phase space volume is finite –determined by the volume in ~ units. Forgetting discreteness and fo- cusing only on the continuity of ψ, as a number of nowa- days popular interpretations of quantum theory do, is misleading. Quantum mechanics, as the name indicates, is about “quantum” –that is “discrete”– events. God did not over-fill the world with moving waves on infinite dimensional configuration spaces. She didn’t even draw it with heavy continuous lines. She just dotted it with sparse quantum events.
Спасибо за публикацию. Один из наиболее глубоких анализов на тему возможностей и перспектив технологии ИИ. Перекликается с собственной оценкой ЯМ на трансформерной основе, котрую высказал в этом коменте. Важное уточнение по арифметическим операциям, освоение обучения которым будет являться некоторым показателем перехода на следующий уровень архитектуры ИИ, и ее приближения к когнитивной, т.е. способной к познанию.
Например, теоремы о неполноте доказывают, что в любой достаточно богатой теории будут истинные выражения, не доказуемые средствами этой теории.
Верно, это эмпирически установленные истины (постулаты, аксиомы, и тп) теории лежащие в ее основаниях. Иногда это не очевидно особенно в математических теориях, т.к. их начальные утверждения могут носить интуитивный характер. А она формируется на основе эволюционного (наследственного) и индивидуального практического опыта.
Т.о., чтобы "автоматизировать" вычисления истинности таких выражений на любых уровнях, необходимо иметь что-то, обладающее способностью произвольного перехода от текущего порядка к высшему и обратно.
Речь не об автоматизации поиска истин, он в конечном счете всегда эмпирический, в основном, путем проб и ошибок, речь о том, что сам математический формализм (вычисления) можно реализовать физически. Но это трудно на практике, долго и неудобно, поэтому эволюция нашла базовые решения, а человек символизировал их, развил, и приспособил для формального описания и вывода, включая в научных теориях.
Другое соображение, связанное с концепцией высшего порядка. Для той же физики математика необходима не только для вычислений. Она необходима для предельно точного задания абстрактных содержаний, которыми могут оперировать люди-физики - для возможности максимально эффективных изучения, проверки и трансформации исследуемой теории. Все эти задачи - изучение, проверка, трансформация - задачи мета-уровня по отношению к самой теории. Если убрать оттуда мета-уровни и оставить только машинные вычисления, то эти вычисления - без пользователя - будут не более, чем некоей механистической активностью с непроявленным смыслом (т.е., без оного).
Физические теории имеют концептуальную модель, которая основывается на новых эмпирических данных, и соответствующие ей формальные модели, вот здесь подробнее на эту тему. В основаниях также могут присутствовать метафизические предположения, которые не могут быть проверены полностью. Поэтому теории по определению всегда недоопределены и правильно работают (объясняют и предсказывают) в определенных пределах.
Можно все эмпирически (физически) вычислять, но чрезвычайно трудно, медленно и неудобно) Поэтому эволюция изобрела математику, точнее ее геометрические и арифметические основания, чтобы облегчить жизнь, человек лишь концептуализировал их. Эти основания носят априорный (интуитивный) характер, как выяснил еще Кант в своей теории познания. В целом эта точка зрения поддерживается современными эволюционными, когнитивными и нейробиологическими исследованиями.
Достаточно «сравнить развитие науки с 1830 года (нет теории эволюции, нет теории электромагнетизма) по 1930 год (относительность и квантовая механика уже есть) и с 1930 по 2024 год (всё ещё нет объединяющей теории), чтобы понять, что темпы прогресса, мягко говоря, замедляются», — говорит Желис-Фильо. «Низко висящие плоды уже собраны. Оставшиеся, похоже, свисают с недостижимо высоких ветвей».
Есть такая дисциплина - наукометрия (наука о науке), в которой занимаются измерением различных показателей динамики развития науки - числа публикаций, роста персонала и финансирования, карьерного роста, числа институтов и дисциплин, и тп., а так же итогового продукта ее деятельности - подтвержденных открытий и теорий, как прикладного, так и фундаментального характера. По первым показателям последние столетия наблюдается практически устойчивый экспоненциальный рост, а по последним нет, рост замедляется, особенно открытиям фундаментального характера. Интересные результаты исследований на эти темы приведены в докладе (автор С. Милоевич) на конфе посвященной проблемам науки. Автор исследует динамику появления новых идей в науке - уникальных словосочетаний из научного тезауруса в названиях научных статей. Их конструирование подчиняется определенным закономерностям. Фактически это аналоги ключевых слов в современных статьях, но раньше ключевые слова не всегда использовались, и сейчас не обязательно. Результирующие диаграммы роста числа публикаций и новых идей в науке по материалам WoS.
Если рост числа публикаций экспоненциальный с удвоением показателя роста Td в последнее время 15 лет, то показатель роста числа новых идей близок к линейному, выходящему в последние десятилетия на горизонтальный участок. Автор считает, что это указывает на тенденцию стагнации в науке. Есть независимое исследование с использования в качестве показателя самих ключевых слов в статьях, и оно также показывает тенденцию к замедлению, см. ссылки в разделе Growth in Topics в этом блоге. Хотя не все новые идеи, например, в физике получали подтверждение, тот же эфир, сейчас пока не подтверждены струны, суперсимметрия, ТМ, ТЭ, и др. За все чего не дали нобелевки по физике в этом году) но зато дали по основам нейросетей, которые еще могут сыграть важную роль в продвижении физических исследований. Авторы указанных исследований констатируя факты поведения этих показателей не пытаются особенно понять глубинные когнитивные причины этого явления. Они сложны, и методологически корнями уходят к современному пониманию роли априорных форм познания и его конструктивного характера в теории познания И. Канта. И также дают принципиальное объяснение упомянутых в статье ограничений познания биологического (эволюционного) характера:
Также могут существовать естественные барьеры для человеческого знания — факты о Вселенной, которые навсегда остаются недоступными для нас в силу особенностей нашей биологии. Конечно, мы создали технологии, которые облегчают наши чувства и познание: Микроскопы позволяют нам заглянуть в мир малого, телескопы дают возможность заглянуть в мир большого, а компьютеры обрабатывают цифры и данные, которые наш индивидуальный разум не в состоянии обработать.
Возможно эти все нарастающие ограничения в перспективе будут преодолеваться использованием информационных технологий расширяющих когнитивные возможности человека и сознания в целом. Так обучение ИИ на объемных эмпирических данных с экспериментальных установок типа БАКа и космических телескопов могут выявить закономерности, которые ускользают от обычного стат. анализа данных. А технология нейроинтерфейсов позволит расширить восприятие на новые типы данных, без их преобразования к восприятию традиционными органами чувств, преодолевая тем самым "бутылочное горлышко" когнитивных возможностей человека доставшихся от природы.
Автор статьи правильно указал на трудности технологического развития цивилизации, по крайней мере нашей, но они не носят принципиального ограничительного характера. Важнее преодолеть социальные проблемы связанные с конкуренцией за контроль над ограниченными ресурсами планеты.
Так в чем же дело? На скрине ниже видно, что модель (в данном случае Llama-3.1), когда пытается сравнить числа 9.8 и 9.11, активирует несколько неожиданных кластеров: например, всплывает информация про атаку 11 сентября (9.11) и гравитационную константу (9.8). Вероятно из-за того, что эти темы появлялись в обучающих данных Llama очень часто, числа 9.8 и 9.11 перестают восприниматься ею как обычные числа: она воспринимает их, как другой вид объектов (даты, константы), путается и несет чепуху.
Это же ассоциативные связи, т.к. ЯМ моделируют пока в основном ассоциативную память человека, и ошибки поэтому в основном ассоциативного типа.
А это, кстати, не так уж трудно понять исходя из МО. ИНС неплохо моделируют процессы в мозге, в частности, сверточные сети вентральный тракт зрительной системы приматов, т.к. прототипами ИНС были именно биологические нейроны и сети мозга. Достаточно понять, что происходит при обучении CNN. Для этого нужно посмотреть на зависимость показателей эффективности обучения от показателей их объема. Обычно вычисляется процент успеха тренинга от числа итераций обучения с заданным числом выборок (batch). В этом исследовании приводятся такие графики для разных батчей и обучающих наборов. Видно, что показатель успеха вначале довольно быстро нарастает, кумулятивно, особенно для больших значений батчей, но в дальнейшем рост резко замедляется. С чем связано такое поведение? Видимо с интеграцией в слоях сети общих признаков обучающих выборок (изображений), которые облегчают дальнейшее обучение, но все меньше содержат новизну. В нижележащих слоях накапливаются общие геометрические примитивы - различные линии, края, и тд, выше углы, контуры, еще выше общие части объектов. То же самое происходит в зрительном тракте человека только намного более эффективно, т.к. многие подобные признаки у человека носят априорный характер, они имеются уже у новорожденных. Зрительную систему не нужно тренировать специально, чтобы они появились, например, для выделения краев, линий, углов, и даже более сложных признаков, например, контуров лица. Эти факты установленные в различных психофизиологических исследованиях. Младенцы и детеныши животных реагируют на них сразу же после появления на свет. Если бы это было не так, и они уже не были готовы реагировать на различные критические ситуации, привлекая родителей, то могли быстро погибнуть. К таким общим комплексным признакам относится, в частности, нативная приближенная оценка численности объектов, см. обсуждение этого вопроса в этой ветке коментов.
Мозг с рождения имеет сложную структуру частично уже настроенную на восприятие, которая развивается с возрастом по мере приобретения опыта. Это не обучение с "чистого листа", как иногда полагают разработчики ИИ, исходя из опыта собственной работы по программированию ИНС, затем проецируя его на структуру и функции мозга. Нечто похожее предлагается в статье. Это может больше подходить для разработки проекта бионического зрения, но не объяснения процессов в мозге человека. По нейрофизиологии зрительной системы почитайте книгу одного из классиков исследований в этой области Д. Хьюбела: Глаз, мозг, зрение.
Эта задача на абстрактное символическое понимание чисел и счета. Она их ставила просто в ступор, т.к. у них не выработались такие концепции. Точно также дети которые еще не освоили их не поймут о чем их просят. Речь о другой постановке задачи. Не нужно их просить в какой куче предметов больше путем их подсчета, а просто спросить какая куча им кажется большей? Тогда начинает действовать нативный механизм оценки численности основанный на чувстве численности, который был выработан эволюционно. Именно он передается фактически наследственно и подстраивается (растет точность оценки) в процессе развития в детстве с увеличением опыта обращения с предметами. Причем бессознательно. Специально этому не учат (режим обучение без учителя). Естественно, он имеет статистическую природу, чем предметов в кучах больше, тем ошибки оценки возникают чаще. Но в пределах нескольких десятков предметов такая оценка не произвольная, а закономерно подчинятся эмпирически установленному закону Вебера. Для большего числа действуют закономерности восприятия паттернов.
Это выяснилось в опытах, которые в современной постановке можно свести к оценке испытуемыми числа точек выводимых на экран монитора. Если их выводить случайным образом (по числу и положению) и достаточно долго экспонировать, то испытуемые успевают их посчитать и сказать сколько их. Работает обычный символический пересчет предметов. Что будет, если время экспонирования постепенно уменьшать? Когда оно станет равным нескольким сотням миллисекунд (имеется индивидуальный разброс) для большого числа точек - несколько десятков, точный подсчет становится невозможным, и будут даваться приблизительные ответы с разбросом в обе стороны. При еще меньшем времени ошибки уже будут и для небольшого, не больше трех, числа точек. Для 150 мс и меньше начинает принудительно работает только приблизительная оценка с помощью чувства численности. Если обработать результаты таких экспериментов для многих испытуемых, то выясняется, что отношение разброса оценки числа к самому числу остается постоянной величиной. Это и есть закон Вебера. В психофизике это задача дифференциальной оценки прироста интенсивности ощущений. Ему, кстати, подчиняются прирост интенсивности ощущений для других наших чувств. Интегральная форма этих закономерностей описывается законом Вебера-Фехнера и имеет логарифмическую зависимость. Считается, что таким образом оптимально сжимается сенсорная информация поступающая от органов чувств, т.к. диапазон действия физический стимулов велик. Измерение для мундуруку из статьи эта константа равна 0.17, для контрольной группы европейцев 0.12. Однако измерения были произведены косвенным путем сравнения куч поскольку в отличии от европейцев у них отсутствует символически счет больше нескольких чисел. Такие измерения были проведены для разных групп населения и племен и результат приблизительно одинаковые.
В свое время к методике постановки таких измерений были претензии состоящие в том, что подсчет может быть связан с физическими характеристиками изображений, а не подсчетом объектов. Действительно изображение с большим числом точек или предметов в куче в целом занимает большую площадь на экране или в куче, и сравнение может происходить по этому критерию. Специальной постановкой экспериментов удалось установить, что такое влияние имеется, но не является определяющим, а скорее является шумом для механизма оценки. Самый наглядный способ - соединить пары точек линиями и считать их целостными объектами. Площадь при этом даже увеличится за счет линий, но измерения показали, что оценка производится правильно, т.е. механизм считает именно объекты, а не сравнивает их площади и др. физические характеристики для получения оценки.
Решающим аргументом в наличии чувства численности стало подтверждение его механизмом исследованиями на приматах на нейронном уровне. Коротко, как он работает в критических ситуациях. Допустим, что в саванне вблизи перед антилопой неожиданно появляются слева 5 львов, справа 3. В какую сторон отпрыгивать, чтобы с большей вероятностью удрать? Пересчитать точно число львов предварительно полностью распознав их в окружении? В такой ситуации важны доли секунды, а на указанную процедуру уйдет немало времени, чем больше отделов мозга будет задействовано. Точный подсчет для любого количества оказался долгим, затратным и избыточным. Эволюция пошла другим путем. В отдел IPS, в котором локализуется этот механизм, поступает информация о различных простых полезных признаках из среды в поле зрения характеризующих форму, цвета, движение, и тп (они определяются результатами отбора), которые обрабатываются параллельно (так называемая преаттентивная обработка, здесь некоторая иллюстрация ее работы). Она приводит к возбуждению множества нейронов в области IPS селективно настроенных на конкретные числа объектов, от 1 до нескольких десятков (больше с эволюционной точки зрения особого смысла не имеет). Далее происходит голосование, каких именно нейронов возбудилось больше. Если, например, отвечающих за три, то принимается решение, что таких объектов в поле зрения 3. Эта информация передается в отделы мозга в которых принимается решение о дальнейшем поведении, в том числе, на основе сравнения числа опасных объектов слева и справа. Меньше возбудится число нейронов отвечающих за 2 и 4, еще меньше за другие числа. Эти уровни возбуждения наблюдались впрямую записью активности отдельных нейронов. В совокупности эта активность подчинялась закону Вебера на нейронном уровне! Этого удалось также добиться моделированием на сверточных нейронных сетях с архитектурой подобной структуре вентрального тракта зрительной системы приматов, частью которого является область IPS. Естественно, это вероятностные решения, значения признаков могут оказаться не точными, т.к. полного распознавания объектов еще не произошло. Поэтому антилопы могут иногда ошибаться и прыгать даже в направлении, где львов больше)
Счет устроен сложнее, чем обычно считается) Он состоит из двух представлений - явного, символического, точного с помощью чисел, и скрытого, не символического, приближенного, нативного с помощью чувства (интуиции) численности. Символическое представление не врожденное, ему учат. А нативное, приближенное, из которого абстрактное символическое представление возникло в ходе социо-культурной эволюции человека, является фактически наследственным. Младенцы уже на 2-3 сутки после рождения могут грубо дискриминировать численность стимулов, этому их не кто не учил, и они не знают символического счета. Со временем точность этой дискриминации возрастает в результате опыта оперирования предметами в окружающем мире. Дообучение этого механизма происходит на бессознательном уровне. От того насколько хорошо работает эта нативная система - чувство численности, зависят успехи в обучении и понимании символического представления чисел, и вообще, математические способности. См. публикации на сайте ссылку на который давал выше. Нарушения области мозга отвечающей за этот механизм приводит не только к потере способности интуитивно оценивать численность, но и правильно выполнять операции с символическим представлением чисел (степень нарушений зависит от степени повреждения). Чувство численности также имеется у животных.
Что касается некоторых аборигенных племен, то они практически также, как и образованные европейцы могут интуитивно оценивать количество предметов и сравнивать совокупности на основе чувства численности. И при этом иметь примитивную символическую систему представления в которой собственные названия могут иметь только несколько первых чисел. Им пока больше не нужно)
В том переводе описывается методологический подход к исследованию ментальных явлений развивающийся в последнее время, и фактически становящийся новым стандартом исследований в этой области. Основная идея - многоуровневый, предсказательный режим функционирования нейронных механизмов мозга (Predictive coding, Bayesian approaches to brain function). В русскоязычной литературе - байесовский мозг, разум, обзор подхода - Байесовский разум: новая перспектива в когнитивной науке. Это не просто указания к постановке исследований и объяснения результатов, но и сам алгоритм исследования, моделирования основанный на принципе свободной энергии. Лучше всего изучать этот метод по работам его автора К. Фристона. Корнями этот подход уходит к знаменитой теории познания Канта, как собственно, и весь когнитивный подход. Хорошая иллюстрация подхода приведена в этой статье (ветка с более подробными объяснениями).
Хотя используете термин "прогноз" в статье довольно часто, но в несколько устаревшем кибернетическом контексте или теории автоматического управления. Гомеостаз сейчас считается частным случаем аллостазиса основанного на предсказании, а не жестком контроле. Скажем так, гомеостаз это первое приближение, следующее, более точное, аллостатический контроль, который должен позволять адаптировать саму модель реагирования.
Что касается сознания, то там есть ссылки на работы М. Солмса, который определяет его в духе эмоционального сознания и связывает с деятельностью ретикулярной активирующей системы мозга в контексте теории предиктивного кодирования. Мне больше нравится работы Метцингера по минимальному субъективному опыту, см. комент со ссылками.
Какое там сознание в этом ИИ) Это продвинутые архиваторы с подсказками для распаковки. Эта технология стала возможной только благодаря мощной аппаратной поддержки и не меренным энергозатратам. Он может правильно распаковать ответ на вопрос о сложном интегрировании, но не даст правильного ответа на арифметические операции с любыми числами без привлечения внешних мат. пакетов. Странный интеллект. Это пока больше маркетинг. Последняя перепалка на эти темы с адептами)
У человека и животных имеется нативное чувство численности выработанное эволюционно. Фактически оно врожденное и имеется уже у младенцев. Отслеживалось по реакциям, движению глаз в специально поставленных экспериментах. Это чувство приблизительное, без обращения к абстрактным числам и счету. Подчиняется закону Вебера - отношение разброса оценки к оцениваемому числу объектов константа. Поэтому точность оценки быстро падает. У разных видов константа разная. Фактически это аналоговый счет, но именно на его основе возникли абстракции чисел и счет у предков людей. Некоторые аборигенные племена так и остались на уровне без абстрактного счета. Чувство численности моделируется нейросетями, см. статью и комент. На этом сайте можно проверить свое чувство численности. Немного считать могут даже растения)
Спасибо за статью. Интересная аналогия с автопилотом. Не только у вас) См. перевод с дополнениями - Механизм автопилота мозга управляет сознанием
Свое мнение о перспективах чисто трансформерного ИИ обосновывал ссылками на источники, так что оно не только лично мое.
С этими тестами часто незадача, если они стандартные, ответы на них могут присутствовать в обучающих выборках. Какие-бы результаты не показывали трансформеры, если эта архитектура не способна обучиться арифметическому счету с любыми числами, и без привлечения внешних средств правильно считать, то это сомнительный ИИ. Это касается любых операций требующих процедурную память. У трансформеров ее нет. Моделируется только что-то напоминающее ассоциативную. Это их ограничение, которое пытаются устранить различными внешними примочками, вместо того чтобы развивать архитектуру.
Чтобы разобраться в этом вопросе нужно понимать, что такое процесс познания? Что является источником знаний? Такими способностями обладают системы с когнитивной архитектурой (обзор, все перечисленное там проекты во всем объеме пока так и не были доведены да рабочего состояния). Человек ей соответствует. Все современные реализации ИИ также ей не обладают. На это претендуют проекты ИИ-агентов в будущем, но вряд ли на трансформерной основе. По этим причинам перспектива захламления сети ИИ-мусором вполне реальная, если люди перестанут ее обновлять новыми знаниями, фактами и данными. Пользователи сети уже жалуются на этот мусор в выдаче поисковиков.
По этим вопросам проведено немало исследований - 1, 2, 3, 4, 5
Это был один из проектов символического ИИ, который помог выявить многие проблемы разработки таких систем, включая на этапе их обучения.
Где там написано про тупиковую ветвь? Трансформеры вовсе не база для нейроморфных решений. Это другая аппаратная платформа, а не раздутые графические процессоры. Со временем решения на трансформерах займут свою нишу, где их архитектура будет эффективной. Основная проблема с ними требование огромных вычислительных ресурсов, и соответственно энергопотребление, как на обучение, так и дата-центры обслуживания онлайн. Есть еще немало недостатков. На это пока закрывают глаза и идут на затраты, чтобы создать индустрию ИИ, рынок. Если вложения не оправдаются, может повторится история с кризисом доткомов.
Да, реально работающий прототип очков когда-то уже был у гугла) Все это мелочи, ждем нейроинтерфейсы. Вот это прорывная технология, и там ИИ тоже может понадобиться. А также использования ИИ со специальной архитектурой в научных исследования для обучения на эмпирических данных типа этого, а не на текстовом хламе (в основном) из сети.
Судя по тексту и количеству ссылок вы просто идолопоклонник Альтмана) Он даже не придумал трансформеры, или еще что в этом роде, это просто менеджер, который не всегда принимает верные решения. Фактически разогнал исследовательский отдел компании, все поставил на трансформеры, а не на развитие архитектуры. Пытается превратить организацию в чисто коммерческую структуру из исследовательской заявленной в уставе. Посмотри, чем это все кончится.
Mamba - 1, 2, 3, 4
Обзоры других архитектур: 1, 2
В перспективе нейроморфные решения.
ЯМ на трансформерах пока как-то моделируют ассоциативное языковое мышление и память человека. Из-за этого они могут фантазировать ("галлюцинировать"). Сейчас пытаются освоить логический и критический уровень мышления, чтобы контролировать эти фантазии, но для этого нужно развивать архитектуру сетей. Интуиция и воображение связаны с образным уровнем мышления - аудио-визуальным, тактильным, и другими модальностями. На трансформерах и эти возможности как-то пытаются моделировать, но их архитектура для этого не оптимальна. Для связывания всех этих уровней мышления еще далеко и ростом числа параметров сеток и объема обучающих выборок эти проблемы не решить. Собственно даже поддержка языка на пределе возможностей этой технологии. У человека много типов мышления и они все интегрированы, см. список. Пока ЯМ не могут без привлечения внешних средств освоить даже арифметические операции для любых чисел, это тоже связано с ограничениями архитектуры. Возможно все эти ограничения удастся преодолеть в энергоэффективных нейроморфных решениях, которые лучше моделируют биологические прототипы нейронов и сетей из них. Похоже мой прогноз полуторолетней давности развития этой технологии начинает понемногу сбываться)
Абстрактное мышление осознается нами, в этом суть, поддается волевому контролю - хочу мыслю так, хочу по другому, а интуиция и воображение нет. Это безсознательный уровень психики. Можно его мотивировать, например, длительным изучением и обдумыванием проблем, но полностью контролировать нет. Это, условно, различие между фронтендом и бэкендом, что там внутри можно только догадываться.
Если бы все было так просто, то ИИ решающий задачи как человек появился давно, когда еще работали над технологией Экспертных систем в прошлом веке. Они должны были воспроизводить рассуждения экспертов, включая, математиков, физиков, и тд. Однако выяснилось, что рассуждения экспертов =/= их методу решения задач. На эту тему было сломано не мало копий с целью поиска причин, см. работы Дрейфуса на эту тему - обзор. Хотя сейчас используются нейросетевой (коннективистский) подход, более близкий к биологическому прототипу организации мозга, проблема по прежнему осталась. Эксперты должны свою интуицию, воображение, вообще образные формы мышления, которые существенны при при решении творческих задач, и часто они индивидуальны, выразить языком, как-то формализовать. При этом теряются существенная часть контекста решения, используемых неявных знаний и представлений. Например, для теоретика, решение может возникнуть из отдаленной аналогии о которой он не упомянет в решении, а само решение окажется достаточно тривиальным, известным. Как показывают нейрофизиологические исследования с визуализацией при решении творческих задач активизируются самые различные области мозга, включая сенсо-моторные, а не только ассоциативные в высших отделах, и эта активность имеет сложную динамику, включая обратные связи. Однако архитектура трансформеров, на которых основана технология GPT, такими внутренними связями не обладает, и ограничивается только внешним циклом. Т.е. в основном является статическим, а не динамическим решением, как в биологическом прототипе. Требуется добавление рекуррентности в архитектуру, которая может приводить к возникновению аттракторов, отвечающих за многие феномены в мозге. Движение в этом направлении в других проектах имеется.
Концептуальные модели физических теорий основанные на эмпирических данных накладывают ограничения на возможные формальные модели, но не строго, поэтому возможны ее эквивалентные формализмы (см. подробнее). В рамках концептуальной модели всегда присутствует эмпирическая модель теории, которая связывает наблюдаемые измеряемые величины теории. В случае теории гравитации Ньютона это закон гравитации F = G*(m1*m2) / R². Уравнение Пуассона один из эквивалентных формализмов теории гравитации Ньютона в котором определяется гравитационный потенциал. Какие именно математические методы подходят на роль формальных моделей теорий? На это вопрос дает ответ теории моделей, в которой исследуются эти вопросы. Подходит любой математический аппарат, методы, которые интерпретируются в концептуальной модели теории, и являются эквивалентными эмпирической формальной модели теории. Хотя конечно реальные теории, как лингвистические сущности, богаче этих представлений. Тем не менее, теория моделей хорошо демонстрирует структурные связи внутри научных теорий.
Что существует (обладает онтологическим статусом) в теориях в рамках научного реализма, который допускает существование не наблюдаемых объектов научных теорий? В данном случае концептуальное представление (в концептуальной модели теории гравитации Ньютона) о силовом поле создаваемом в пространстве гравитирующими массами, как это следует из наблюдений и измерений, которые оформились в эмпирическую мат. модель теории в виде закона Ньютона. Однако существует ли гравитационный потенциал поля в реальности? Он не проявляет себя непосредственно, определен с точностью до константы ф(r) = - G*M/r + С, но задает поведение других тел в виде действия на них силы притяжения F = ф(r)*m / r, которая являясь измеримой величиной имеет физический смысл, нося эмпирический характер. Нет, это удобный инструмент для расчетов в рамках пуассоновского формализма теории гравитации, который необходимо доопределять исходя из некоторых соображений решаемой задачи в рамках концептуальной модели теории. Как это согласуется с методологией научного реализма? Согласуется. Гр. потенциал существует в рамках эквивалентной математической модели теории, т.е. в представлениях теоретиков (виртуально в воображении, в головах и на информационных носителях). Реально существует силовое гравитационное поле, которое может действовать на тела, и быть измеримым, в широкой практике рычажными весами. Гр. потенциал, как скалярная функция, и его эквиваленты в других формализмах теории, например, векторным полем его напряженности, существуют для удобства решения определенных задач, которые возникали перед теоретической механикой на протяжении ее истории. Аналогичные рассуждения можно произвести в рамках других физических теорий. Определившись с онтологическими вопросами теорий можно рассмотреть проявления причинно-следственных связей в их формальных моделях.
Причинно-следственные связи возникают между реально существующими физическими сущностями, которые наблюдаются и измеряются на практике, в данном случае силовым воздействием гр. поля на тело со стороны другого тела или тел подчиняющимся закону гравитации Ньютона. Однако гр. потенциал является элементом описания поля, существует виртуально в воображении физиков, и поэтому приведенная формула задает преобразование из одного представления в другое, и не определяет причинно-следственную связь. В правой части находится распределение плотности гравитирующих масс, в левой соответствующая им скалярная функция гр. потенциала описывающая конфигурацию поля, которую необходимо дополнительно калибровать. В чем разница с представлением в рамках эмпирической модели теории? Конфигурация поля в таком представлении однозначно с точностью до константы будет соответствовать распределению масс. В соответствии с эмпирическим законом Ньютона нет, разные распределения масс могут создавать одинаковый вектор силы действующий на целевое тело.
Совершив такой переход от мат. модели привязанной к опыту и реальности к мат. модели фактически свободной от нее можно модифицировать ее в соответствии с правилами математики и производить дополнительную интерпретацию уже в соответствии с собственным представлениями авторов. Собственно это происходит с эквивалентными формальными моделями КМ получившими название интерпретаций или трактовок КМ. В частности, формализм Бома в котором в дополнении к ВФ вводится квантовый потенциал и производится его собственная интерпретация с введением концепта волны-пилота. То же происходит с интерпретацией относительных состояний Эверетта путем введения концепта универсальной ВФ Вселенной и отказа от измерительного постулата эмпирической модели КМ. Фактически это приводит к переформулировкам КМ в другие теории квантового мира с непонятным онтологическим статусом (отношения к реальности) новых введенных концептуальных представлений. То же самое может произойти, если превратит гр. потенциал из инструментария расчета конфигурации гр. полей тел в некоторое иное представление путем его модификации и дополнительной интерпретации, и получить модификацию классической теории гравитации, как пример. Вот так, совершенно легально через эмпирически доказанные теории путем модификации их формальных моделей могут вводиться новые представления с непонятным (неопределенным) эмпирическим и онтологическим статусом.
Не случайно привел достаточно подробные рассуждения с повторами и указаниями составных частей (моделей) в данном случае теории гравитации. На практике такого разделения моделей теорий мало кто придерживается, как в публикациях и преподавании, так и работе, где обычно она сводится к расчетам, т.е. использованию формальных моделей теорий. В результате исторически, постепенно произошла подмена (вытеснение) объектов концептуальных (включая часто эмпирических) моделей теорий соответствующими представлениями формальных моделей, включая в вопросе их существования. Представление об объективности существования силового поля гравитации тел в пространстве постепенно заменилось представлениями о существовании скалярного поля гравитационного потенциала или другими мат. структурами, которые полностью его описывают (эквивалентны эмпирической формальной модели теории). Постепенно такая подмена перемещается на интуитивный уровень и начинает определять мышление, в особенности теоретиков. Насколько это существенно? Весьма, к примеру, когда Пуанкаре и Эйнштейн задумались о новой теории гравитации, то их первые наработки носили скалярный характер исходя из формализмов ньютоновской теории гравитации. Эйнштейн, как преимущественно реалист по взглядам в те годы, преодолел эту инерцию мышления, когда сформулировал принцип эквивалентности обобщив имеющиеся данные о равенстве инертной и гравитационной массы. Пуанкаре, как математик и конвенционалист по взглядам, так и не смог. А каково современным студентам) см. пример изложения классической механики в теоретико-множественном ключе без какого-либо намека на сложную внутреннюю структуру теории и ее эмпирические основания. Сжато.. да, но где тут физика?
У Канта наоборот априорная пространственная форма познания делает возможным геометрию, а априорная временная форма познания арифметику. По современным представлениям действительно геометрическая и арифметическая интуиция возможны благодаря пространственности и темпоральности механизмов восприятия на всех уровнях. Это проверялось в многочисленных исследованиях на младенцах и аборигенах, которые ничего не знают о геометрии и арифметике (здесь ссылки на исследования по евклидовости геометрической интуиции).
Так в основном думают сами математики) А как же всевозможные ограничения которые выявились в самой математике? Теоремы Геделя там, которые недвусмысленно намекает на замкнутость математических основ на опыт? Как же ее интуитивный (априорный) характер, который завязан на разум, о котором еще Кант твердил, и который все больше подтверждается (1, 2) когнитивными исследованиями? Это ограниченный когнитивный ресурс. Теоретики все более обоснованно ропчат) Началось с Ли Смолина недовольного ТС с ее практически отсутствующей концептуальной физической моделью и соответственно предсказательной силы (хотя математики в восторге от нее). Матметоды не объясняют, они описывают и предсказывают результаты физических наблюдений и экспериментов (возможность предсказания возникла эволюционно на нейронном уровне структур мозга, как средство обеспечивающее выживание организмов в изменчивом физическом мире, человек только концептуализировал и символизировал эту возможность в виде арифметических и геометрических представлений на этапе социо-культурной эволюции). Объяснения находятся в концептуальных моделях физических теорий, новых идеях, которые рождаются с новым опытом, а с этим как раз похоже назревают проблемы. Тут выход один - строить новые ускорители, телескопы, детекторы частиц, и другие экспериментальные установки с соответствующими параметрами, и использовать продвинутые информационные технологии вроде ИИ обученных на эмпирических данных (как пример реализации подхода) и нейроинтерфейсов - новые когнитивные ресурсы, для поиска новых фундаментальных закономерностей в дополнении к усилиям теоретиков. Их результатом уже могут быть теории не имеющие традиционных аналитических мат. моделей.
Эти объединения основываются на теориях, которые содержат сингулярности, ОТО в виде ЧД, КТП в виде "элементарных" частиц. Объединение основанное не на полном понимании, а на опыте. А впереди объяснение суперсингулярностей - происхождения Вселенной и самого сознаниЯ)
На квантовом и релятивистском уровне действует принцип относительности к средствам наблюдения. Это обобщение принципа относительности Эйнштейна. См. в изложении Фока. Совместно с принципами дополнительности и соответствия Бора они составляют методологическую основу понимания объектности физической реальности. Существование перечисленных объектов фактически сводится к вопросу существования ВФ описывающих их, как самостоятельной физической сущности. Вот как на этот вопрос отвечает известный физик теоретик К. Ровелли, один из авторов петлевой теории гравитации, опираясь на эти методологические основания:
Почему в предельном случае классической механики мы считает формализм элементом описания, а на квантовом ему придается онтологический статус? Некоторым обоснованием служит утверждение, что классического уровня реальности не существует, это иллюзорный мир создаваемый восприятием человека, и соответственно объектов этого уровня также нет. Нет стула за которым сидит человек, нет стола на который он опирается и таращится в несуществующий экран монитора, да и самого человека тоже нет. Есть только непрерывно эволюционирующие ВФ, как формы математического реализма. Однако Ровелли считает, что непрерывность удобный концепт выработанный человеком для описания окружающей среды (прерывистый, пороговый характер различных ощущений подтверждается психофизическими исследованиями, как раз непрерывность восприятия является иллюзорной) и распространенный за ее пределы, а онтологическую основу квантовой реальности и описывающей ее теории составляют эмпирически регистрируемые дискретные события:
Спасибо за публикацию. Один из наиболее глубоких анализов на тему возможностей и перспектив технологии ИИ. Перекликается с собственной оценкой ЯМ на трансформерной основе, котрую высказал в этом коменте. Важное уточнение по арифметическим операциям, освоение обучения которым будет являться некоторым показателем перехода на следующий уровень архитектуры ИИ, и ее приближения к когнитивной, т.е. способной к познанию.
Верно, это эмпирически установленные истины (постулаты, аксиомы, и тп) теории лежащие в ее основаниях. Иногда это не очевидно особенно в математических теориях, т.к. их начальные утверждения могут носить интуитивный характер. А она формируется на основе эволюционного (наследственного) и индивидуального практического опыта.
Речь не об автоматизации поиска истин, он в конечном счете всегда эмпирический, в основном, путем проб и ошибок, речь о том, что сам математический формализм (вычисления) можно реализовать физически. Но это трудно на практике, долго и неудобно, поэтому эволюция нашла базовые решения, а человек символизировал их, развил, и приспособил для формального описания и вывода, включая в научных теориях.
Физические теории имеют концептуальную модель, которая основывается на новых эмпирических данных, и соответствующие ей формальные модели, вот здесь подробнее на эту тему. В основаниях также могут присутствовать метафизические предположения, которые не могут быть проверены полностью. Поэтому теории по определению всегда недоопределены и правильно работают (объясняют и предсказывают) в определенных пределах.
Можно все эмпирически (физически) вычислять, но чрезвычайно трудно, медленно и неудобно) Поэтому эволюция изобрела математику, точнее ее геометрические и арифметические основания, чтобы облегчить жизнь, человек лишь концептуализировал их. Эти основания носят априорный (интуитивный) характер, как выяснил еще Кант в своей теории познания. В целом эта точка зрения поддерживается современными эволюционными, когнитивными и нейробиологическими исследованиями.
Есть такая дисциплина - наукометрия (наука о науке), в которой занимаются измерением различных показателей динамики развития науки - числа публикаций, роста персонала и финансирования, карьерного роста, числа институтов и дисциплин, и тп., а так же итогового продукта ее деятельности - подтвержденных открытий и теорий, как прикладного, так и фундаментального характера. По первым показателям последние столетия наблюдается практически устойчивый экспоненциальный рост, а по последним нет, рост замедляется, особенно открытиям фундаментального характера. Интересные результаты исследований на эти темы приведены в докладе (автор С. Милоевич) на конфе посвященной проблемам науки. Автор исследует динамику появления новых идей в науке - уникальных словосочетаний из научного тезауруса в названиях научных статей. Их конструирование подчиняется определенным закономерностям. Фактически это аналоги ключевых слов в современных статьях, но раньше ключевые слова не всегда использовались, и сейчас не обязательно. Результирующие диаграммы роста числа публикаций и новых идей в науке по материалам WoS.
Если рост числа публикаций экспоненциальный с удвоением показателя роста Td в последнее время 15 лет, то показатель роста числа новых идей близок к линейному, выходящему в последние десятилетия на горизонтальный участок. Автор считает, что это указывает на тенденцию стагнации в науке. Есть независимое исследование с использования в качестве показателя самих ключевых слов в статьях, и оно также показывает тенденцию к замедлению, см. ссылки в разделе Growth in Topics в этом блоге. Хотя не все новые идеи, например, в физике получали подтверждение, тот же эфир, сейчас пока не подтверждены струны, суперсимметрия, ТМ, ТЭ, и др. За все чего не дали нобелевки по физике в этом году) но зато дали по основам нейросетей, которые еще могут сыграть важную роль в продвижении физических исследований. Авторы указанных исследований констатируя факты поведения этих показателей не пытаются особенно понять глубинные когнитивные причины этого явления. Они сложны, и методологически корнями уходят к современному пониманию роли априорных форм познания и его конструктивного характера в теории познания И. Канта. И также дают принципиальное объяснение упомянутых в статье ограничений познания биологического (эволюционного) характера:
Возможно эти все нарастающие ограничения в перспективе будут преодолеваться использованием информационных технологий расширяющих когнитивные возможности человека и сознания в целом. Так обучение ИИ на объемных эмпирических данных с экспериментальных установок типа БАКа и космических телескопов могут выявить закономерности, которые ускользают от обычного стат. анализа данных. А технология нейроинтерфейсов позволит расширить восприятие на новые типы данных, без их преобразования к восприятию традиционными органами чувств, преодолевая тем самым "бутылочное горлышко" когнитивных возможностей человека доставшихся от природы.
Автор статьи правильно указал на трудности технологического развития цивилизации, по крайней мере нашей, но они не носят принципиального ограничительного характера. Важнее преодолеть социальные проблемы связанные с конкуренцией за контроль над ограниченными ресурсами планеты.
Это же ассоциативные связи, т.к. ЯМ моделируют пока в основном ассоциативную память человека, и ошибки поэтому в основном ассоциативного типа.