По-видимому, здравый смысл сформировался в процессе естественного отбора, так как особь постоянно учится не только тому, что нужно делать, но и как, зачем что-то делать или не делать. Обучение с подкреплением и эволюционные алгоритмы здесь действительно работают, но дают лишь грубое приближение к цели. Вместе со следованием этим алгоритмам мы постоянно оптимизируем, экспериментируем, классифицируем, обобщаем и переходим к повторным попыткам. Также в человеческой деятельности очень велика роль привычек, заблуждений, стадного инстинкта и следования авторитету. Практически все эти вещи (по крайней мере, до начала 2020-х) были искусственному интеллекту не свойственны. Нейронная сеть просто «не понимает», зачем она выполняет свою функцию, поскольку не обладает сознанием.
Про отбор сказано, а про его результаты нет. А результат в том, что организмы, чем выше их организация, тем лучше интуитивно понимают физику, статистику, и тп, а человек еще и психологию, другие теории. Фактически эти результаты передаются наследственно, настраиваются эпигенетически, включая самообучением плода в утробе (см. ретинальные волны сетчатки и их исследование с визуализацией такого обучения на мышах - некий аналог обучения ИНС на синтетике, комент специалиста). Можно назвать это интуитивное понимание одними из априорных форм познания Канта возникшим эволюционно. Есть несколько теоретических представлений на эту тему (в этом коменте подробнее на эти темы). Младенцы появившись на свет знают об окружении намного больше, чем мы представляем по их виду и поведению. Они не могут воспользоваться этими скрытыми знаниями, т.к. рождаются недоношенными, с еще не сформировавшейся двигательной и другими системами. Детеныши, например, антилоп в саванне через час после рождения уже могут двигаться за матерью по пересеченной местности вполне ориентируясь в ней. Они рождаются более сформированными и способны эти унаследованные знания о среде применять почти сразу же, иначе быстро погибнут от хищников. Множество специально поставленных экспериментов подтверждают, что младенцы имеют такие первоначальные представления об объектах, движении, геометрии, числах, агентах, и др., и это является нейрональной основа здравого смысла! Неявные знания буквально зашиты в структуру мозга и его сетей, которые предварительно настраиваются ("инициализируются") уже в период утробного развития. Во первых, это экономит время на дальнейшее обучение, не нужно учиться с нуля на огромных массивах данных, как ЯМ, во вторых, такое "предобучение" унифицирует поведение особей одного вида независимо от особенностей окружающей среды в которой они появились на свет.
Это важный момент. Второй важный, как эти неявные знания о физике (свойствах) окружающей среды и других объектах представлены в мозге, как происходило обучение, и как они используются. Не в символическом, пусть и в виде эмбедингов, как у ЯМ. А в виде образов! И используются в виде образного мышления, вида мышления который пока не моделируется в ЯМ (еще много чего полезного не моделируется). Оно доминирует в детстве (привет "невидимым" друзьям:), во взрослой жизни отходит на второй план проявляясь в виде интуиции, воображения, памяти и инсайта. Конечно, по мере взросления, воспитания и обучения, эти неявные знания вербализуются, частично осознаются, но в реальной жизни они по прежнему часто используются интуитивно. Когда человек решает задачи вроде приведенной с чашкой, в первую очередь, он проигрывает ее мысленно в воображении (симулирует), после ее трансляции из символической формы в подходящие образы (стандартная методика исследования подобных феноменов - мысленное вращение). В мозге в буквальном смысле имеется "игровой движок", который способен на такие симуляции с использованием законов соответствующих законам классической механики (см. работы команды Д.Тэненбаумана из МИТпо этим темам, не раз упоминались на Хабре - 1, 2). Почему происходит такой переход от символического представления к образному? Чтобы доопределить задачу, устранив неопределенности связанные с абстрактностью символической формулировки. Любая абстракция это компрессия информации и рост неопределенности, обратная сторона ее обобщения. Происходит распаковка информации в определенном контексте к которой уже может быть применено моделирование в соответствии с закономерностями области. Это может происходит также бессознательно. Именно в этом состоит глубинная природа здравого смысла, а не только запоминании банальных истин вроде "все тела падают вниз". Как падают в разных условиях, по какой траекториям, насколько быстро, и тп? Мы не можем решить задачу точно, но прокрутив мысленно в соответствующем контексте, можем быстро получить ответ в приближенном виде.
С помощью такого обучающего материала можно обучать мультимодальные ЯМ. В школьные годы делая домашку по математике в задачах типа - в бассейн вода втекает-вытекает, бассейнов не один, как быстро они заполнятся, или сольются, и тп, прежде чем писать уравнения, обычно в воображении проигрывается динамика воды в этих бассейнах с учетом непротиворечивого выполнения физических требований к свойствам воды и ее движения в них. И уже затем записывается уравнение с учетом индивидуальных способностей человека, как можно точнее представлять это в воображении. Со временем, с опытом, это моделирование перемещается на бессознательный уровень, быстро выполняется в виде навыка, а на сознательном уровне доступным становится только его результат в виде правильно записанного уравнения. Как именно обучать таким задачам ЯМ, чтобы у них выработались аналоги интуитивного представления о физике среды, которые ограничивали их фантазии при решении, контролировали их ход, и насколько архитектуры трансформерных ЯМ соответствуют этому отдельные вопросы. Вероятно это потребует использования рекуррености в архитектуре в полном объеме, а не как в трансформерных ЯМ в виде внешнего авторегрессионного цикла.
Автор, интересные ходы мысли, пишите еще) Давайте ссылки на непонятные термины хотя бы на вики, чтобы можно было быстро навести справки, иначе может раздражать. Пишите не для бумажного журнала.
Нет, по русски импульсит) т.е. генерирует импульсы
Ссылка на оригинальную статью. Судя по этой ссылке работают над темой давно. Других работ по теме мемристоров немало, но до широкого внедрения нейроморфных технологий нужно решить проблему деградации их характеристик. Возможно существующий ИИ подскажет решение с подходящими материалами, которые обладают нужными для них свойствами.
Потом пришел Бор, создавший принцип дополнительности, буквально повторив в сильно упрощенной и укороченной форме идеи Гегеля. С развитием КФ вдруг выяснилось, что мир и правда противоречив, но противоположности - это лишь стороны одной медали и так далее, как в том же пресловутом корпускулярно-волновом дуализме.
И при чем тут Гегель? Бор был кантианцем и строил обоснование применимости КМ исходя из методологии его теории познания, см. на вики, о дополнительности. Принцип дополнительности следствие конструктивной природы познания, эпистемологического конструктивизма основоположником которого считается Кант - 1, 2, 3. Корпускулярно-волновой дуализм, как физическая концепция, является конструктом, так же как пространственно-временной континуум ТО, многие другие физические концепции. Другой принцип Бора - соответствия следствие исторической динамики познания реальности (кантовских "вещей в себе"), как явлений, выражающейся в преемственной смене поколений проверенных широкой практикой применения теорий.
Гегель парит высоко) Теория Канта является в немалой степени натуралистической, он сам занимал науками, и внес вклад в них. Именно по этой причине упомянутые принципы основанные на этой методологии со временем приобрели статус общенаучных.
Потом пришел физик Нима Аркани-Хамед и сказал, что похоже пространство и время не фундаментальны (привет Кант) и вообще всё это очень похоже на то, о чем писал еще Платон (в одном выступлении Аркани-Хамед буквально сказал, что "фундаментальные частицы появляются из ниоткуда, как будто выплевываются из мира идей Платона").
Нима нужно сводить на экскурсию по ускорителю. Пусть посмотрит на треки частиц в детекторах, откуда они берутся. А то сидим за столом в кабинете, пишем статьи о частицах, а сами в глаза их не видели, хотя бы их следы) Насчет пр. и времени идея у него прогрессивная, но далеко не новая, их давно ищут, но пока никак не сыщут. Возможно это предвидение Канта подтвердится экспериментально, как уже было не раз в области когнитивных исследований, и даже получить за это нобеля. Авторы обеих статей 1, 2 вдохновлялись его идеями, и подчеркивают, что это открытие подтверждает его предсказание об априорном характере пространства, своеобразном чувстве, или скорее интуиции пространства.
гипотеза предиктивного мозга с которой носится Фриш сплошной ментализм. Про наблюдать невозможно, одни спекуляции
Какие спекуляции? Предиктивное кодирование (байесовский мозг/разум - обзор) является следствием действия вариационных принципов в биологии. Они давно успешно применяется для решения многих задач в разных областях этой науки, см. обзор. Их обобщением в математически строгой формулировке, особенно для области психофизиологических исследований, является принцип свободной энергии, как вариационного принципа (в изложении его автора К. Фристона - 1, 2, экспериментальная проверка на нейрональных культурах - 1, 2, попытка распространения принципа на физику частиц) и нашел широкое применение в описании предиктивного кодирования - обзор.
Естественно, возникает вопрос о применимости этого принципа к ИНС, как некоторым формальным моделям нейронных сетей мозга. В действительности идея этого принципа складывалась в 80 - 90-х годах прошлого века в исследованиях именно по тематике ИНС в работах Хопфилда, Хинтона, Фристона, и др. авторов, как использование некоторого аналога энергии (термодинамической свободной энергии) для обоснования их применимости - 1, 2, 3, 4. Из работ над этими и другими типами сетей родились идеи глубоких сетей и машинного обучения. По этой причине принцип св. энергии совместим с этими типами сетей, см. для машины Гельмгольца, и в перспективе для глубокого обучения вообще. Со временем предиктивное кодирование может прийти на смену методу обратного распространения ошибок, как более эффективного метода обучения из-за использования хеббовских принципов в обучении.
За эти ранние работы Хопфилд и Хинтон получили в 2024 г. Нобелевские премии по физике. Так, что предиктивное кодирование и лежащий в его основе принцип св. энергии работающие концепции. Нобеля, пусть и за связанные с ними идеи, как за спекулятивные не дают)
Отличный анализ, обзор архитектур ИНС, и их перспектив, спасибо! Странно, что мало откликов читателей. Похоже только когда лопнет пузырь чисто трансформерных ЯМ только тогда бонзы от индустрии, и массы обратят внимание на подобные архитектурные решения, более приближенные к когнитивной. Как то делал собственный прогноз, и предполагал такой возврат к рекуррентности - Mamba частично использует ее. Следующий этап возможно переход к энергоэффективным, истинно рекуррентным, нейроморфным решениям. В этой же нейроморфной парадигме возможно решение самой продвинутый возможности мозга, особенно при решении творческих задач - морфогенеза, когда нейросети могут менять свою архитектуру под воздействием трудной решаемой задачи, т.е. меняет не только веса связей синапсов (аналог STDP) по ходу ее решения, но и строит новые и уничтожает некоторые старые синаптические связи (аналог синаптогенеза), и возможно подключать новые нейроны (аналог нейрогенеза), т.е. на полную использовать аналог нейропластичности мозга на всех уровнях. Как-то так на примере открытия периодического закона Менделеевым)
Хиггсовский разрыв можно понимать как событие, в котором масса включила геометрию. До этого Вселенная представляла собой океан безмассовых возбуждений, где не существовало привилегированных масштабов и всё было подчинено конформной симметрии. С появлением вакуумного ожидания поля Хиггса возникает измерительная шкала, и пространство-время приобретает классическую плотность и топологию.
Такое чтение делает хиггсовский переход особым: это не просто физическое событие, но и момент перехода от «чистой математики» к «материи», от безмассовой симметрии к телесной геометрии.
Чистая математика здесь только потому что модельные представления БВ переносятся на реальность. Другой информации пока нет. Времени там еще нет, как длительности, а графики, что там было, рисуем) Просто это провал в нашем понимании, как и любая другая сингулярность в мат. модели физических теорий связанная с их эмпирической недоопределенностью. Но полет воображения потрясает!
Еще раз, не нужно употреблять нейробиологов и специалистов в области когнитивных исследований, да и философов тоже, в контексте того, что вы написали, это вводит в заблуждение, они занимаются другим, тем чем написал и дал ссылки на публикации. Работаю в лабе такого профиля и участвую в разработке приложений.
Кант на сегодня не общепринятая платформа, да, это замечательный источник идей, но единого Кантовского стандарта нет.
Тогда не понял смысла этот пассажа из приведенной цитаты
С этой точки зрения большое уважение у меня вызывают те, кого можно назвать операционными философами — нейробиологи, инженеры ИИ, когнитивисты-материалисты: по крайней мере, свои гипотезы они не делают самоцелью или способом получения научных званий, а честно пытаются реализовать их на практике.
Как раз эти специалисты, которых называете "операционными философами", находят воплощения элементов схематизма познания Канта в конкретных механизмах на всех уровнях мозга, его структурах и функциях. Существуют целые кантианские программы исследования в различных науках, первую очередь когнитивных. Идейно они воплотились в теоретических представлениях теории о когнитивном ядре познания (обзор), включающего такую составляющую, как чувство агентности. А также родственной, более низкоуровневой, теории общих магнитуд, в которой априорными считаются базовые физические и математические способности - 1, 2, 3 (можно найти на сайхабе). Как примеры исследования на уровне сетей мозга открытие клеток места, направления и сетки - 1, 2, за которое авторы получили нобель по физиологии и медицине 2014 г. В обеих статьях подчеркивается, что это открытие подтверждает предсказание Канта об априорном характере пространства, своеобразном чувстве, или скорее интуиции пространства.
Без этого этапа адаптация этих механизмов для практического применениях в том же ИИ вряд ли возможна. Конечно разработчики ИИ что-то придумывают сами, пробуют, или могут угадать такие схемы, или как правило, со временем меняют их на биологически более правдоподобные. Как такового своего пути у ИИ нет, это распространенная иллюзия возникающая из-за не знания положения дел в этих областях исследований, см. тут подробнее.
В связи с этим, у меня возник вопрос: а пробуют ли они тестировать свои идеи? Сразу предвижу возмущение — там волшебные квалиа, ощущения, «Я», эмоции, душа и субъект, мудрецы, медитация и никакой «низменной материи».
Честно скажу, такой подход мне кажется непродуктивным. Текущее развитие ИИ требует не размышлений о тонкостях толкования влияния этернализма на интеракционалистскую свободу воли субъекта, а формирования операционных алгоритмов философии, которые можно будет запускать как симуляции на компьютерах и ИИ.
Если философская концепция не может быть формализована и протестирована — грош цена такой концепции.
С этой точки зрения большое уважение у меня вызывают те, кого можно назвать операционными философами — нейробиологи, инженеры ИИ, когнитивисты-материалисты: по крайней мере, свои гипотезы они не делают самоцелью или способом получения научных званий, а честно пытаются реализовать их на практике.
Существует экспериментальная философия, которая занимается проверкой на практике философский идей в виде опросов и другими способами, и поэтому операционализирующаю ее - 1, 2, 3.
Однако общепринятой платформой операционализации проблем сознания, и других ментальных явлений, считается философия познания Канта (сжато), по мнению многих являющейся фактически больше натуралистической, нежели философской теорией. Это неиссякаемый источник идей для когнитивных подходов (методологии) и исследований - предиктивного, доминирующего сейчас подхода в когнитивных науках, воплощенного подхода, нейрофеменологии, и др. Все дело в ее схематизме, эпистемеологии - знаниях, которые определяют по-знание и со-знание. Знания можно рассматривать, как вид информации, и поэтому это источник ко всем информационным подходам к этим проблемам. Это неизбежно затрагивает проблематику ИИ - 1, 2, 3, 4, 5.
По хорошему сингулярностей в физике быть не может. Законы сохранения не позволят.
Сингулярностей в математических моделях физических теорий полно, они были всегда начиная с механики Ньютона, см. комент на эту тему. Это признак незавершенности теорий, их эмпирической недоопределенности, и по видимому, это не устранимо окончательно. Если устранятся все, то процесс физического познания должен завершиться, дыр в теориях не останется. Самой загадочная "сингулярность" в таком смысле является не физической, а сознание самого человека)
А почему трансформеры не могут быть адекватны прототипу в мозге
Неплохо объяснено в статьях на вики - 1, 2. Некоторые исследования на эту тему - 1, 2. Аттракторы, нелинейная динамика, метастабильные состояния и критические режимы основные кандидаты в объяснение и моделирование нейродинамики в мозге - 1, 2, 3, 4, 5, 6, 7 ... Не случайно их пытаются возродить на новом уровне - 1, 2, 3. Трансформеры тоже имеют прототип в мозге в сетях гиппокампа, это специализированная структура мозга.
Учёные пришли к выводу, что творчество состоит из математических закономерностей. В основу заложены уравнения и статистические законы.
Статистические закономерности возможны, но прямо уравнения вряд ли. Появление самих великих открытий и изобретений скорее культурные мутации (инсайты) с родни генетическим. Как и генетические, некоторые из которых приводят к появлению новых возможностей и видов, они также не предсказуемы. Однако для этого должны созреть подходящие условия, как и для великих открытий в науке.
Это можно проследить на примере открытия Менделеевым периодического закона его имени. Ходят упорные слухи, что он приснился ему во время дремы на рабочем месте)
Сплошной креатив автора комента об открытии Меделеева
Известно, что необходимая информация об атомных весах и других свойствах элементов к тому времени была уже доступна, и другие ученые высказывали похожие идеи используя обобщение (производя эмпирическую индукцию) по этим свойствам. Собственно, исходно Менделеев также произвел подобное обобщение видимо из-за того что писал учебник по химии, и это имело больше дидактический смысл. Произвел формальный вывод на основе известных свойств, то что сейчас могут делать и ЯМ. Однако Менделеев пошел дальше логического вывода и представил это в виде нового концептуального представления, не сводящегося к предыдущим знаниям. Он сформулировал его в виде периодического закона позволявшего предсказывать свойства еще не открытых элементов. В чем разница? На первый взгляд это дальнейшее обобщение размещения по свойствам. Внешне так и представляется. Однако нет. Индукция — индукцией, особенно эмпирической, в обыденной жизни люди постоянно видят закономерности в повторениях и схожих ситуациях, однако на практике могут быть исключения из таких кажущихся связей. Концептуальная формулировка периодического закона отражает интуитивное представление предвосхитившее связь атомных весов элементов с устройством атомов, их ядер, с величиной их заряда, что в последствии подтвердилось. Знаний которых в помине не было в то время. Этот скачкообразный переход, который произошел через некоторое время (периода инкубации) после публикации первоначального варианта таблицы в учебнике, зафиксирован в биографии Менделеева, как осознание (озарение) важности самого принципа периодичности для классификации элементов по атомным весам, и соответственно издания отдельной публикации для закрепления приоритета открытия. Произошла своеобразная мутация в концептуальных представлениях, получивших новое содержание, которые логически невозможно свести к существующим. Без этого знания были бы просто тавтологией существующих и никакого развития представлений не происходило. В мозге за инсайт отвечают стимулируемые поиском решения процессы морфогенеза связанные не только с синаптической пластичностью (ассоциативностью, изменением весов связей), но и случайный рост аксонов, их новые связи, возможно даже нейрогенез. Нейронные сети мозга являются принципиально динамическими системами в которых в процессе интенсивного поиска решений изменяются, как сила связи между элементами, так и сама архитектура сети. Такой уровень пока не доступен современной технологии ИНС с ее статичной архитектурой и состоянием после обучения. Процессы морфогенеза активизируются во время сна, процедуры консолидации памяти, и может быть связана со сновидениями - 1, 2, 3, 4, 5.
Так что байка про открытие периодического закона Менделеевым во время сна хотя и не подтверждалась им лично не могло обойтись без него)
Так мозг и большие языковые модели не одинаковы по устройству, но их объединяет ключевой принцип — предсказание следующего слова. Это показывает, что статистические ожидания ИИ удивительно хорошо отражают прогнозирующую стратегию работы мозга при восприятии речи.
Что значит объединяет? ЯМ статистическая предсказательная модель естественного языка. Точнее и эффективнее это делают рекуррентные сети, которые более адекватны прототипу в мозге, но из-за распараллеливания обработки в трансформерах временно свернули на них из-за лучшей аппаратной поддержки не смотря большие затраты энергии и другие недостатки. Предиктивная парадигма (байесовский мозг/разум) уже, как лет двадцать с лишним, доминирует в когнитивных науках, см. перевод с дополнениями. Подобные эксперименты с предсказаниями речи проводят уже давно - 1, 2, 3.
За то что обратил внимание на тему когнитивных исследований и ссылку спасибо!
Все фундаментальные открытия приведшие к новым теориям таким, как КМ или ТО, были сделаны неожиданно, даже просто случайно, как в случае с радиоактивностью. Это относится к открытию линейчатых спектров, неожиданных результатов опытов Майкельсона-Морли, в которых было эмпирически установлено постоянство ск. света, или неожиданные, противоречащие теории тяготения Ньютона результаты наблюдений смещения перигелия Меркурия, и некоторые другие факты. Все они фактически вписываются в один сценарий - искали одно, нашили другое, нечто совершенно новое, не предсказываемое существующими теориями. А как еще должна проявлять себя неизведанная реальность? Только так.
Конечно при условии, что возможности экспериментальных технологий созрели для открытия таких ее новых проявлений. Как использование фотопроцесса в исследованиях, который позволил фиксировать продукты радиораспада, увеличение оптической чувствительности спектрометров, которое позволило увидеть линейчатость спектров, использование технологии интерофотометрии в исследованиях, которая позволила зафиксировать неизменность скорости света от направлений движения Земли. Оставалось только, чтобы кто-то, пусть случайно применил эти экспериментальные технологии в нужном контексте. Везло тем, кто занимался близкими задачами, как Беккерелю, который искал невидимые излучения, как Фраунгоферу, который занимался оптическими исследованиями, как Майкельсону и Морли, которые искали подтверждение теории эфира.
Поэтому исследования ТМ и ТЭ нужно вести во всех направлениях, по возможности проверять самые невероятные предположения, самыми разными доступными методами, если на них выделяют средства) Совершенно неожиданно кому повезет, и он в шуме увидит новое, что никак не предсказывалось никакими теориями и гипотетическими предположениями. И это станет толчком к новым теоретическим представлениям, которые не сводятся полностью к уже существующим. Как концепции квантованности и корпускулярно-волнового дуализма, которые потребовались для объяснения свойств линейчатых спектров и проблем с ними в классике, приведшие к КМ. Как делимость атом, точнее его ядра, в противоречии с его неделимостью по античным представлениям, приведшая к атомной и ядерной физике современности. Как концепция пространственно-временного континуума в виде пространства Минковского, для введения в физику конечности ск. распространения любых физических взаимодействий, приведшая к СТО. Или в более общем виде этой концепции, как псевдориманова многообразия, для объяснения аномалий во вращении Меркурия, приведшей к ОТО.
Действительно ждем новостей из физических и других лабораторий, надеемся, что кому-то повезет и он проявит серендипность) в хаосе эмпирических данных. Как Беккерель который увидел в этом шуме нечто новое, реально существующее явление, и сделал его достоянием физического сообщества, а не выбросил фотопластину в мусор.
Еще из истории серендипности в физике. Первым линейчатые спектры поглощения увидел Волластон. Увидел и решил, что это не достойный внимания шум прибора, упомянул об этом в своих записях, но поскольку он повторялся нашел ему нелепое объяснение, как границ цветовых диапазонов непрерывного ньютоновского спектра. В общем не проявил серендипности, возможно был уже стар, нелюбопытен и твердым приверженцем ньютоновской спектральной теории. А вот Фраунгофер любопытство проявил поняв, что это что-то новое, описал и сделал достоянием физического сообщества. Таких примеров в истории было не мало, кто упустил первенство открытия не придав ему значение, тот же С. Томсон, который также наткнулся на радиоактивность, но тоже не придал этому явлению достойного внимания. А сколько просто не обратили внимание на новое? Однако ситуация с тех пор сильно изменилась. Исследованиями занимаются не единицы а целые коллективы, эксперименты превратились в целые предприятия типа БАКа, или телескопов и детекторов частиц различного базирования, и объемы данных они генерируют не сметно. Одному человеку разобраться в них и найти новое уже не под силу. На помощь приходят суперкопы для анализа данных, но они ищут в них нужные паттерны, и набирают по ним статистику. А что же шумы? Их анализ пока не под силам. Хотя на сцене появился новый игрок - ИИ. Вот уже обнадеживающая новость такой ИИ что-то нашел в шуме БАКа. Осталось понять что? Распад или глюк)
Физическое познание видимо закончится, когда все шумы всех экспериментов получат свое объяснение.
О концептуальных. Об элементах множества «чувства»
Так они и не определи, что это за элементы множества. Если как элементарные, далее не делимые, то эти "чувства" должны соответствовать числу рецепторов. Если модальностям ощущений, то другой уровень, и другое число. Если архаичному делению Аристотеля, то их пять по основным органам чувств. Их вывод об оптимальности 7 чувств к чему относится? Как это применить к человеку? Прошел он этот оптимум в своем развитии, или еще нет?
Оказывается, максимум достигается, когда размерность концептуального пространства равна семи. Из этого исследователи делают вывод, что семь — это оптимальное количество чувств.
О каких чувствах идет речь? Пять насчитал в античности Аристотель - зрительные, слуховые, обонятельные, вкусовые и тактильные. Это грубое деление, считается по типам рецепторов, о которых он ничего не знал - короче.
«Наш вывод, конечно, носит чисто спекулятивный характер в применении к человеческим чувствам, хотя никогда не знаешь: может быть, люди будущего разовьют чувство радиации или магнитного поля.
Это может быть проделано с помощью нейроинтерфейсов - небольшой обзор исследований и технологий.
Получается в ядре галактик целый пул вложеных вселенных? ЧД сливаются, что происходит со всеми вложенными вселенными? ЧД сливаясь укрупняются, все сольются в одну? Сомнительно, что на этом уровне работает обычная линейная логика вложенных структур устройства нашей Вселенной. Мозг заполняет пустоту незнания знакомыми формами. Тот же Кант утверждал, что пространство и время лишь формы организации нашего восприятия и мышления, а не свойства реальности, а разум постоянно путается в неразрешимой игре конечного и бесконечного, делимого и неделимого, и тп. И потому ждем неожиданных открытий из физических и других лабораторий, которые в корне противоречат устоявшимся физическим представлениям. Как это произошло с неожиданными открытиями линейчатых спектров и радиоактивности положивших начало наук о микромире, или неожиданного факта постоянства скорости света в опытах Майкельсона-Морли, а также ничем необъяснимо факта смещения перигелия Меркурия, которые в совокупности с другими фактами, привели к СТО и ОТО. А пока щелкаем семечки экстравагантных гипотез)
Про отбор сказано, а про его результаты нет. А результат в том, что организмы, чем выше их организация, тем лучше интуитивно понимают физику, статистику, и тп, а человек еще и психологию, другие теории. Фактически эти результаты передаются наследственно, настраиваются эпигенетически, включая самообучением плода в утробе (см. ретинальные волны сетчатки и их исследование с визуализацией такого обучения на мышах - некий аналог обучения ИНС на синтетике, комент специалиста). Можно назвать это интуитивное понимание одними из априорных форм познания Канта возникшим эволюционно. Есть несколько теоретических представлений на эту тему (в этом коменте подробнее на эти темы). Младенцы появившись на свет знают об окружении намного больше, чем мы представляем по их виду и поведению. Они не могут воспользоваться этими скрытыми знаниями, т.к. рождаются недоношенными, с еще не сформировавшейся двигательной и другими системами. Детеныши, например, антилоп в саванне через час после рождения уже могут двигаться за матерью по пересеченной местности вполне ориентируясь в ней. Они рождаются более сформированными и способны эти унаследованные знания о среде применять почти сразу же, иначе быстро погибнут от хищников. Множество специально поставленных экспериментов подтверждают, что младенцы имеют такие первоначальные представления об объектах, движении, геометрии, числах, агентах, и др., и это является нейрональной основа здравого смысла! Неявные знания буквально зашиты в структуру мозга и его сетей, которые предварительно настраиваются ("инициализируются") уже в период утробного развития. Во первых, это экономит время на дальнейшее обучение, не нужно учиться с нуля на огромных массивах данных, как ЯМ, во вторых, такое "предобучение" унифицирует поведение особей одного вида независимо от особенностей окружающей среды в которой они появились на свет.
Это важный момент. Второй важный, как эти неявные знания о физике (свойствах) окружающей среды и других объектах представлены в мозге, как происходило обучение, и как они используются. Не в символическом, пусть и в виде эмбедингов, как у ЯМ. А в виде образов! И используются в виде образного мышления, вида мышления который пока не моделируется в ЯМ (еще много чего полезного не моделируется). Оно доминирует в детстве (привет "невидимым" друзьям:), во взрослой жизни отходит на второй план проявляясь в виде интуиции, воображения, памяти и инсайта. Конечно, по мере взросления, воспитания и обучения, эти неявные знания вербализуются, частично осознаются, но в реальной жизни они по прежнему часто используются интуитивно. Когда человек решает задачи вроде приведенной с чашкой, в первую очередь, он проигрывает ее мысленно в воображении (симулирует), после ее трансляции из символической формы в подходящие образы (стандартная методика исследования подобных феноменов - мысленное вращение). В мозге в буквальном смысле имеется "игровой движок", который способен на такие симуляции с использованием законов соответствующих законам классической механики (см. работы команды Д.Тэненбаумана из МИТ по этим темам, не раз упоминались на Хабре - 1, 2). Почему происходит такой переход от символического представления к образному? Чтобы доопределить задачу, устранив неопределенности связанные с абстрактностью символической формулировки. Любая абстракция это компрессия информации и рост неопределенности, обратная сторона ее обобщения. Происходит распаковка информации в определенном контексте к которой уже может быть применено моделирование в соответствии с закономерностями области. Это может происходит также бессознательно. Именно в этом состоит глубинная природа здравого смысла, а не только запоминании банальных истин вроде "все тела падают вниз". Как падают в разных условиях, по какой траекториям, насколько быстро, и тп? Мы не можем решить задачу точно, но прокрутив мысленно в соответствующем контексте, можем быстро получить ответ в приближенном виде.
С помощью такого обучающего материала можно обучать мультимодальные ЯМ. В школьные годы делая домашку по математике в задачах типа - в бассейн вода втекает-вытекает, бассейнов не один, как быстро они заполнятся, или сольются, и тп, прежде чем писать уравнения, обычно в воображении проигрывается динамика воды в этих бассейнах с учетом непротиворечивого выполнения физических требований к свойствам воды и ее движения в них. И уже затем записывается уравнение с учетом индивидуальных способностей человека, как можно точнее представлять это в воображении. Со временем, с опытом, это моделирование перемещается на бессознательный уровень, быстро выполняется в виде навыка, а на сознательном уровне доступным становится только его результат в виде правильно записанного уравнения. Как именно обучать таким задачам ЯМ, чтобы у них выработались аналоги интуитивного представления о физике среды, которые ограничивали их фантазии при решении, контролировали их ход, и насколько архитектуры трансформерных ЯМ соответствуют этому отдельные вопросы. Вероятно это потребует использования рекуррености в архитектуре в полном объеме, а не как в трансформерных ЯМ в виде внешнего авторегрессионного цикла.
Автор, интересные ходы мысли, пишите еще) Давайте ссылки на непонятные термины хотя бы на вики, чтобы можно было быстро навести справки, иначе может раздражать. Пишите не для бумажного журнала.
Нет, по русски импульсит) т.е. генерирует импульсы
Ссылка на оригинальную статью. Судя по этой ссылке работают над темой давно. Других работ по теме мемристоров немало, но до широкого внедрения нейроморфных технологий нужно решить проблему деградации их характеристик. Возможно существующий ИИ подскажет решение с подходящими материалами, которые обладают нужными для них свойствами.
И при чем тут Гегель? Бор был кантианцем и строил обоснование применимости КМ исходя из методологии его теории познания, см. на вики, о дополнительности. Принцип дополнительности следствие конструктивной природы познания, эпистемологического конструктивизма основоположником которого считается Кант - 1, 2, 3. Корпускулярно-волновой дуализм, как физическая концепция, является конструктом, так же как пространственно-временной континуум ТО, многие другие физические концепции. Другой принцип Бора - соответствия следствие исторической динамики познания реальности (кантовских "вещей в себе"), как явлений, выражающейся в преемственной смене поколений проверенных широкой практикой применения теорий.
Гегель парит высоко) Теория Канта является в немалой степени натуралистической, он сам занимал науками, и внес вклад в них. Именно по этой причине упомянутые принципы основанные на этой методологии со временем приобрели статус общенаучных.
Нима нужно сводить на экскурсию по ускорителю. Пусть посмотрит на треки частиц в детекторах, откуда они берутся. А то сидим за столом в кабинете, пишем статьи о частицах, а сами в глаза их не видели, хотя бы их следы) Насчет пр. и времени идея у него прогрессивная, но далеко не новая, их давно ищут, но пока никак не сыщут. Возможно это предвидение Канта подтвердится экспериментально, как уже было не раз в области когнитивных исследований, и даже получить за это нобеля. Авторы обеих статей 1, 2 вдохновлялись его идеями, и подчеркивают, что это открытие подтверждает его предсказание об априорном характере пространства, своеобразном чувстве, или скорее интуиции пространства.
Какие спекуляции? Предиктивное кодирование (байесовский мозг/разум - обзор) является следствием действия вариационных принципов в биологии. Они давно успешно применяется для решения многих задач в разных областях этой науки, см. обзор. Их обобщением в математически строгой формулировке, особенно для области психофизиологических исследований, является принцип свободной энергии, как вариационного принципа (в изложении его автора К. Фристона - 1, 2, экспериментальная проверка на нейрональных культурах - 1, 2, попытка распространения принципа на физику частиц) и нашел широкое применение в описании предиктивного кодирования - обзор.
Естественно, возникает вопрос о применимости этого принципа к ИНС, как некоторым формальным моделям нейронных сетей мозга. В действительности идея этого принципа складывалась в 80 - 90-х годах прошлого века в исследованиях именно по тематике ИНС в работах Хопфилда, Хинтона, Фристона, и др. авторов, как использование некоторого аналога энергии (термодинамической свободной энергии) для обоснования их применимости - 1, 2, 3, 4. Из работ над этими и другими типами сетей родились идеи глубоких сетей и машинного обучения. По этой причине принцип св. энергии совместим с этими типами сетей, см. для машины Гельмгольца, и в перспективе для глубокого обучения вообще. Со временем предиктивное кодирование может прийти на смену методу обратного распространения ошибок, как более эффективного метода обучения из-за использования хеббовских принципов в обучении.
За эти ранние работы Хопфилд и Хинтон получили в 2024 г. Нобелевские премии по физике. Так, что предиктивное кодирование и лежащий в его основе принцип св. энергии работающие концепции. Нобеля, пусть и за связанные с ними идеи, как за спекулятивные не дают)
Отличный анализ, обзор архитектур ИНС, и их перспектив, спасибо! Странно, что мало откликов читателей. Похоже только когда лопнет пузырь чисто трансформерных ЯМ только тогда бонзы от индустрии, и массы обратят внимание на подобные архитектурные решения, более приближенные к когнитивной. Как то делал собственный прогноз, и предполагал такой возврат к рекуррентности - Mamba частично использует ее. Следующий этап возможно переход к энергоэффективным, истинно рекуррентным, нейроморфным решениям. В этой же нейроморфной парадигме возможно решение самой продвинутый возможности мозга, особенно при решении творческих задач - морфогенеза, когда нейросети могут менять свою архитектуру под воздействием трудной решаемой задачи, т.е. меняет не только веса связей синапсов (аналог STDP) по ходу ее решения, но и строит новые и уничтожает некоторые старые синаптические связи (аналог синаптогенеза), и возможно подключать новые нейроны (аналог нейрогенеза), т.е. на полную использовать аналог нейропластичности мозга на всех уровнях. Как-то так на примере открытия периодического закона Менделеевым)
Чистая математика здесь только потому что модельные представления БВ переносятся на реальность. Другой информации пока нет. Времени там еще нет, как длительности, а графики, что там было, рисуем) Просто это провал в нашем понимании, как и любая другая сингулярность в мат. модели физических теорий связанная с их эмпирической недоопределенностью. Но полет воображения потрясает!
Сорри, не проверил после переноса из файла в котором редактировал в комент. ИИ тут не причем, на такой анализ ЯМ еще не способны) Правильные
Статьи Бажанова - 1, 2, другие полезные на его странице.
Теория когнитивного ядра на вики, агентность.
Теория общих магнитуд - 1
Исследование клеток решеток - 1, 2.
Недоступные можно найти на сайхабе.
Еще раз, не нужно употреблять нейробиологов и специалистов в области когнитивных исследований, да и философов тоже, в контексте того, что вы написали, это вводит в заблуждение, они занимаются другим, тем чем написал и дал ссылки на публикации. Работаю в лабе такого профиля и участвую в разработке приложений.
Тогда не понял смысла этот пассажа из приведенной цитаты
Как раз эти специалисты, которых называете "операционными философами", находят воплощения элементов схематизма познания Канта в конкретных механизмах на всех уровнях мозга, его структурах и функциях. Существуют целые кантианские программы исследования в различных науках, первую очередь когнитивных. Идейно они воплотились в теоретических представлениях теории о когнитивном ядре познания (обзор), включающего такую составляющую, как чувство агентности. А также родственной, более низкоуровневой, теории общих магнитуд, в которой априорными считаются базовые физические и математические способности - 1, 2, 3 (можно найти на сайхабе). Как примеры исследования на уровне сетей мозга открытие клеток места, направления и сетки - 1, 2, за которое авторы получили нобель по физиологии и медицине 2014 г. В обеих статьях подчеркивается, что это открытие подтверждает предсказание Канта об априорном характере пространства, своеобразном чувстве, или скорее интуиции пространства.
Без этого этапа адаптация этих механизмов для практического применениях в том же ИИ вряд ли возможна. Конечно разработчики ИИ что-то придумывают сами, пробуют, или могут угадать такие схемы, или как правило, со временем меняют их на биологически более правдоподобные. Как такового своего пути у ИИ нет, это распространенная иллюзия возникающая из-за не знания положения дел в этих областях исследований, см. тут подробнее.
Удачи в поисках!
Спасибо за статью, интересные поиски.
Некоторые замечания.
Существует экспериментальная философия, которая занимается проверкой на практике философский идей в виде опросов и другими способами, и поэтому операционализирующаю ее - 1, 2, 3.
Однако общепринятой платформой операционализации проблем сознания, и других ментальных явлений, считается философия познания Канта (сжато), по мнению многих являющейся фактически больше натуралистической, нежели философской теорией. Это неиссякаемый источник идей для когнитивных подходов (методологии) и исследований - предиктивного, доминирующего сейчас подхода в когнитивных науках, воплощенного подхода, нейрофеменологии, и др. Все дело в ее схематизме, эпистемеологии - знаниях, которые определяют по-знание и со-знание. Знания можно рассматривать, как вид информации, и поэтому это источник ко всем информационным подходам к этим проблемам. Это неизбежно затрагивает проблематику ИИ - 1, 2, 3, 4, 5.
Сингулярностей в математических моделях физических теорий полно, они были всегда начиная с механики Ньютона, см. комент на эту тему. Это признак незавершенности теорий, их эмпирической недоопределенности, и по видимому, это не устранимо окончательно. Если устранятся все, то процесс физического познания должен завершиться, дыр в теориях не останется. Самой загадочная "сингулярность" в таком смысле является не физической, а сознание самого человека)
Неплохо объяснено в статьях на вики - 1, 2. Некоторые исследования на эту тему - 1, 2. Аттракторы, нелинейная динамика, метастабильные состояния и критические режимы основные кандидаты в объяснение и моделирование нейродинамики в мозге - 1, 2, 3, 4, 5, 6, 7 ... Не случайно их пытаются возродить на новом уровне - 1, 2, 3. Трансформеры тоже имеют прототип в мозге в сетях гиппокампа, это специализированная структура мозга.
Однако в дальней перспективе это переход к нейроморфным технологиям, которые решают многие проблемы современных ИНС.
Статистические закономерности возможны, но прямо уравнения вряд ли. Появление самих великих открытий и изобретений скорее культурные мутации (инсайты) с родни генетическим. Как и генетические, некоторые из которых приводят к появлению новых возможностей и видов, они также не предсказуемы. Однако для этого должны созреть подходящие условия, как и для великих открытий в науке.
Это можно проследить на примере открытия Менделеевым периодического закона его имени. Ходят упорные слухи, что он приснился ему во время дремы на рабочем месте)
Сплошной креатив автора комента об открытии Меделеева
Известно, что необходимая информация об атомных весах и других свойствах элементов к тому времени была уже доступна, и другие ученые высказывали похожие идеи используя обобщение (производя эмпирическую индукцию) по этим свойствам. Собственно, исходно Менделеев также произвел подобное обобщение видимо из-за того что писал учебник по химии, и это имело больше дидактический смысл. Произвел формальный вывод на основе известных свойств, то что сейчас могут делать и ЯМ. Однако Менделеев пошел дальше логического вывода и представил это в виде нового концептуального представления, не сводящегося к предыдущим знаниям. Он сформулировал его в виде периодического закона позволявшего предсказывать свойства еще не открытых элементов. В чем разница? На первый взгляд это дальнейшее обобщение размещения по свойствам. Внешне так и представляется. Однако нет. Индукция — индукцией, особенно эмпирической, в обыденной жизни люди постоянно видят закономерности в повторениях и схожих ситуациях, однако на практике могут быть исключения из таких кажущихся связей. Концептуальная формулировка периодического закона отражает интуитивное представление предвосхитившее связь атомных весов элементов с устройством атомов, их ядер, с величиной их заряда, что в последствии подтвердилось. Знаний которых в помине не было в то время. Этот скачкообразный переход, который произошел через некоторое время (периода инкубации) после публикации первоначального варианта таблицы в учебнике, зафиксирован в биографии Менделеева, как осознание (озарение) важности самого принципа периодичности для классификации элементов по атомным весам, и соответственно издания отдельной публикации для закрепления приоритета открытия. Произошла своеобразная мутация в концептуальных представлениях, получивших новое содержание, которые логически невозможно свести к существующим. Без этого знания были бы просто тавтологией существующих и никакого развития представлений не происходило. В мозге за инсайт отвечают стимулируемые поиском решения процессы морфогенеза связанные не только с синаптической пластичностью (ассоциативностью, изменением весов связей), но и случайный рост аксонов, их новые связи, возможно даже нейрогенез. Нейронные сети мозга являются принципиально динамическими системами в которых в процессе интенсивного поиска решений изменяются, как сила связи между элементами, так и сама архитектура сети. Такой уровень пока не доступен современной технологии ИНС с ее статичной архитектурой и состоянием после обучения. Процессы морфогенеза активизируются во время сна, процедуры консолидации памяти, и может быть связана со сновидениями - 1, 2, 3, 4, 5.
Так что байка про открытие периодического закона Менделеевым во время сна хотя и не подтверждалась им лично не могло обойтись без него)
Что значит объединяет? ЯМ статистическая предсказательная модель естественного языка. Точнее и эффективнее это делают рекуррентные сети, которые более адекватны прототипу в мозге, но из-за распараллеливания обработки в трансформерах временно свернули на них из-за лучшей аппаратной поддержки не смотря большие затраты энергии и другие недостатки. Предиктивная парадигма (байесовский мозг/разум) уже, как лет двадцать с лишним, доминирует в когнитивных науках, см. перевод с дополнениями. Подобные эксперименты с предсказаниями речи проводят уже давно - 1, 2, 3.
За то что обратил внимание на тему когнитивных исследований и ссылку спасибо!
Только мне кажется, что темные камни на фотке по форме напоминают засохшие какашки? Похоже жизнь там точно была и оставила следы.
Все фундаментальные открытия приведшие к новым теориям таким, как КМ или ТО, были сделаны неожиданно, даже просто случайно, как в случае с радиоактивностью. Это относится к открытию линейчатых спектров, неожиданных результатов опытов Майкельсона-Морли, в которых было эмпирически установлено постоянство ск. света, или неожиданные, противоречащие теории тяготения Ньютона результаты наблюдений смещения перигелия Меркурия, и некоторые другие факты. Все они фактически вписываются в один сценарий - искали одно, нашили другое, нечто совершенно новое, не предсказываемое существующими теориями. А как еще должна проявлять себя неизведанная реальность? Только так.
Конечно при условии, что возможности экспериментальных технологий созрели для открытия таких ее новых проявлений. Как использование фотопроцесса в исследованиях, который позволил фиксировать продукты радиораспада, увеличение оптической чувствительности спектрометров, которое позволило увидеть линейчатость спектров, использование технологии интерофотометрии в исследованиях, которая позволила зафиксировать неизменность скорости света от направлений движения Земли. Оставалось только, чтобы кто-то, пусть случайно применил эти экспериментальные технологии в нужном контексте. Везло тем, кто занимался близкими задачами, как Беккерелю, который искал невидимые излучения, как Фраунгоферу, который занимался оптическими исследованиями, как Майкельсону и Морли, которые искали подтверждение теории эфира.
Поэтому исследования ТМ и ТЭ нужно вести во всех направлениях, по возможности проверять самые невероятные предположения, самыми разными доступными методами, если на них выделяют средства) Совершенно неожиданно кому повезет, и он в шуме увидит новое, что никак не предсказывалось никакими теориями и гипотетическими предположениями. И это станет толчком к новым теоретическим представлениям, которые не сводятся полностью к уже существующим. Как концепции квантованности и корпускулярно-волнового дуализма, которые потребовались для объяснения свойств линейчатых спектров и проблем с ними в классике, приведшие к КМ. Как делимость атом, точнее его ядра, в противоречии с его неделимостью по античным представлениям, приведшая к атомной и ядерной физике современности. Как концепция пространственно-временного континуума в виде пространства Минковского, для введения в физику конечности ск. распространения любых физических взаимодействий, приведшая к СТО. Или в более общем виде этой концепции, как псевдориманова многообразия, для объяснения аномалий во вращении Меркурия, приведшей к ОТО.
Действительно ждем новостей из физических и других лабораторий, надеемся, что кому-то повезет и он проявит серендипность) в хаосе эмпирических данных. Как Беккерель который увидел в этом шуме нечто новое, реально существующее явление, и сделал его достоянием физического сообщества, а не выбросил фотопластину в мусор.
Еще из истории серендипности в физике. Первым линейчатые спектры поглощения увидел Волластон. Увидел и решил, что это не достойный внимания шум прибора, упомянул об этом в своих записях, но поскольку он повторялся нашел ему нелепое объяснение, как границ цветовых диапазонов непрерывного ньютоновского спектра. В общем не проявил серендипности, возможно был уже стар, нелюбопытен и твердым приверженцем ньютоновской спектральной теории. А вот Фраунгофер любопытство проявил поняв, что это что-то новое, описал и сделал достоянием физического сообщества. Таких примеров в истории было не мало, кто упустил первенство открытия не придав ему значение, тот же С. Томсон, который также наткнулся на радиоактивность, но тоже не придал этому явлению достойного внимания. А сколько просто не обратили внимание на новое? Однако ситуация с тех пор сильно изменилась. Исследованиями занимаются не единицы а целые коллективы, эксперименты превратились в целые предприятия типа БАКа, или телескопов и детекторов частиц различного базирования, и объемы данных они генерируют не сметно. Одному человеку разобраться в них и найти новое уже не под силу. На помощь приходят суперкопы для анализа данных, но они ищут в них нужные паттерны, и набирают по ним статистику. А что же шумы? Их анализ пока не под силам. Хотя на сцене появился новый игрок - ИИ. Вот уже обнадеживающая новость такой ИИ что-то нашел в шуме БАКа. Осталось понять что? Распад или глюк)
Физическое познание видимо закончится, когда все шумы всех экспериментов получат свое объяснение.
Так они и не определи, что это за элементы множества. Если как элементарные, далее не делимые, то эти "чувства" должны соответствовать числу рецепторов. Если модальностям ощущений, то другой уровень, и другое число. Если архаичному делению Аристотеля, то их пять по основным органам чувств. Их вывод об оптимальности 7 чувств к чему относится? Как это применить к человеку? Прошел он этот оптимум в своем развитии, или еще нет?
О каких чувствах идет речь? Пять насчитал в античности Аристотель - зрительные, слуховые, обонятельные, вкусовые и тактильные. Это грубое деление, считается по типам рецепторов, о которых он ничего не знал - короче.
Это может быть проделано с помощью нейроинтерфейсов - небольшой обзор исследований и технологий.
Все может быть проще и сложнее одновременно, каждый индивид живет в собственной симуляции)
Получается в ядре галактик целый пул вложеных вселенных? ЧД сливаются, что происходит со всеми вложенными вселенными? ЧД сливаясь укрупняются, все сольются в одну? Сомнительно, что на этом уровне работает обычная линейная логика вложенных структур устройства нашей Вселенной. Мозг заполняет пустоту незнания знакомыми формами. Тот же Кант утверждал, что пространство и время лишь формы организации нашего восприятия и мышления, а не свойства реальности, а разум постоянно путается в неразрешимой игре конечного и бесконечного, делимого и неделимого, и тп. И потому ждем неожиданных открытий из физических и других лабораторий, которые в корне противоречат устоявшимся физическим представлениям. Как это произошло с неожиданными открытиями линейчатых спектров и радиоактивности положивших начало наук о микромире, или неожиданного факта постоянства скорости света в опытах Майкельсона-Морли, а также ничем необъяснимо факта смещения перигелия Меркурия, которые в совокупности с другими фактами, привели к СТО и ОТО. А пока щелкаем семечки экстравагантных гипотез)