Ещё совсем недавно до конца не было понятно, как функционируют нейроны и механизм памяти.
До конца нет, но принципы нейронной пластичностиизучены. Обучение биологических нейронных сетей на любом уровне подчиняется принципу минимизации свободной энергии. Это статистический фреймворк из которого выводится, в том числе, обучение с помощью обратного распространения ошибки для ИНС, как упрощенного модельного случая биологических нейронных сетей. См. этот комент с пояснениями для технологии о которой идет речь в статье.
Итак, Homo Sapiens – своеобразный «дизайнерский питомец» природы, который сам выступил в роли селекционера для самого себя. Мы приобрели множество черт, роднящих нас с беляевскими лисичками и другими одомашненными созданиями: податливый характер, умильную внешность, склонность играть и ладить друг с другом. Это, в свою очередь, позволило нашему виду взлететь на невиданную высоту – создать сложную культуру и технологии. Конечно, аналогия не абсолютна, и обсуждения продолжаются. Тем не менее, гипотеза самодоместикации бросает свежий взгляд на то, кто мы есть.
В новом исследовании утверждается, что эволюция и сама может эволюционировать
Это же проверка давно известной эволюционируемости, как адаптации эволюции к среде. А сама эволюция эволюционирует, когда меняются ее механизмы с целью повышения эффективности. Например, размножение делением и почкованием заменятся более эффективным половым размножением.
Эти результаты ставят под сомнение фундаментальное предположение, выдвинутое некоторыми исследователями в области AI: что системам требуются заранее запрограммированные «базовые знания» о физических законах. V-JEPA показывает, что эти знания можно получить только путём наблюдения — подобно тому, как младенцы, приматы и даже молодые птицы могут развивать своё понимание физики.
В мозге младенцев и детенышей животных заложены некоторые априорные знания о свойствах среды обитания, и главное, способности к обучению. Дети с рождения знают об объектах, их константности, приблизительном числе, и многое другое (неполный обзор). Эти базовые способности предаются фактически наследственно, и развивается в ходе обучения. Средневековые представления об обучение с "чистого листа" давно не актуальна в этой области. Детеныши антилоп на равнинах пользуются такими скрытыми знаниями о среде почти сразу же после рождения. Через час они уже двигаются, маневрируют, прячутся, и тп, без особого обучения. Иначе на просторах стерпи или саванны они сразу же могут стать жертвами хищников. Человеку и другим млекопитающим, например, детеныши которых растут в норах, сразу двигаться не обязательно, но взаимодействовать с родителями необходимо. Это частично инстиктивное поведение, но в немалой степени, приобретенное во внутриутробном развитии мозга.
Нечто подобное закладывается и в архитектуру ИНС. Пример тому распознавание объектов с помощью сверточных сетей. Архитектура таких систем подобна строению вентрального тракта зрительной системы приматов. Т.е. в них уже заложена способность к распознаванию изображений, выделению объектов, фона, и др. Лекун сам занимался ими когда-то и ориентировался на нейробиологию, подзабыл)
Поэтому, на самом деле, нет сомнений, что в описываемой архитектуре такие способности к обучению также заложены, фрагмент статьи
Вместо того, чтобы генерировать идеальные с точки зрения пикселей прогнозы, V-JEPA делает прогнозы в абстрактном пространстве представлений — ближе к тому, как, по мнению Лекуна, человеческий мозг обрабатывает информацию.
Исследователи позаимствовали из психологии развития эффективный метод оценки под названием «нарушение ожиданий». Изначально этот подход использовался для проверки понимания детьми законов физики. Он показывает испытуемым две похожие сцены — одну физически возможную, а другую невозможную, например, как мяч катится сквозь стену. Измеряя реакцию удивления на эти нарушения законов физики, исследователи могут оценить базовое понимание физики.
Если архитектура разрабатывалась под такие возможности, то она уже содержит априорную информацию о входе, о способе обработки при обучении, и выводе. Хотя биологические сети мозга не только организованы структурно при рождении, но и частично настроены в процессе эмбрионального развития благодаря их спонтанной активности (здесь подробнее на эту тему).
Нётер обнаружила, что законы сохранения не являются фундаментальными аксиомами Вселенной. Вместо этого они вытекают из более глубоких симметрий.
Да, но можно идти от обратного, что с физической точки зрения корректнее с учетом того, что физика наука эмпирическая. Законы сохранения эмпирически установленные факты, а симметрии пространства и времени абстрактные представления, элементы физического описания. Квантовые теории пространства и времени типа Петлевой квантовой гравитации, чтобы считать их физическими сущностями, пока не получили подтверждения. Обращением доказательства теоремы Нетер из факта сохранения параметра можно вывести соответствующую ему симметрию. Читал об этом когда-то, но быстрый поиск дал только упоминание в этой статье в конце.
То, что у нас в голове присутствуют какие-то сформированные эволюцией механизмы не ведёт к тому, что эти механизмы хоть сколько-то оптимальны и хороши.
Напротив, иногда хорошие результаты получаются упрощением и примитивизацией отдельных элементов (заменили большую часть нелинейностей на ReLU и довольны).
Автор статьи упомянул о сложности биологических нейронов
Это прямое свидетельство: за счёт активных дендритов нейрон осуществляет вычисления, сравнимые по сложности с глубокими нейронными сетями. Другими словами, отдельная клетка способна реализовать не одну, а несколько стадий обработки сигналов – своего рода «нейросеть внутри нейрона».
Но не уточнил, как именно она сказывается на структуре и функциях ИНС. Это особенно наглядно проявилось в глубоких сверточных сетях, которые являются хорошими моделями вентрального тракта зрительной системы приматов. Он состоит из пяти отделов в зрительной коре мозга, а сама кора в среднем из 6 слоев. Первым эту архитектуру реализовал Ян Лекун в LeNet-5, которая распознавала циферки. Далее по нарастающей увеличение числа слоев и объема обучающих выборок привело к росту эффективности распознавания объектов близкой к человеческой, достигшей максимума в сетях типа GoogLenet и ResNet, имевшей до 150 слоев. Однако дальнейшее наращивание слоев до тысячи не привело к дальнейшему росту эффективности и даже падению. Такое поведение для разработчиков показалось загадочным, имело разные объяснения, но если обратиться к нейробиологии, то можно понять в чем, вероятно, тут дело. Автор статьи привел ссылки на исследования в которых было показано, что биологический нейрон, конкретно самый распространенный пиромидальный, адекватнее моделируется целой сверточной сетью из 5-8 слоев, а не формальным нейроном, как взвешенного по входам сумматора с функцией активации. Получаем оценку 5 * 6 * 5 = 150 формальных нейронов, если исходить из того, что число слоев в коре 6, а модель нейронов пятислойная. Т.е. для адекватного моделирования вентрального потока требуется в 5 раз больше формальных нейронов, чем они имеются в сети зрительного тракта. Фактически многие слои в глубоких сверточных сетях моделируют свойства самих биологических нейронов, а не являются слоями моделирующими области зрительной коры. Тогда понятно почему возникает такое ограничение и отсутствие роста эффективности распознавания при наращивании числа слоев в них за этот предел. Упрощение модели нейрона приводит к компенсации в виде возрастания сложности сети для достижения эффективности распознавания сравнимого с человеком. Как не крути, когда в 50-60 годах прошлого века заложились на модель биологического нейрона, которая моделирует только его основную суммативную функцию и отсекает остальные, то выбраться за пределы этой парадикмы в дальнейших разработка фактически уже невозможно. Она явно или не явно направляет разработку в этой области во вполне определенном направлении. Это относится и к другим архитектурам ИНС и методу их обучения путем обратного распространения ошибки, см. этот комент. По этим причинам переход в перспективе к нейроморфным решениям, которые еще более адекватно моделируют биологические прототипы нейронов и сетей кажется неизбежным.
Эволюция решала более прозаичные задачи для первых организмов с нервной системой и сенсорикой. Допустим они движутся по суше или дну водоема. Это движение раздражает какие-нибудь чувствительные отростки на их теле от встречного движения воздуха или воды, но они благодаря эфферентным копиям от двигательной системы системы "знали", что эти ощущения связаны с их собственным движением. Если этот механизм не был бы выработан, то в покое при ветре или течении воды они "думали" бы, что сами движутся) Т.е. наблюдалась полнейшая дезориентация в динамичной среде. Таких ситуаций с необходимостью различения полно. Противоречивые ситуации, когда органы чувств подводят, мы можем испытывать в искусственных условиях, которые практически не встречаются в природе. Например, в поезде, если он плавно трогается от вокзала, когда смотришь в окно и видишь только соседний состав, то непонятно двинулся он, или в котором находишься. Эта ситуация в обобщенно виде даже в физику попала в виде закона относительности равномерного прямолинейного движения Галилея.
То есть интересует в виде практического результата связанного со всеми этими изысканиями. Было бы здорово иметь такое устройство, которое на каждом восприятии ставило бы этакую метку его ирреальности в процентах) К сожалению, до такого еще далеко, если вообще возможно по некоторым методологическим соображениям когнитивного характера упомянутым выше. Можно оценивать активность отделов и сетей мозга и направление потоков информации между ними для случаев "нормального" восприятия и во время галлюцинаций, и на основании этого делать некоторые выводы. Но галлюцинации фактически не поддаются волевому контролю, спонтанны, что создает трудности для их изучения. Только в специально созданных условиях, как в исследованиях ссылки на которые приводил, но они не охватывают всех случаев жизненных ситуаций. Однако есть похожий феномен, который до некоторой степени поддается волевому контролю - воображение, который позволяет косвенно подойти к решению этой проблемы. Оно также не связано непосредственно с сенсорной стимуляцией. Воображение играет важную роль в творчестве, и по этой причине также пристально изучается, см. примеры исследований 1, 2, 3, особенно это прямо по теме. Резюмируя воображение связано с преобладанием нисходящих потоков управления в тех же путях и областях мозга, которые участвуют в восприятии, т.е. связаны с восходящими потоками сенсорной информации. Возможно со временем удастся набрать достаточно надежную статистику для таких взаимодействий, чтобы используя активность мозга с помощью гарнитуры сигнализировать о разыгравшемся воображении, и возможно появлении галлюцинаций.
Вас, что интересует, нейробиологические исследования метальных явлений, или проблема природы субъективных переживаний? Если, первое, то ищите исследования вроде этого с фМРТ, или этих 1, 2 с электрической стимуляцией, если второе, то методологические исследования вроде упомянутых в этом обсуждении, или здесь.
Галлюцинации могут быть и у психически здоровых людей и связаны с сенсорной депривацией. Сновидения разновидность такой депривации во время сна. Также при приеме психоактивных веществ, которые приводят к временным нарушения в работе сенсорных систем. У людей с психопаталогиями источник связан с относительно постоянными нарушения разного рода и степени функций сенсорных систем. Тюльпы воображаемые сущности, в детстве воображаемые друзья. Вообще, все эти феномены сильно завязаны на образный уровень мышления, который является базовым и относительно независим от сознательного контроля, в детстве преобладает, пока не разовьется абстрактно-логический уровень. Это так, по верхам, в действительности все намного сложнее и многообразнее, и до полного понимая еще очень далеко.
А у шизов можем только предполагать, почему внутренний диалог превратился во внешние голоса.
Вопрос в правильном направлении. Голоса могут быть внутренними, но как-бы принадлежать другим. Возможно по той же причине по которой нам щекотно, когда кто-нибудь щекочет нас за пятку, но когда сами ее трем, то нет) В соответствии с принципом реафферентации, когда мы трем себя сами, то в специальные отделы мозга отправляются эфферентные копии этих действий, и мы знаем, что щекочем себя сами, а не кто-то другой, и поэтому реагируем соответствующе. Этот механизм возник еще при зарождении нервной системы у древний животных, и некоторые исследователи предполагают, что он имеет отношение к возникновению ощущения самости и сознания человека в целом (1, 2), а его нарушения приводят к существенным дисфункциям восприятия и поведения. Также этот механизм играет существенную роль в концепции "байесовского" мозга или разума (по другой терминологии предиктивного кодирования, см. расширенный обзор на Хабре), которая является одной из основ современных когнитивных исследований - обзор (в нем же затрагиваются возможные механизмы возникновения шизофрении в рамках данного подхода, доп. ссылки по этой теме 1, 2, 3, на Элементах 1, 2).
Бизнес и создание сектора рынка, новой экономической ниши по масштабам затрат разные вещи. Как пример, государства создали сектор космических исследований, услуг - одни затраты. Пришел Маск и в этой нише создал эффективный космический бизнес. Все понимают, что опенаи создает новый сектор рынка - интеллектуальных услуг, поэтому затраты такие большие. Пришел депсик и в этой развивающейся нише рынка создал свой относительно эффективный бизнес. С космосом это тянулось десятилетиями, а в этом случае на повторении истории оказалось достаточным нескольких лет. Появятся и другие конкурирующие. Потребители таких услуг от этого только выиграют.
Окончательно эта проблема не решена, если судить по этому переводу статьи за 2016 год.
У изучающих ПКГ физиков нет чёткого понимания того, как перейти от кусочков сети пространства-времени к крупномасштабному описанию пространства-времени, совпадающему с ОТО Эйнштейна – нашей лучшей теорией гравитации. Более того, их теория не может примириться с тем особым случаем, в котором гравитацией можно пренебречь. Это проблема, подстерегающая любую попытку использования пространства-времени по кусочкам: в СТО линейные размеры объекта уменьшаются в зависимости от движения наблюдателя относительно объекта.
Да, и обзор на вики не подтверждает. По этой причине ее пытаются скрестить с подходами ТС. Но Ровелли скептически относится к этому процессу. Скорее всего он прав.
Можно в виде исторического экскурса. с последовательным раскрытием каждой концепции на простых примерах. Но увы...
Основные идеи пкг когда-то Ли Смолин доходчиво изложил. Про гипотетические расширения этой теории автором статьи можно почитать только в его предыдущих публикациях. Они носят спекулятивный характер, т.к. основаны на бомовской интерпретации КМ. Никаких отдельных эмпирических показаний к ним нет. С методологической точки зрения сомнительно, что Ровелли, как основной разработчик пкг, одобрил бы их. Он также автор реляционной интерпретации КМ, и поэтому, например, отрицает онтологический статус существования ВФ, не говоря уже о спорном концепте бомовской волны пилота. Так, что тут верь, не верь..) Может все-же интуиция, в купе с воображением, автора не подвела, как собственно и разработчиков пкг.
В качестве бенефиса можно обосновать участие темной материи в образовании галактик.
Темная материя дрейфует по всему пространству, подгоняемая гравитационными волнами и собирается в облака как только волны образуют каустики (водовороты, вращения и другие области высокой интенсивности) . В данных водоворотах начинают скапливаться также межзвёздный газ и пыли, межзвёздные электромагнитные поля и космические лучи. Однако облака из темной материи усиливают гравитацию в месте локализации и служат в качестве гало для будущих звезд и галактик
Чем этот бенефис отличается от бенефиса ТМ в виде различных гипотетических частиц или популярных сейчас первичных ЧД? И почему она сосредотачивается именно в гало галактик, по каким закономерностям? Пока подобные различия не прояснятся никакого смысла в эмпирической проверке наблюдениями этих предсказаний не будет.
Для меня просто отличное изложение. Кратко и внятно изложена общая связь между основными концепциями пкг. Я читал и думал- ааа, так вот как эти хрени стыкуются!
Так вы поняли, как эти хрени, концепты пгк, стыкуются в рамках самой пгк, или хреней расширенного пространства автора статьи? У него квант пространства не квант, а хрень имеющая внутреннюю структуру, и выводы о ТМ в статье связаны с ней.
В мозге и близко нет механизма типа обратного распространения ошибки, математический красивый алгоритм, позволяющий обучить нейросеть быстро и точно. Попросил DeepSeek развернуть мысль и он развернул хорошо ))
Это ошибочное мнение, которое распространено у айтишников, из-за отсутствия достаточных представлений о достижениях в области нейробиологических исследований и истории этого вопроса. Что касается ответов ЯМ, то они обучены на таких мнениях из сети, и многое зависит от постановки вопроса к ним. Своего мнения у них нет)
В биологических нейронах есть некоторый аналог обратного распространения сигнала, но как он может действовать на уровне сетей пока не ясно, и является целью исследований. Возможно, что никак из-за того что этот механизм, либо редуктивный, отпавший за ненадобность, либо не сформировавшийся до конца, как эволюционный эксперимент. В любом случае это связано с тем, что в биологических нейронных сетях сформировался другой, более общий и эффективный принцип регуляции пластичности - принцип минимизации свободной энергии. Он также отвечает за обучение нейросетей мозга с использованием механизма хеббовского обучения (STPD). Хорошей иллюстрацией действия этого принципа является обучение культуры нейронов в чашке Петри игре в Понг (см. комент с пояснениями).
Алгоритм минимизации ошибки с помощью обр. распространения является костылем, который был придуман, чтобы решить проблему обучения ИНС, являющихся весьма приближенными моделями биологических сетей, в связи с тем, что они были реализованы на компьютерах с фоннеймановской архитектурой, которая далека от архитектуры биологической организации мозга. Аналогия мозга, как компьютера была популярной в 60-70-х годах прошлого века, но затем фактически потеряла актуальность, т.к. исследования показали, что структура и функции мозга несоизмеримо богаче этой упрощенной метафоры. Для реализации непрерывного хеббовского обучения больше подходят нейроморфные архитектуры вычислительных устройств, которые адекватнее моделируют свойства биологических прототипов. Что касается использования градиентных методов, то они широко используются для регуляции жизнедеятельности организмов, в частности, в сенсорных системах, особенно у микроорганизмов, у которых они полностью определяют их поведение в среде обитания в виде различных таксисов, в частности, хемотаксиса.
Что качается эффективности обучения, то для обучения, например, детей категориям достаточно показать несколько изображений. Тоже касается вербальных форм обучения. Это несоизмеримо с тысячами изображений и прогонов для обучения ИНС. Кроме того, биологические формы обучения непрерывные, динамичные, асинхронные, и действительно, энергоэффетивные (это результат действия принципа минимизации свободной энергии, только не стоит ее толковать в термодинамическом смысле). Со временем переход на нейроморфные решения, которые удовлетворяют этим критериям в большей степени, практически неизбежен. Над ними работают многие производители компьютерного железа понимая эту неизбежность. Основная проблема на этом пути поиск подходящих, и главное износоустойчивых, материалов мемристоров, которая возможно будет решена с использованием ИИ натренированных на подобные цели.
Что касается собственного пути ИИ, о котором говорят некоторые разработчики, то история показала, что все решения которые не вписываются в биологическую парадигму ИИ со временем отмирают, как не эффективные. Наглядный пример экспертные систем, хотя это относится к символической ветви разработки ИИ. Либо разработчики в работах честно пишут о биологической инспирированности предлагаемых решений, либо скромно умалчивают, либо, иногда, интуитивно угадывают тренд, следуя ему. Это показала история одного из основных разработчиков ИНС Яна Лекуна, который в прошлом был сторонником таких воззрений, но со временем, судя по публикациям, в значительной степени поменял точку зрения. Другого и не может быть, коль скоро в этой области исходно заложились на модели биологических сетей, а в перспективе цель создать интеллект сравнимый с человеческим, или превосходящий его, другого и нет для сравнения. Другой путь это не биологический, и не человеческий интеллект и логика, тогда для кого она, и как ее понимать?
Еще вспомнил в стране подобными исследованиями с инженерным подходом занимался Соколов Е. Н., см. там список литературы. Очень интересно писал по этим темам, там есть статья про саккады.
Да, в статье как раз попытка разобраться, как можно избежать использования большого количества изображений объектов при обучении.
В том и дело, что приведенная схема не совсем соответствует организации и функциям мозга. Фактически для каждого объекта и его составных частей должна формироваться своя подсеть в общей сети мозга. Но мозг так не устроен. У него генетически предопределенная иерархическая структура и деление на отделы, включая визуальной системы, которая оптимизирует и сам процесс обучения и его результаты в соответствии с эволюционно выработанной биологической целесообразностью. В вашей схеме, как понял, обучение каждый раз будет происходить заново для каждого объекта и нарастать линейно потребляя большое количество памяти, а это ограниченный ресурс.
Допустим, при рождении в мозге уже есть микро сеть, которая распознает вертикальную линию. Но вертикальные линии могут быть под разными углами и так далее.
Про сложность мозга, пока мне кажется, что мозг на нижнем, физическом уровне работает однообразно и параллельно. Вряд ли в мозге для распознавания разных объектов создаются отдельные, специализированные структуры.
Что подразумевается под физическим уровнем? Клеточный? Все весьма разнообразно. Одних только нейронов многие десятки видов, зависит как классифицировать, и открывают новые. С точки зрения инженерного подхода кажется запутанным и чрезмерно избыточным. Однако стандартная упрощенная модель формального нейрона, как взвешенного по входам сумматора с функцией активации, не всегда адекватно описывает функционал биологических нейронов и сетей. Например, функционал распространенного пиромидального нейрона лучше описывается целой 5-8 слойной сетью из формальных нейронов. Это, кстати, может объяснить почему глубокие сверточные сети из многих десятков слоев и даже сотен, как у Гугленета, распознают эффективнее, нежели с несколькими слоями, см. этот комент.
Вообще написанное сильно напоминает, что предлагает Д. Хокинс. Не читали его работы (1, 2)? Однако он оговаривает свой инженерный подход к пониманию обучения, поведения и интеллекта, и использует миниколонки для проектирования ИИ в его понимании. Т.е. не делает акцент на объяснение функций мозга, а у вас в заключении
Можно ли применить микроплееры не только для распознавания образов, но и для объяснения работы мозга в целом?
Возможно да.
На Хабре такое может пройти и вызывать одобрение - накинул карму за интерес к теме, но специалисты вряд ли оценят)
Это клеточная культура получает питание из вне искусственно.
До конца нет, но принципы нейронной пластичности изучены. Обучение биологических нейронных сетей на любом уровне подчиняется принципу минимизации свободной энергии. Это статистический фреймворк из которого выводится, в том числе, обучение с помощью обратного распространения ошибки для ИНС, как упрощенного модельного случая биологических нейронных сетей. См. этот комент с пояснениями для технологии о которой идет речь в статье.
Это половой отбор в соответствии с теорией Лавджоя - Семейные отношения — ключ к пониманию эволюции человека. Может в ссылках упоминался. Спасибо за интересную статью.
Это же проверка давно известной эволюционируемости, как адаптации эволюции к среде. А сама эволюция эволюционирует, когда меняются ее механизмы с целью повышения эффективности. Например, размножение делением и почкованием заменятся более эффективным половым размножением.
В мозге младенцев и детенышей животных заложены некоторые априорные знания о свойствах среды обитания, и главное, способности к обучению. Дети с рождения знают об объектах, их константности, приблизительном числе, и многое другое (неполный обзор). Эти базовые способности предаются фактически наследственно, и развивается в ходе обучения. Средневековые представления об обучение с "чистого листа" давно не актуальна в этой области. Детеныши антилоп на равнинах пользуются такими скрытыми знаниями о среде почти сразу же после рождения. Через час они уже двигаются, маневрируют, прячутся, и тп, без особого обучения. Иначе на просторах стерпи или саванны они сразу же могут стать жертвами хищников. Человеку и другим млекопитающим, например, детеныши которых растут в норах, сразу двигаться не обязательно, но взаимодействовать с родителями необходимо. Это частично инстиктивное поведение, но в немалой степени, приобретенное во внутриутробном развитии мозга.
Нечто подобное закладывается и в архитектуру ИНС. Пример тому распознавание объектов с помощью сверточных сетей. Архитектура таких систем подобна строению вентрального тракта зрительной системы приматов. Т.е. в них уже заложена способность к распознаванию изображений, выделению объектов, фона, и др. Лекун сам занимался ими когда-то и ориентировался на нейробиологию, подзабыл)
Поэтому, на самом деле, нет сомнений, что в описываемой архитектуре такие способности к обучению также заложены, фрагмент статьи
Если архитектура разрабатывалась под такие возможности, то она уже содержит априорную информацию о входе, о способе обработки при обучении, и выводе. Хотя биологические сети мозга не только организованы структурно при рождении, но и частично настроены в процессе эмбрионального развития благодаря их спонтанной активности (здесь подробнее на эту тему).
Да, но можно идти от обратного, что с физической точки зрения корректнее с учетом того, что физика наука эмпирическая. Законы сохранения эмпирически установленные факты, а симметрии пространства и времени абстрактные представления, элементы физического описания. Квантовые теории пространства и времени типа Петлевой квантовой гравитации, чтобы считать их физическими сущностями, пока не получили подтверждения. Обращением доказательства теоремы Нетер из факта сохранения параметра можно вывести соответствующую ему симметрию. Читал об этом когда-то, но быстрый поиск дал только упоминание в этой статье в конце.
Отличная обзорная статья по клеточному познанию. Спасибо! Кому интересна эта тема ищем публикации по тематике - Cognition-Based Evolution.
Автор статьи упомянул о сложности биологических нейронов
Но не уточнил, как именно она сказывается на структуре и функциях ИНС. Это особенно наглядно проявилось в глубоких сверточных сетях, которые являются хорошими моделями вентрального тракта зрительной системы приматов. Он состоит из пяти отделов в зрительной коре мозга, а сама кора в среднем из 6 слоев. Первым эту архитектуру реализовал Ян Лекун в LeNet-5, которая распознавала циферки. Далее по нарастающей увеличение числа слоев и объема обучающих выборок привело к росту эффективности распознавания объектов близкой к человеческой, достигшей максимума в сетях типа GoogLenet и ResNet, имевшей до 150 слоев. Однако дальнейшее наращивание слоев до тысячи не привело к дальнейшему росту эффективности и даже падению. Такое поведение для разработчиков показалось загадочным, имело разные объяснения, но если обратиться к нейробиологии, то можно понять в чем, вероятно, тут дело. Автор статьи привел ссылки на исследования в которых было показано, что биологический нейрон, конкретно самый распространенный пиромидальный, адекватнее моделируется целой сверточной сетью из 5-8 слоев, а не формальным нейроном, как взвешенного по входам сумматора с функцией активации. Получаем оценку 5 * 6 * 5 = 150 формальных нейронов, если исходить из того, что число слоев в коре 6, а модель нейронов пятислойная. Т.е. для адекватного моделирования вентрального потока требуется в 5 раз больше формальных нейронов, чем они имеются в сети зрительного тракта. Фактически многие слои в глубоких сверточных сетях моделируют свойства самих биологических нейронов, а не являются слоями моделирующими области зрительной коры. Тогда понятно почему возникает такое ограничение и отсутствие роста эффективности распознавания при наращивании числа слоев в них за этот предел. Упрощение модели нейрона приводит к компенсации в виде возрастания сложности сети для достижения эффективности распознавания сравнимого с человеком. Как не крути, когда в 50-60 годах прошлого века заложились на модель биологического нейрона, которая моделирует только его основную суммативную функцию и отсекает остальные, то выбраться за пределы этой парадикмы в дальнейших разработка фактически уже невозможно. Она явно или не явно направляет разработку в этой области во вполне определенном направлении. Это относится и к другим архитектурам ИНС и методу их обучения путем обратного распространения ошибки, см. этот комент. По этим причинам переход в перспективе к нейроморфным решениям, которые еще более адекватно моделируют биологические прототипы нейронов и сетей кажется неизбежным.
Эволюция решала более прозаичные задачи для первых организмов с нервной системой и сенсорикой. Допустим они движутся по суше или дну водоема. Это движение раздражает какие-нибудь чувствительные отростки на их теле от встречного движения воздуха или воды, но они благодаря эфферентным копиям от двигательной системы системы "знали", что эти ощущения связаны с их собственным движением. Если этот механизм не был бы выработан, то в покое при ветре или течении воды они "думали" бы, что сами движутся) Т.е. наблюдалась полнейшая дезориентация в динамичной среде. Таких ситуаций с необходимостью различения полно. Противоречивые ситуации, когда органы чувств подводят, мы можем испытывать в искусственных условиях, которые практически не встречаются в природе. Например, в поезде, если он плавно трогается от вокзала, когда смотришь в окно и видишь только соседний состав, то непонятно двинулся он, или в котором находишься. Эта ситуация в обобщенно виде даже в физику попала в виде закона относительности равномерного прямолинейного движения Галилея.
То есть интересует в виде практического результата связанного со всеми этими изысканиями. Было бы здорово иметь такое устройство, которое на каждом восприятии ставило бы этакую метку его ирреальности в процентах) К сожалению, до такого еще далеко, если вообще возможно по некоторым методологическим соображениям когнитивного характера упомянутым выше. Можно оценивать активность отделов и сетей мозга и направление потоков информации между ними для случаев "нормального" восприятия и во время галлюцинаций, и на основании этого делать некоторые выводы. Но галлюцинации фактически не поддаются волевому контролю, спонтанны, что создает трудности для их изучения. Только в специально созданных условиях, как в исследованиях ссылки на которые приводил, но они не охватывают всех случаев жизненных ситуаций. Однако есть похожий феномен, который до некоторой степени поддается волевому контролю - воображение, который позволяет косвенно подойти к решению этой проблемы. Оно также не связано непосредственно с сенсорной стимуляцией. Воображение играет важную роль в творчестве, и по этой причине также пристально изучается, см. примеры исследований 1, 2, 3, особенно это прямо по теме. Резюмируя воображение связано с преобладанием нисходящих потоков управления в тех же путях и областях мозга, которые участвуют в восприятии, т.е. связаны с восходящими потоками сенсорной информации. Возможно со временем удастся набрать достаточно надежную статистику для таких взаимодействий, чтобы используя активность мозга с помощью гарнитуры сигнализировать о разыгравшемся воображении, и возможно появлении галлюцинаций.
Вас, что интересует, нейробиологические исследования метальных явлений, или проблема природы субъективных переживаний? Если, первое, то ищите исследования вроде этого с фМРТ, или этих 1, 2 с электрической стимуляцией, если второе, то методологические исследования вроде упомянутых в этом обсуждении, или здесь.
Галлюцинации могут быть и у психически здоровых людей и связаны с сенсорной депривацией. Сновидения разновидность такой депривации во время сна. Также при приеме психоактивных веществ, которые приводят к временным нарушения в работе сенсорных систем. У людей с психопаталогиями источник связан с относительно постоянными нарушения разного рода и степени функций сенсорных систем. Тюльпы воображаемые сущности, в детстве воображаемые друзья. Вообще, все эти феномены сильно завязаны на образный уровень мышления, который является базовым и относительно независим от сознательного контроля, в детстве преобладает, пока не разовьется абстрактно-логический уровень. Это так, по верхам, в действительности все намного сложнее и многообразнее, и до полного понимая еще очень далеко.
Вопрос в правильном направлении. Голоса могут быть внутренними, но как-бы принадлежать другим. Возможно по той же причине по которой нам щекотно, когда кто-нибудь щекочет нас за пятку, но когда сами ее трем, то нет) В соответствии с принципом реафферентации, когда мы трем себя сами, то в специальные отделы мозга отправляются эфферентные копии этих действий, и мы знаем, что щекочем себя сами, а не кто-то другой, и поэтому реагируем соответствующе. Этот механизм возник еще при зарождении нервной системы у древний животных, и некоторые исследователи предполагают, что он имеет отношение к возникновению ощущения самости и сознания человека в целом (1, 2), а его нарушения приводят к существенным дисфункциям восприятия и поведения. Также этот механизм играет существенную роль в концепции "байесовского" мозга или разума (по другой терминологии предиктивного кодирования, см. расширенный обзор на Хабре), которая является одной из основ современных когнитивных исследований - обзор (в нем же затрагиваются возможные механизмы возникновения шизофрении в рамках данного подхода, доп. ссылки по этой теме 1, 2, 3, на Элементах 1, 2).
Бизнес и создание сектора рынка, новой экономической ниши по масштабам затрат разные вещи. Как пример, государства создали сектор космических исследований, услуг - одни затраты. Пришел Маск и в этой нише создал эффективный космический бизнес. Все понимают, что опенаи создает новый сектор рынка - интеллектуальных услуг, поэтому затраты такие большие. Пришел депсик и в этой развивающейся нише рынка создал свой относительно эффективный бизнес. С космосом это тянулось десятилетиями, а в этом случае на повторении истории оказалось достаточным нескольких лет. Появятся и другие конкурирующие. Потребители таких услуг от этого только выиграют.
Окончательно эта проблема не решена, если судить по этому переводу статьи за 2016 год.
Да, и обзор на вики не подтверждает. По этой причине ее пытаются скрестить с подходами ТС. Но Ровелли скептически относится к этому процессу. Скорее всего он прав.
Основные идеи пкг когда-то Ли Смолин доходчиво изложил. Про гипотетические расширения этой теории автором статьи можно почитать только в его предыдущих публикациях. Они носят спекулятивный характер, т.к. основаны на бомовской интерпретации КМ. Никаких отдельных эмпирических показаний к ним нет. С методологической точки зрения сомнительно, что Ровелли, как основной разработчик пкг, одобрил бы их. Он также автор реляционной интерпретации КМ, и поэтому, например, отрицает онтологический статус существования ВФ, не говоря уже о спорном концепте бомовской волны пилота. Так, что тут верь, не верь..) Может все-же интуиция, в купе с воображением, автора не подвела, как собственно и разработчиков пкг.
Чем этот бенефис отличается от бенефиса ТМ в виде различных гипотетических частиц или популярных сейчас первичных ЧД? И почему она сосредотачивается именно в гало галактик, по каким закономерностям? Пока подобные различия не прояснятся никакого смысла в эмпирической проверке наблюдениями этих предсказаний не будет.
Так вы поняли, как эти хрени, концепты пгк, стыкуются в рамках самой пгк, или хреней расширенного пространства автора статьи? У него квант пространства не квант, а хрень имеющая внутреннюю структуру, и выводы о ТМ в статье связаны с ней.
Это ошибочное мнение, которое распространено у айтишников, из-за отсутствия достаточных представлений о достижениях в области нейробиологических исследований и истории этого вопроса. Что касается ответов ЯМ, то они обучены на таких мнениях из сети, и многое зависит от постановки вопроса к ним. Своего мнения у них нет)
В биологических нейронах есть некоторый аналог обратного распространения сигнала, но как он может действовать на уровне сетей пока не ясно, и является целью исследований. Возможно, что никак из-за того что этот механизм, либо редуктивный, отпавший за ненадобность, либо не сформировавшийся до конца, как эволюционный эксперимент. В любом случае это связано с тем, что в биологических нейронных сетях сформировался другой, более общий и эффективный принцип регуляции пластичности - принцип минимизации свободной энергии. Он также отвечает за обучение нейросетей мозга с использованием механизма хеббовского обучения (STPD). Хорошей иллюстрацией действия этого принципа является обучение культуры нейронов в чашке Петри игре в Понг (см. комент с пояснениями).
Алгоритм минимизации ошибки с помощью обр. распространения является костылем, который был придуман, чтобы решить проблему обучения ИНС, являющихся весьма приближенными моделями биологических сетей, в связи с тем, что они были реализованы на компьютерах с фоннеймановской архитектурой, которая далека от архитектуры биологической организации мозга. Аналогия мозга, как компьютера была популярной в 60-70-х годах прошлого века, но затем фактически потеряла актуальность, т.к. исследования показали, что структура и функции мозга несоизмеримо богаче этой упрощенной метафоры. Для реализации непрерывного хеббовского обучения больше подходят нейроморфные архитектуры вычислительных устройств, которые адекватнее моделируют свойства биологических прототипов. Что касается использования градиентных методов, то они широко используются для регуляции жизнедеятельности организмов, в частности, в сенсорных системах, особенно у микроорганизмов, у которых они полностью определяют их поведение в среде обитания в виде различных таксисов, в частности, хемотаксиса.
Что качается эффективности обучения, то для обучения, например, детей категориям достаточно показать несколько изображений. Тоже касается вербальных форм обучения. Это несоизмеримо с тысячами изображений и прогонов для обучения ИНС. Кроме того, биологические формы обучения непрерывные, динамичные, асинхронные, и действительно, энергоэффетивные (это результат действия принципа минимизации свободной энергии, только не стоит ее толковать в термодинамическом смысле). Со временем переход на нейроморфные решения, которые удовлетворяют этим критериям в большей степени, практически неизбежен. Над ними работают многие производители компьютерного железа понимая эту неизбежность. Основная проблема на этом пути поиск подходящих, и главное износоустойчивых, материалов мемристоров, которая возможно будет решена с использованием ИИ натренированных на подобные цели.
Что касается собственного пути ИИ, о котором говорят некоторые разработчики, то история показала, что все решения которые не вписываются в биологическую парадигму ИИ со временем отмирают, как не эффективные. Наглядный пример экспертные систем, хотя это относится к символической ветви разработки ИИ. Либо разработчики в работах честно пишут о биологической инспирированности предлагаемых решений, либо скромно умалчивают, либо, иногда, интуитивно угадывают тренд, следуя ему. Это показала история одного из основных разработчиков ИНС Яна Лекуна, который в прошлом был сторонником таких воззрений, но со временем, судя по публикациям, в значительной степени поменял точку зрения. Другого и не может быть, коль скоро в этой области исходно заложились на модели биологических сетей, а в перспективе цель создать интеллект сравнимый с человеческим, или превосходящий его, другого и нет для сравнения. Другой путь это не биологический, и не человеческий интеллект и логика, тогда для кого она, и как ее понимать?
Еще вспомнил в стране подобными исследованиями с инженерным подходом занимался Соколов Е. Н., см. там список литературы. Очень интересно писал по этим темам, там есть статья про саккады.
Удачи в поисках!
В том и дело, что приведенная схема не совсем соответствует организации и функциям мозга. Фактически для каждого объекта и его составных частей должна формироваться своя подсеть в общей сети мозга. Но мозг так не устроен. У него генетически предопределенная иерархическая структура и деление на отделы, включая визуальной системы, которая оптимизирует и сам процесс обучения и его результаты в соответствии с эволюционно выработанной биологической целесообразностью. В вашей схеме, как понял, обучение каждый раз будет происходить заново для каждого объекта и нарастать линейно потребляя большое количество памяти, а это ограниченный ресурс.
Поизучайте как устроены устроены простые, сложные и сверхсложные рецептивные поля, миниколонки коры, и тд, в книге ссылку на которую давал. Выделение признаков начинается уже в сетчатке глаз.
Что подразумевается под физическим уровнем? Клеточный? Все весьма разнообразно. Одних только нейронов многие десятки видов, зависит как классифицировать, и открывают новые. С точки зрения инженерного подхода кажется запутанным и чрезмерно избыточным. Однако стандартная упрощенная модель формального нейрона, как взвешенного по входам сумматора с функцией активации, не всегда адекватно описывает функционал биологических нейронов и сетей. Например, функционал распространенного пиромидального нейрона лучше описывается целой 5-8 слойной сетью из формальных нейронов. Это, кстати, может объяснить почему глубокие сверточные сети из многих десятков слоев и даже сотен, как у Гугленета, распознают эффективнее, нежели с несколькими слоями, см. этот комент.
Вообще написанное сильно напоминает, что предлагает Д. Хокинс. Не читали его работы (1, 2)? Однако он оговаривает свой инженерный подход к пониманию обучения, поведения и интеллекта, и использует миниколонки для проектирования ИИ в его понимании. Т.е. не делает акцент на объяснение функций мозга, а у вас в заключении
На Хабре такое может пройти и вызывать одобрение - накинул карму за интерес к теме, но специалисты вряд ли оценят)