Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 67
Что-нибудь пробовали закодировать таким способом?
Да, конечно.
Просто с примером убедительней и понятней будет. Полагаю его покажете в одной из следующих частей?
В следующих частях будет развитие этой темы. Я хочу, как минимум, дать примеры реализации в такой волновой сети хотя бы минимальных процедур обобщения и описать механизм ассоциативной памяти. Пока интерес читателей не пропадет, можно будет двигаться и дальше, наработано достаточно много. Но беда в том, что каждая следующая часть требует отслеживания предыдущих идей. Боюсь, что скоро «тех, кто в теме» останется немного. А очень бы не хотелось «насиловать» хабровчан малопонятными рассуждениями.
Кстати, когда будет время посмотрите публикацию Polychronous Wavefront Computations by Eugene M. Izhikevich(одного из соучредителей Brain corp. и создателя модели спайковых сетей). Wavefront Computations в названии публикации должно заинтересовать Вас.
Я знаю его работы и концепцию спайковых сетей. Волновые сети — это принципиально другое. В спайковых сетях кодирование временное. Упрощенно говоря, информация переносится интервалами между спайками. При этом все, что умеет и «помнит» нейрон определяется весами его синапсов. Это бесконечно далеко от нашей модели.
пожалуйста, не переставайте «насиловать». в который раз пишу, что очень интересно. Код подождет, хотя, если честно, тоже хочется уже пощупать.
А Вы добавьте в начало каждой статьи ссылки на остальные части и тем, кто не с начала читает, будет проще сориентироваться.
Весь узор, который получается от прохождения волны, представляет собой единый паттерн. Фокус в том, что когда волна распространяется повторно, она повторяет в точности тот же путь, то есть создает тот же узор. При этом для каждого начального узора формируется свой уникальный узор продолжения.
Да случайным. На видео это зеленые вспышки.
Не очень понятно о какой случайности тут можно говорить. Волна активности бегущая по пространству коры — принципиально не случайна, собственно её неслучайность (а не только повторяемость) и дает возможность «цепляться» за неё как за паттерн, для дальнейший процессов ассоциирования и обобщения (одной только повторяемости — недостаточно для данных процессов).
По сути, в формальном смысле, каждый нейрон является «кубиком пространства», который (по Френелю) «переизлучает» в виде спайков активности нейрона (воспринимаемых другими нейронами) дошедшую до него волну активности, что и создает распространение фронта волны. Но, в отличие от обычного физического линейного пространства, нейрон — принципиально нелинейный элемент. Так что и процесс «переизлучения» носит принципиально нелинейный характер, т.е. такое «переизлучение» зависит от того какая именно волна «упала» на нейрон. Как итог, волны активности, распространяющиеся по коре — нельзя в явном виде свести к волнам в обычном (линейном) пространстве, и принцип Френеля становится скорее общей иллюстрацией принципа чем реальным описанием. А сама кора — становится по сути жутко многомерным пространством из огромного кол-ва нелинейно зависимых измерений (и траекторий распространения волн активности), и всё это «свернуто» в виде единого нейронного объема. Но тем не менее, вся эта нелинейность — принципиально неслучайна, а есть следствие упорядочивания и фильтрации входной информации (отображаемой в коре в виде таких вот волн активностей нейронов). Так что близкие по наполнение потоки входных данных — как правило вызовут отчасти и близкие по структуре волны в коре. Ну, пресловутая голографичность работы мозга и всё такое… Так что, говорить о случайности путей — явно не приходится. Они похожи на случайные (с точки зрения внешнего статанализа), но не более того.
Или я ошибаюсь?
По сути, в формальном смысле, каждый нейрон является «кубиком пространства», который (по Френелю) «переизлучает» в виде спайков активности нейрона (воспринимаемых другими нейронами) дошедшую до него волну активности, что и создает распространение фронта волны. Но, в отличие от обычного физического линейного пространства, нейрон — принципиально нелинейный элемент. Так что и процесс «переизлучения» носит принципиально нелинейный характер, т.е. такое «переизлучение» зависит от того какая именно волна «упала» на нейрон. Как итог, волны активности, распространяющиеся по коре — нельзя в явном виде свести к волнам в обычном (линейном) пространстве, и принцип Френеля становится скорее общей иллюстрацией принципа чем реальным описанием. А сама кора — становится по сути жутко многомерным пространством из огромного кол-ва нелинейно зависимых измерений (и траекторий распространения волн активности), и всё это «свернуто» в виде единого нейронного объема. Но тем не менее, вся эта нелинейность — принципиально неслучайна, а есть следствие упорядочивания и фильтрации входной информации (отображаемой в коре в виде таких вот волн активностей нейронов). Так что близкие по наполнение потоки входных данных — как правило вызовут отчасти и близкие по структуре волны в коре. Ну, пресловутая голографичность работы мозга и всё такое… Так что, говорить о случайности путей — явно не приходится. Они похожи на случайные (с точки зрения внешнего статанализа), но не более того.
Или я ошибаюсь?
мы можем создать систему, которая формирует свой путь для каждого паттерна.
Это понятно.
Я возражаю именно насчет случайности этого пути. Он принципиально не случаен — в том смысле, что близкие по наполнению входные потоки данных вызовут близкие (в смысле расстояния по Хэммингу) волны активности. Именно благодаря этому, а так же тому что нейрон откликается на весьма широкий диапазон входных паттернов (попадающих в его «радиус захвата» по Радченко, т.е. расположенных близко друг к другу в пространстве Хэмминга), и возможно как таковое ассоциирование и обобщение. Самой по себе повторяемости волн — недостаточно. Если бы на близкие (по Хэммингу) входные потоки данных кора откликалась далекими (по Хэммингу) вспышками активности — ассоциирование и обобщение было бы невозможно.
Нет это не верно. Описываемая модель — это не модель Радченко. Она просто использует ту же трактовку метаботропной активности. Исходные паттерны либо создают одну и ту же волну, либо их волны принципиально разные. Ассоциативные механизмы имеют совсем другую природу. Не через близость волн, а через совпадение элементов сложных описаний, составленных как комбинация нескольких независимых волн, но об этом позже.
Не через близость волн, а через совпадение элементов сложных описаний, составленных как комбинация нескольких независимых волн
Не вполне понимаю это утверждение — видимо надо дождаться «продолжения банкета». Совпадение элементов (или хотя-бы близость по Хэммингу) — это же и есть близость волн (или их кусочков)…
Вообще говоря, волны по идее не могут быть независимыми — в силу нелинейности самого процесса распространения волн (который в любом случае нелинеен в силу характера работы нейронов). Т.е. «простой» интерференции, насколько я понимаю, не получится — итоговая волна не может быть представлена как линейная сумма нескольких волн. Вот где-то тут я и остановился в своих изыскания лет 7 назад.
Так что очень интересен Ваш вариант решения этого вопроса.
Как только дойдут руки выложу код программы, возможно станет понятнее. Но отмечу, что распространение волн идет помимо синаптических механизмов. Они просто не участвуют в этом процессе, поэтому результат совсем не похож на все автоволновые модели.
Так как в одном волновом узоре задействовано небольшое количество нейронов (при моделировании я брал 2%, в реальной коре на порядки меньше), то несколько узоров могут существовать параллельно не мешая друг другу.
Так как в одном волновом узоре задействовано небольшое количество нейронов (при моделировании я брал 2%, в реальной коре на порядки меньше), то несколько узоров могут существовать параллельно не мешая друг другу.
Ага. Т.е. у Вас действительно почти линейная интерференция волн — за счет очень сильной разреженности отображения информации. Примерно понятно.
Видимо я что-то упустил в Ваших статьях. Разве есть еще какие-то механизмы передачи возбуждения между нейронами — кроме синапсов? Насколько я понимаю, альтернативы пока нет, и спор пока только о том какие именно и как именно синапсы участвуют…
Нейрону же надо как-то «узнать» о том что рядом есть активность, как — если не через синапсы от окружающих его нейронов?
распространение волн идет помимо синаптических механизмов. Они просто не участвуют в этом процессе
Видимо я что-то упустил в Ваших статьях. Разве есть еще какие-то механизмы передачи возбуждения между нейронами — кроме синапсов? Насколько я понимаю, альтернативы пока нет, и спор пока только о том какие именно и как именно синапсы участвуют…
При этом наложим условие, что для случайного спайка требуется определенный уровень окружающей активности. Это значит, что случайные спайки смогут возникнуть только поблизости от уже активных нейронов.
Нейрону же надо как-то «узнать» о том что рядом есть активность, как — если не через синапсы от окружающих его нейронов?
Передача сигналов через аксоны не означает, что обработка их происходит только в синапсах. Волновая активность возникает от обработки на внесинаптических кластерах. Кроме передачи информации через синапсы есть распространение более простых сигналов через глиальные клетки (астроциты) и матрикс. Я позже подробно это опишу.
Ага… более-менее понятно. Т.е. Вы предполагаете новый принципиальный механизм распространения информации — и его ведущую роль в волновом процессе. Вероятно, что то типа того что описано в этой статье. Становится действительно интересно.
Определенный локальный узор вызванной активности порождает случайный и уникальный только для него волновой узор. Когда волна доходит до границы обученного к ее распространению пространства, возникает ее случайное продолжение. Но как только кора проходит обучение следующая волна от того же паттерна вызванной активности уже неслучайна. Она каждый раз повторяет один и тот же глобальный узор. В любом месте коры по тому какой узор волны пришел можно судить о том, какой паттерн его вызвал. Нелинейность нейронов здесь ни причем. Просто каждый нейрон «помнит» огромное количество узоров на которые он должен дать волновой спайк и стать продолжением именно этой волны.
Кажется понял. Путает термин путь. Волна скорее информационное понятие, а не физическое. Когда она идет по коре, то мы наблюдаем постепенное распространение определенного узора, который переносит информацию. Физическая составляющая — это какими аксонными путями какие сигналы идут. В приведенной модели этот механизм показан, но он носит вспомогательный характер и прекрасно работает при случайном задании связей между нейронами. Система устойчива. Выход из строя не только отдельных элементов, но и их существенного процента не влияет на результат.
В приведенной модели этот механизм показан, но он носит вспомогательный характер и прекрасно работает при случайном задании связей между нейронами.
Да, для моделирования самого по себе волнового аспекта работы коры — можно задать случайные веса и места стыковки синапсов-аксонов-дендритов, это никак не скажется на самих по себе волновых процессах, просто получим систему отчасти в виде «сферического коня в вакууме» — волны в такой системе не будут соответствовать каким-либо реальным иерархическим образам из внешнего мира. Но даже в такой системе — эти волны не будут случайными в смысле близости по Хэммингу (см. мой коммент выше) для близких входных потоков/источников.
А уж в реальной системе, обученной на реальные входные данные (у которой веса и соединения не заданы «на шару») и вовсе ни о какой случайности говорить нельзя. И даже можно будет легко найти нейроны, которые ведут себя так как будто «заточены» на конкретные образы (типа нейрона реагирующего на лицо конкретного знакомого). Хотя разумеется реально они «заточены» сразу на широкий спектр (порой совершенно не связанных между собой в логическом смысле — но просто близких по Хэммингу) паттернов, типа нейрона который реагирует на лицо человек, на прямую линию, и на услышанное слово «кастрюля» (и не реагирующих на всё остальное) — просто потому что от всех этих стимулов до данного нейрона «докатывается» близкий по Хэммингу паттерн активностей…
Т.е. мое возражение касалось именно неслучайности пути — в смысле близости по Хэммингу (для близких по Хэммингу же входных потоков данных). А с внешней точки зрения, особенно в рамках отдельного нейрона — действительно будем видеть как бы случайную (шумоподобную) картину.
аксоно-синаптические связи участвуют только в паттерн вызванной активности, в распространении волны участвуют метаботропные рецептивные кластеры. Рецепторы не имеют каких-либо «связей», активируются при «соприкосновении» с нейромедиатором (биологически активные химические вещество), «вытекшим» из синаптической щели.
Для излучения волны нужен не один нейрон, а слаженная работа паттерна нейронов-детекторов. Один нейрон волну не запустит. А паттерн нейронов имеет фиксированный узор и однозначно определяет идентификационную волну. Еще раз повторюсь, что ассоциативность — это значительно сложнее, чем просто близость пл Хэммингу. Например, мы можем проассоциировать два разных образа по одному общему незначительному признаку (у обоих людей родинка), при этом никакой близости волновых описаний не будет и в помине. Далее я подробно покажу природу этого явления.
Да, разумеется один нейрон волну не запустит, это понятно.
Ок, подожду продолжения.
Ок, подожду продолжения.
Кстати, спасибо за вопросы. Возможно тем, кто читал комментарии стало что-либо понятнее.
Пожалуйста. Мне эта тебя была действительно очень интересна — даже сделал в итоге алгоритм, позволяющий построить ассоциацию требуемого выхода с требуемым входом для случая когда входов десятки-сотни тысяч (т.е. алгоритм, делающий то, на что неспособны обычные нейросети — которые обучаются максимум на несколько десятков входов, и неспособны работать с размерностью входа более сотни-двух).
Думал его потом прикрутить в свой вариант «работы коры», но так оно и осталось нереализованным. Кто знает, может быть вдохновлюсь Вами, и вернусь к этой теме. Или даже попрошусь к Вам в команду ))
Думал его потом прикрутить в свой вариант «работы коры», но так оно и осталось нереализованным. Кто знает, может быть вдохновлюсь Вами, и вернусь к этой теме. Или даже попрошусь к Вам в команду ))
Правильно ли я понимаю, что удовлетворение/возбуждение мозга при прослушивании музыки, или восприятие рифмы, напрямую связанно с подобными цикличными процессами? Т.е. «удовлетворение» мозга от высокого коэффициента предсказуемости коротких циклов музыки/стихов.
Что-то я конечно извиняюсь, но упрощение модели нейрона для моделирования мне кажется чем-то вроде: «А вот дерево. Смоделить его сложно, поэтому представим что оно появляется из земли уже деревянное, семиметровое и в коре. А так как моделировать ветер сложно, то представим что это оно само листьями машет просто».
А упрощение модели транзистора в логических схемах вас не смущает?
Ни капли. Принцип работы транзистора изучен, понят и используется на практике. Нейрон до сих пор — темный лес. И отбрасывать в нем какие-то функции основываясь не на их функциональности, а на их сложности считаю неверным подходом.
Не всё так просто. Хорошо известны только основные элементарные функции нейрона (передача медиаторов в синаптической щели, распространение потенциала действия по телу нейрона, и т.п.), но как они «сопряжены» друг с другом — это действительно пока что «тёмный лес».
До сих пор спорят о том, какую роль играют синапсы на удаленных от тела нейрона дендритах (уж дюже их много для «красивой картинки» о простой единовременно суммации сигнала), как именно происходит накопление предпорогового мембранного потенциала, как он распространяется по нейрону до момента превышения порога (ибо нейрон очень длинный относительно характерного размера синапсов), и т.п. и т.д.
До сих пор спорят о том, какую роль играют синапсы на удаленных от тела нейрона дендритах (уж дюже их много для «красивой картинки» о простой единовременно суммации сигнала), как именно происходит накопление предпорогового мембранного потенциала, как он распространяется по нейрону до момента превышения порога (ибо нейрон очень длинный относительно характерного размера синапсов), и т.п. и т.д.
Скорее это позволяет сколь-нибудь адекватно придумывать те или иные (порой диаметрально противоположные по сути) модели.
К сожалению, возможный спектр моделей — пока чрезвычайно широк, так что вероятность конкретного исследователя «попасть пальцем в звезду» весьма мала. Если бы модель работы нейрона была известна точно — то это резко сузило бы зону моделирования. О чем пока приходится только мечтать. Но это конечно не повод ничего не делать. Так что, на мой взгляд, истина где-то посередине между замечанием от Eqorkkk и позицией «всё хорошо известно — можно моделировать».
К сожалению, возможный спектр моделей — пока чрезвычайно широк, так что вероятность конкретного исследователя «попасть пальцем в звезду» весьма мала. Если бы модель работы нейрона была известна точно — то это резко сузило бы зону моделирования. О чем пока приходится только мечтать. Но это конечно не повод ничего не делать. Так что, на мой взгляд, истина где-то посередине между замечанием от Eqorkkk и позицией «всё хорошо известно — можно моделировать».
Все зависит от того, что вы хотите получить. Если вас интересует процессора для программирования, то вы видите регистры, память и систему команд. Если ва делаете системную плату, то разводка выводов и как они должны быть подключены. И так далее.
Чтобы показать принцип работы системы в определенной области мы должны попытаться отбросить функции без которых пока можено обойтись. Далее будет показано много других свойств нейронов, необходимых в других ситуациях. Но я сознательно делаю это шаг за шагом, чтобы объяснить каждое из этих свойств.
Чтобы показать принцип работы системы в определенной области мы должны попытаться отбросить функции без которых пока можено обойтись. Далее будет показано много других свойств нейронов, необходимых в других ситуациях. Но я сознательно делаю это шаг за шагом, чтобы объяснить каждое из этих свойств.
Очень интересно. Когда-то давно сильно увлекался темой ИИ, книжки Радченко зачитаны до дыр, немного кодил — пробовал разные идеи связанные с ассоциативностью памяти и обобщающими возможностями коры, в т.ч. тоже получил «интерференцию волн активности» в нейроподобном субстрате, и понимание того, что именно волна активности и её динамика — это и есть реальный «паттерн» фиксируемый нейронами — а отнюдь не просто кусочек входных данных, попавших в «поле зрения» нейрона… Но потом интересы изменились, времени стало жестко не хватать (в силу выпуска из ВУЗа) — и забросил тему.
В целом, то что развивал Радченко (и то куда копаете Вы), насколько я понимаю, относится к ИИ в узком смысле — т.е. это скорее про механизмы памяти и обобщения. То же самое касается и например направления работы, выбранного Джеффом Хокинсом (там тоже скорее речь про иерархически-ассоциативную алгоритмику обработки входного потока данных, нежели про ИИ в общем смысле). Но реальный ИИ требует не только алгоритмов иерархического ассоциирования, но и механизм целеполагания.
Иначе говоря, в процессе своих изысканий я пришел к выводу, что ИИ в принципе невозможно создать, его можно только «воспитать» — т.е. обучить, так же как происходит обучение например ребенка у человека (т.к. слишком сложной является иерархическая структура памяти для того чтобы её можно было «запрограммировать с нуля»). А принципиальным аспектом для обучения — является «хардверное определение» того, что такое хорошо и что такое плохо (на основе чего — и происходит базовое иерархически-ассоциативное структурирование/запоминание входного потока информации). Т.е. по сути, без базовых рефлексов (которые дают внутренние сигналы хорошо-плохо) невозможно обучение ИИ. Т.к. именно такие рефлексы и есть «фильтр», позволяющий выбрать ключевые/значимые паттерны из входного потока информации (ибо самих по себе паттернов в реальном входном потоке данных — заведомо на очень много порядков больше, нежели могут «освоить» нейроны, и необходим какой-то принцип выделения значимых паттернов, т.е. сама по себе частая повторяемость какого-то паттерна совершенно не является поводом его запоминать).
Так что реальный ИИ — невозможен как чисто холодный аналитический алгоритм, создать его невозможно (слишком велика сложность) — а обучить его можно только если у него будут свои «хотелки» (прошитые как часть алгоритма обучения). Для того же чтобы ИИ функционировал в том же понятийном пространстве что и человек (т.е. чтобы было возможно «общение» между ИИ и человеком) — по определению необходимо, чтобы частью входного потока данных — было собственно человеческое языковое описание (типа того, как родители «сопровождают» словами процесс взаимодействия ребенка с окружающим миром). Т.е. без языка — будет ИИ, но с ним невозможно будет общаться (и уровень абстракции иерархии паттернов такого ИИ будет намного ниже чем у человека — т.е. на уровне животного).
На мой взгляд, это ключевые моменты которые почему-то упустили на самом начальном этапе (когда только зарождалась идея создания ИИ вообще, в середине прошлого века). Реальный ИИ не возможно создать а можно только обучить, обучение же в свою очередь невозможно без рефлексов (вшитых «хотелок»), и без словесного описания потока информации поступающего в ИИ в период обучения, так что если хотим обучить ИИ — то он обязан обладать «эмоциями/хотелками», связанными в конечном итоге с прошитыми в алгоритме ИИ «ощущениями» хорошо-плохо (служащими как фильтр для отбора значимых паттернов).
Было бы интересно почитать про алгоритмическую связку иерархически-ассоциативных механизмов с «внутренними хотелками» — конечно если у Вас есть наработки в эту сторону. Но, в любом случае, буду продолжать Вас читать, пишите еще!
В целом, то что развивал Радченко (и то куда копаете Вы), насколько я понимаю, относится к ИИ в узком смысле — т.е. это скорее про механизмы памяти и обобщения. То же самое касается и например направления работы, выбранного Джеффом Хокинсом (там тоже скорее речь про иерархически-ассоциативную алгоритмику обработки входного потока данных, нежели про ИИ в общем смысле). Но реальный ИИ требует не только алгоритмов иерархического ассоциирования, но и механизм целеполагания.
Иначе говоря, в процессе своих изысканий я пришел к выводу, что ИИ в принципе невозможно создать, его можно только «воспитать» — т.е. обучить, так же как происходит обучение например ребенка у человека (т.к. слишком сложной является иерархическая структура памяти для того чтобы её можно было «запрограммировать с нуля»). А принципиальным аспектом для обучения — является «хардверное определение» того, что такое хорошо и что такое плохо (на основе чего — и происходит базовое иерархически-ассоциативное структурирование/запоминание входного потока информации). Т.е. по сути, без базовых рефлексов (которые дают внутренние сигналы хорошо-плохо) невозможно обучение ИИ. Т.к. именно такие рефлексы и есть «фильтр», позволяющий выбрать ключевые/значимые паттерны из входного потока информации (ибо самих по себе паттернов в реальном входном потоке данных — заведомо на очень много порядков больше, нежели могут «освоить» нейроны, и необходим какой-то принцип выделения значимых паттернов, т.е. сама по себе частая повторяемость какого-то паттерна совершенно не является поводом его запоминать).
Так что реальный ИИ — невозможен как чисто холодный аналитический алгоритм, создать его невозможно (слишком велика сложность) — а обучить его можно только если у него будут свои «хотелки» (прошитые как часть алгоритма обучения). Для того же чтобы ИИ функционировал в том же понятийном пространстве что и человек (т.е. чтобы было возможно «общение» между ИИ и человеком) — по определению необходимо, чтобы частью входного потока данных — было собственно человеческое языковое описание (типа того, как родители «сопровождают» словами процесс взаимодействия ребенка с окружающим миром). Т.е. без языка — будет ИИ, но с ним невозможно будет общаться (и уровень абстракции иерархии паттернов такого ИИ будет намного ниже чем у человека — т.е. на уровне животного).
На мой взгляд, это ключевые моменты которые почему-то упустили на самом начальном этапе (когда только зарождалась идея создания ИИ вообще, в середине прошлого века). Реальный ИИ не возможно создать а можно только обучить, обучение же в свою очередь невозможно без рефлексов (вшитых «хотелок»), и без словесного описания потока информации поступающего в ИИ в период обучения, так что если хотим обучить ИИ — то он обязан обладать «эмоциями/хотелками», связанными в конечном итоге с прошитыми в алгоритме ИИ «ощущениями» хорошо-плохо (служащими как фильтр для отбора значимых паттернов).
Было бы интересно почитать про алгоритмическую связку иерархически-ассоциативных механизмов с «внутренними хотелками» — конечно если у Вас есть наработки в эту сторону. Но, в любом случае, буду продолжать Вас читать, пишите еще!
Забегая вперед скажу, что волновая модель принципиально важна для механизмов ассоциативной памяти и обобщения. А это половина ИИ. Тезис, что ИИ воспитывается, а не создается совершенно верный. Но очень важно понимать, что и эмоциональные оценки тоже результат обучения, а не врожденные знания. Врожденные — только оценки ощущений (типа боли, голода, насыщения и сексуальной стимуляции). Остальные оценки приходят с опытом. Все эмоции (не путать с мимикой) формируются при жизни. Далее я покажу механизм формирования эмоциональных оценок и то, как они влияют на поведение и мыслеобразование.
Подпишусь под каждым предложением. В этом смысле, дядька Фрейд был в значительной мере прав когда сводил все психологические заморочки людей к ряду базовых примитивов (связанных в основном с физиологией). Т.е. я тоже пришел к выводу, что на базе врожденных ощущений (боль, голод и т.п.) в конечном итоге «вырастает» всё многообразие эмоций/оценок человека, как раз через процесс обучения (невозможный без участия человеков — обучающих ребенка, т.е. эмоции — это чисто продукт человеческого обучения). В дальнейшем «фильтры» формирования/вычленения паттернов становятся довольно сложными (по мере усложнения «эмоций»), но в конечном счете всё равно сводятся к базовым (боль, голод и т.п.) — хотя эта база уже и не попадает в осознание (остается в подсознании).
Очень буду ждать. Да.
Далее я покажу механизм формирования эмоциональных оценок и то, как они влияют на поведение и мыслеобразование.
Очень буду ждать. Да.
Я еще не успел прочитать прошлые части, но сразу скажу — не останавливайтесь! И спасибо огромное за эту огромно проделанную работу!
Слежу за публикациями автора. Картина вырисоввывается фантастическая. Это же целый мир, целая филосовская система… Черт аж голова кружится, как пытаюсь себе представить это волновое чудо. Ждем продолжение. Спасибо.
Алексей,
Спасибо вам большое за уже проделанную и ещё проделываемую работу.
Мне ваши абстракции очень напомнили следующую идею.
В сфере Deep Learning распространён подход, когда выходом алгоритма является набор ключевых слов из некоторого словаря, полученного в процессе обучения, аналогично тому, что строит рассмотренный вами неокогнитрон.
Например, вот иллюстрация из очень интересного доклада 2013го года от Ruslan Salakhutdinov ( слайды: learning.cs.toronto.edu/cifar/slides/talk_CIFAR_2013_Russ.pdf, видео: www.youtube.com/watch?v=AVLrzYvbbZs ):
Так вот, каждый узнанный нейросетью сигнал можно считать подобным «ключевым словом» (keyword), передаваемым внутри зоны или из неё.
Получается, есть «более простые» ключевые слова на низких уровнях сети, скажем «вертикальная чёрточка» или «вертикальная чёрточка в левой верхней четверти кадра», и «более сложные» на более высоких уровнях сети, скажем, «человек», «собака», «иллюстрация», «бесконечность».
Тогда получается, что элементы сети, нейроны, занимаются или ретранслированием некоторых ключевых слов, или же при достижении некоторого порогового уровня узнавания продуцируют свои собственные ключевые слова и тогда со временем теряют возможность узнавать чужие ключевые слова.
Возможно, понятие «ключевое слово» покажется вам более удобным, нежели слово «паттерн», которое в русском языке является крайне расплывчатым понятием.
У меня возникли следующие вопросы, часть из которых объясняется моим вниманием исключительно к информационным моделям обучения в ущерб знанию реального устройства мозга:
— как осуществляется в итоге тактирование нейронов, и как объяснить разные частоты ритмов мозга? зависят ли частоты от специализации зон, от типов нейромедиаторов, от процента ретранслирующих нейронов в зоне, или от чего-то ещё?
— насколько долго ключевые слова могут оставаться активными? насколько долго может передаваться определённое ключевое слово, если оно постоянно присутствует в виде стимула (ноющая боль или желание покушать; или же одна и та же статическая картинка в высших областях мозга, ответственных за зрение, после компенсации саккадного движения)?
— насколько долго неактивные нейроны (или даже целые зоны) могут оставаться неактивными? сколько нужно нейрону времени, чтобы остыть настолько, чтобы начать передавать спайки?
— насколько далекую информацию может уловить реальный нейрон, чтобы появился спайк? от соседнего слоя? от соседней колонки? каковы особенности разных частей и структур мозга?
— задействованы ли все нейроны в передаче подобных ключевых слов или же некоторые из них спят, особенно в случае статической картинки?
— насколько быстро нейроны переходят из одного состояния (передача собственных данных) в другое (ретрансляция)? какое характерное время этого процесса?
— как осуществляется сознательная фокусировка внимания и почему она вообще возможна?
— каково устройство долговременной памяти и локализация этого процесса по зонам мозга. каковы особенности процесса, возникающие в связи с особенностью рассматриваемой модели (ретрансляция сигналов)?
— чем отличается зона логического мышления в одном полушарии от зоны ассоциативного мышления в другом полушарии? могут ли объяснить это разная тактовая частота, разная организация нейронов, разные нейромедиаторы?
Ещё хочу добавить, что я долго пытался понять, какой смысл у бустинга нейронов в Хокинсовском алгоритме HTM CLA ( русская версия — www.groksolutions.com/htm-overview/education/HTM_CorticalLearningAlgorithms_ru.pdf ): получается, Хокинс хоть и заложил это в своей модели, но неверно интерпретировал смысл данного явления. Кроме того, у Хокинсовской модели тоже всё очень непонятно с временем работы и тактовой частотой (и тем более с разными типами нейромедиаторов). В его работе хоть и можно воспроизвести ваши волновые эффекты, но выглядят они там чрезвычайно надуманными и искусственными.
Ещё раз большое спасибо. Жду с нетерпением дальнейших объяснений.
Спасибо вам большое за уже проделанную и ещё проделываемую работу.
Мне ваши абстракции очень напомнили следующую идею.
В сфере Deep Learning распространён подход, когда выходом алгоритма является набор ключевых слов из некоторого словаря, полученного в процессе обучения, аналогично тому, что строит рассмотренный вами неокогнитрон.
Например, вот иллюстрация из очень интересного доклада 2013го года от Ruslan Salakhutdinov ( слайды: learning.cs.toronto.edu/cifar/slides/talk_CIFAR_2013_Russ.pdf, видео: www.youtube.com/watch?v=AVLrzYvbbZs ):
Так вот, каждый узнанный нейросетью сигнал можно считать подобным «ключевым словом» (keyword), передаваемым внутри зоны или из неё.
Получается, есть «более простые» ключевые слова на низких уровнях сети, скажем «вертикальная чёрточка» или «вертикальная чёрточка в левой верхней четверти кадра», и «более сложные» на более высоких уровнях сети, скажем, «человек», «собака», «иллюстрация», «бесконечность».
Тогда получается, что элементы сети, нейроны, занимаются или ретранслированием некоторых ключевых слов, или же при достижении некоторого порогового уровня узнавания продуцируют свои собственные ключевые слова и тогда со временем теряют возможность узнавать чужие ключевые слова.
Возможно, понятие «ключевое слово» покажется вам более удобным, нежели слово «паттерн», которое в русском языке является крайне расплывчатым понятием.
У меня возникли следующие вопросы, часть из которых объясняется моим вниманием исключительно к информационным моделям обучения в ущерб знанию реального устройства мозга:
— как осуществляется в итоге тактирование нейронов, и как объяснить разные частоты ритмов мозга? зависят ли частоты от специализации зон, от типов нейромедиаторов, от процента ретранслирующих нейронов в зоне, или от чего-то ещё?
— насколько долго ключевые слова могут оставаться активными? насколько долго может передаваться определённое ключевое слово, если оно постоянно присутствует в виде стимула (ноющая боль или желание покушать; или же одна и та же статическая картинка в высших областях мозга, ответственных за зрение, после компенсации саккадного движения)?
— насколько долго неактивные нейроны (или даже целые зоны) могут оставаться неактивными? сколько нужно нейрону времени, чтобы остыть настолько, чтобы начать передавать спайки?
— насколько далекую информацию может уловить реальный нейрон, чтобы появился спайк? от соседнего слоя? от соседней колонки? каковы особенности разных частей и структур мозга?
— задействованы ли все нейроны в передаче подобных ключевых слов или же некоторые из них спят, особенно в случае статической картинки?
— насколько быстро нейроны переходят из одного состояния (передача собственных данных) в другое (ретрансляция)? какое характерное время этого процесса?
— как осуществляется сознательная фокусировка внимания и почему она вообще возможна?
— каково устройство долговременной памяти и локализация этого процесса по зонам мозга. каковы особенности процесса, возникающие в связи с особенностью рассматриваемой модели (ретрансляция сигналов)?
— чем отличается зона логического мышления в одном полушарии от зоны ассоциативного мышления в другом полушарии? могут ли объяснить это разная тактовая частота, разная организация нейронов, разные нейромедиаторы?
Ещё хочу добавить, что я долго пытался понять, какой смысл у бустинга нейронов в Хокинсовском алгоритме HTM CLA ( русская версия — www.groksolutions.com/htm-overview/education/HTM_CorticalLearningAlgorithms_ru.pdf ): получается, Хокинс хоть и заложил это в своей модели, но неверно интерпретировал смысл данного явления. Кроме того, у Хокинсовской модели тоже всё очень непонятно с временем работы и тактовой частотой (и тем более с разными типами нейромедиаторов). В его работе хоть и можно воспроизвести ваши волновые эффекты, но выглядят они там чрезвычайно надуманными и искусственными.
Ещё раз большое спасибо. Жду с нетерпением дальнейших объяснений.
Паттерн — это описание, которое используется сейчас, пока мы не дали четкого толкования информационной сути этого явления. Далее будут другие более адекватные термины. Вопросы заданы хорошие и по сути. Следующие части и будут посвящены ответам на них.
Относительно разных частот. В нашей модели получается, что взаимодействие зон не требует никакой синхронизации. Частоты каждой из зон могут быть свои и при этом могут быть непостоянны.
Относительно разных частот. В нашей модели получается, что взаимодействие зон не требует никакой синхронизации. Частоты каждой из зон могут быть свои и при этом могут быть непостоянны.
Есть пара вопросов всё же:
1. Мозг когда-то должен выключаться, например, во время литоргического сна или комы. Что известно на этот счёт, работает ли мозг в этих условиях?
2. Не совсем понятно про пересечение волн: если две волны встречаются и задействуют одни и те же нейроны, то как быть с сохранением патерна? Например, нейрон «выстреливает» импульс, пришедший на него, с определённой скоростью и ему требуется время на «перезарядку». Но если две встречные волны бегут через один и тот же нейрон и задействуют его для передачи (возьмём самый обычный, без обособленных, самостоятельных частей), то так или иначе им придётся интерферировать, слегка изменяя фронт волны друг друга, затормаживая его, разве не так?
1. Мозг когда-то должен выключаться, например, во время литоргического сна или комы. Что известно на этот счёт, работает ли мозг в этих условиях?
2. Не совсем понятно про пересечение волн: если две волны встречаются и задействуют одни и те же нейроны, то как быть с сохранением патерна? Например, нейрон «выстреливает» импульс, пришедший на него, с определённой скоростью и ему требуется время на «перезарядку». Но если две встречные волны бегут через один и тот же нейрон и задействуют его для передачи (возьмём самый обычный, без обособленных, самостоятельных частей), то так или иначе им придётся интерферировать, слегка изменяя фронт волны друг друга, затормаживая его, разве не так?
В бессознательных состояниях остается вызванная активность, но исчезает «спонтанная». Это относится, например, к состоянию под наркозом или состоянию сильного охлаждения.
Если взять некоторую область, то узор волны задействует крайне небольшую часть всех нейронов этой области. При наложении нескольких узоров нейроны, следящие за продолжением волны, узнают свой паттерн так как другие волны для них лишь незначительный шум. При этом вероятность случайного появления при наложении какого-либо уже существующего узора крайне мала.
Информация передается не за счет геометрии фронта волны и временных интервалов между импульсами. Форма фронта и скорость его распространения не имеют значения. В седьмой части я привел пример с семафорными башнями, возможно он прояснит.
Если взять некоторую область, то узор волны задействует крайне небольшую часть всех нейронов этой области. При наложении нескольких узоров нейроны, следящие за продолжением волны, узнают свой паттерн так как другие волны для них лишь незначительный шум. При этом вероятность случайного появления при наложении какого-либо уже существующего узора крайне мала.
Информация передается не за счет геометрии фронта волны и временных интервалов между импульсами. Форма фронта и скорость его распространения не имеют значения. В седьмой части я привел пример с семафорными башнями, возможно он прояснит.
На счёт бессознательного: так меряли ЭЦФ мозга или нет? Меня больше факты интересуют)))
Т.е. одно из важных положений данного описания, что один и тот же нейрон одновременно не может участвовать в двух волнах, так?!
Т.е. одно из важных положений данного описания, что один и тот же нейрон одновременно не может участвовать в двух волнах, так?!
Я встречал описания относительно наркоза и переохлаждения. В этих состояниях спонтанная (волновая) активность отсутствует.
Один нейрон может участвовать в десятках тысяч разных волн. Участие в волне узнается не синаптическими весами, а метаботропными рецепторами.
Один нейрон может участвовать в десятках тысяч разных волн. Участие в волне узнается не синаптическими весами, а метаботропными рецепторами.
Окей.
Да я ж не спорю за синптические весы. Если я всё правильно понял из предыдущих статей (может где-то и невнимательно читал, так как было слишком уж много информации и слишком часто статьи выходили), то всё равно передача импульса дальше происходит через аксон, т.е. условно, нейрон имеет много входов (дендриты, метаботропные рецепторы и так далее) и «один» (не забываем про выплеск нейромедиатора на конце аксона в синапсисе) выход информации. Вот собственно отсюда вопрос и возникает.
Да я ж не спорю за синптические весы. Если я всё правильно понял из предыдущих статей (может где-то и невнимательно читал, так как было слишком уж много информации и слишком часто статьи выходили), то всё равно передача импульса дальше происходит через аксон, т.е. условно, нейрон имеет много входов (дендриты, метаботропные рецепторы и так далее) и «один» (не забываем про выплеск нейромедиатора на конце аксона в синапсисе) выход информации. Вот собственно отсюда вопрос и возникает.
Удалил комментарий, не в ту ветку написал…
Спасибо за статью, очень интересно!
Читая материал, постоянно возникали ассоциации с «жизнью» Конвея и фракталами-голограммами. Я правильно понимаю, что волновая картина в коре представляет по сути голограмму? В том смысле, что часть коры потенциально может оперировать информацией так же, как и весь объем? Непонятно только как это возможно, если, как вы говорите, встречные волны не интерферируют. Хотя с другой стороны, это может естественным образом объяснять как наличие зон мозга (вокруг тех самых устойчивых паттернов) так и способность мозга переносить функции поврежденных участков на здоровые.
P.S.: прошу прощения, если пишу ерунду :) В этой теме ориентируюсь довольно слабо.
Читая материал, постоянно возникали ассоциации с «жизнью» Конвея и фракталами-голограммами. Я правильно понимаю, что волновая картина в коре представляет по сути голограмму? В том смысле, что часть коры потенциально может оперировать информацией так же, как и весь объем? Непонятно только как это возможно, если, как вы говорите, встречные волны не интерферируют. Хотя с другой стороны, это может естественным образом объяснять как наличие зон мозга (вокруг тех самых устойчивых паттернов) так и способность мозга переносить функции поврежденных участков на здоровые.
P.S.: прошу прощения, если пишу ерунду :) В этой теме ориентируюсь довольно слабо.
Сравнение с голограммой очень интересное. Интерференция световых волн возникает не в процессе их распространения, а только когда мы ставим на их пути фотопластинку. Два световых потока пока не встретят препятствие проходят друг через друга никак не взаимодействуя. Интерференция — это не результат распространения, а эффект измерения. По интерференционной картине можно восстановить исходные волновые картины — это и есть суть голограммы. Позже, описывая память, я покажу, что мозг действительно обладает всеми голографическими свойствами.
Понятно, спасибо. А какая структура или процесс в мозге может являться аналогом такой «пластинки», позволяющей запечатлеть волновое состояние?
Запечатлеть его могут те же метаботропные рецептивные кластеры, что обеспечивают появление идентификационных волн. Но задача не просто оставить какие-либо следы, надо иметь возможность воспроизвести запомненный образ. Этот механизм требует определенных инструментов, они и описываются в следующих частях.
Еще вопрос, по поводу пластичности мозга.
Известно, что при повреждении зоны мозга, ее функции переносятся на здоровые участки, тем самым компенсируя потерю. Вы не сталкивались с исследованиями касательно того, какие зоны в первую очередь берут на себя функции поврежденной области? Существует ли своеобразная карта кандидатов на замещение?
Если да, то согласуется ли эта информация с волновой теорией? Можно предположить, что те или иные области мозга будут более предрасположены к этому, ввиду характера связей и наличия специфичных волновых каналов. Другие же нет. Можно ли совместить воедино карту замещения с данными коннектома с учетом вашей теории?
Если корреляция была бы найдена, это могло послужить значительным аргументом в пользу вашей теории. Разумеется, если эти данные удастся объяснить непротиворечивым образом.
Известно, что при повреждении зоны мозга, ее функции переносятся на здоровые участки, тем самым компенсируя потерю. Вы не сталкивались с исследованиями касательно того, какие зоны в первую очередь берут на себя функции поврежденной области? Существует ли своеобразная карта кандидатов на замещение?
Если да, то согласуется ли эта информация с волновой теорией? Можно предположить, что те или иные области мозга будут более предрасположены к этому, ввиду характера связей и наличия специфичных волновых каналов. Другие же нет. Можно ли совместить воедино карту замещения с данными коннектома с учетом вашей теории?
Если корреляция была бы найдена, это могло послужить значительным аргументом в пользу вашей теории. Разумеется, если эти данные удастся объяснить непротиворечивым образом.
Мозолистое тело соединяет левое и правое полушарие достаточно симметрично. Насколько я помню, в первую очередь компенсировать начинают симметричные зоны другого полушария. Насчет карты замещения — не встречал. Не уверен, что она есть.
Подтверждений может быть много, не хватает времени, почему и хочу найти единомышленников.
Подтверждений может быть много, не хватает времени, почему и хочу найти единомышленников.
Хотя тут возникает вопрос, как отделить мух от котлет. Наивная теория нейрогенеза может предполагать, что ближайшими кандидатами на замещение будут зоны, непосредственно контактирующие с пораженным участком и имеющие большое количество связей, тогда как волновая теория может считать иначе.
Интереснее всего получилось бы, если волновая теория дала бы конекретные предсказания относительно кандидатов, которые, тем не менее, отличались бы от наивно выбранной области.
Врочем, это не более чем размышлизмы.
Интереснее всего получилось бы, если волновая теория дала бы конекретные предсказания относительно кандидатов, которые, тем не менее, отличались бы от наивно выбранной области.
Врочем, это не более чем размышлизмы.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Логика мышления. Часть 5. Волны мозга