Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 53
Интригующе.
С трудом продравшись сквозь описание железной части, все же вангую направленный граф. Угадал? :)
С трудом продравшись сквозь описание железной части, все же вангую направленный граф. Угадал? :)
А причем тут направленный граф?
Ну как же. Суть цикла статей, насколько я понял — поиск замены слоеным нейросетям.
Автор в конце говорит о пачке переплетенных возбуждающихся от контакта или proximity цилиндров. Понятно, что цилиндры форматом хранения и обработки не сделаешь, но судя по всему эта конструкция редуцируется до направленного графа. Направленный — потому что возбужденный цилиндр уже возбужден.
Вот я и спрашиваю, угадал?
Автор в конце говорит о пачке переплетенных возбуждающихся от контакта или proximity цилиндров. Понятно, что цилиндры форматом хранения и обработки не сделаешь, но судя по всему эта конструкция редуцируется до направленного графа. Направленный — потому что возбужденный цилиндр уже возбужден.
Вот я и спрашиваю, угадал?
Угадал или не угадал пусть автор напишет. Но у меня по всем предыдущим описаниям складывается скорее обратное впечатление.
Описанные ранее абстрактные клеточные автоматы действительно довольно хорошо ложатся на нейроны, как впрочем и на любую другую систему с двумя выраженными состояниями и дешевым, но не бесплатным переключением между ними. Это автоматически приводит к появлению волн просто потому, что у элементов есть гистерезис активации (что еще и решает проблему независимости от направления распространения волны).
В абстрактной модели важен лишь факт активации соседей. В физической же компактность упаковки элементов приведет к перевозбуждению, если все элементы будут реагировать только на один стимул. Логично предположить, что в условиях биологического разнообразия среды это решается тем, что стимулы оказываются разные.
Ну а дальше все по законам автоматов: две волны, пришедшие с небольшим интервалом времени оказываются проассоциированы в этой области. Если одной волны достаточно для превышения порога активации, может произойти «выборка» по «ключу», и т. д.
Самое интересное на мой взгляд во всей этой модели то, что ее эволюция может быть легко описана. Легко представить и выделить некоторые отдельные этапы развития системы которые приводили к качественному росту и закреплялись, что в конечном итоге привело к подобной организации сети.
На мой взгляд это выглядит куда более правдоподобно, чем альтернативные теории, которые приходилось слышать.
P.S.: Видео, представленное в статье дает понять, что нейроны растут в общем-то произвольно и синапсы образуются там где им удобно. В противовес другой теории, когда нейроны «вынюхивают» и целенаправленно тянутся к желаемой точке интеграции. Хотя и это поведение можно описать, если считать что нейрон стремится оптимизировать себя и свести энергозатраты к минимуму при сохранении связности.
Описанные ранее абстрактные клеточные автоматы действительно довольно хорошо ложатся на нейроны, как впрочем и на любую другую систему с двумя выраженными состояниями и дешевым, но не бесплатным переключением между ними. Это автоматически приводит к появлению волн просто потому, что у элементов есть гистерезис активации (что еще и решает проблему независимости от направления распространения волны).
В абстрактной модели важен лишь факт активации соседей. В физической же компактность упаковки элементов приведет к перевозбуждению, если все элементы будут реагировать только на один стимул. Логично предположить, что в условиях биологического разнообразия среды это решается тем, что стимулы оказываются разные.
Ну а дальше все по законам автоматов: две волны, пришедшие с небольшим интервалом времени оказываются проассоциированы в этой области. Если одной волны достаточно для превышения порога активации, может произойти «выборка» по «ключу», и т. д.
Самое интересное на мой взгляд во всей этой модели то, что ее эволюция может быть легко описана. Легко представить и выделить некоторые отдельные этапы развития системы которые приводили к качественному росту и закреплялись, что в конечном итоге привело к подобной организации сети.
На мой взгляд это выглядит куда более правдоподобно, чем альтернативные теории, которые приходилось слышать.
P.S.: Видео, представленное в статье дает понять, что нейроны растут в общем-то произвольно и синапсы образуются там где им удобно. В противовес другой теории, когда нейроны «вынюхивают» и целенаправленно тянутся к желаемой точке интеграции. Хотя и это поведение можно описать, если считать что нейрон стремится оптимизировать себя и свести энергозатраты к минимуму при сохранении связности.
Выглядит действительно весьма правдоподобно.
Однако если берём за основу клеточные автоматы, то (если не использовать автоматы в многомерном пространстве) скорее всего всё-таки граф. Собственно обычные 2D автоматы вполне заменяются регулярным графом. Что проще, граф или многомерный автомат — вопрос.
Кстати и нейросети вполне можно представить графом с весами. Хотя это уже предыдущему комментарию ответ :)
Однако если берём за основу клеточные автоматы, то (если не использовать автоматы в многомерном пространстве) скорее всего всё-таки граф. Собственно обычные 2D автоматы вполне заменяются регулярным графом. Что проще, граф или многомерный автомат — вопрос.
Кстати и нейросети вполне можно представить графом с весами. Хотя это уже предыдущему комментарию ответ :)
Т.е. можно входной слой с, например, тысячей нейронов, принимающих каждый свой пиксель, схлопнуть в один?
После таких статей что-то слабо верится в «первичный бульон» и теорию Дарвина.
Кстати, довольно неплохо описано. Людям с образованием, не имеющим ничего общего с биологическим или медицинским, конечно, сложно будет что-то понять, но полезно будет узнать))
Великолепная подача информации о работе мозга! И заслуживающая внимания теория!
Пожалуйста, продолжайте публикации!
Пожалуйста, продолжайте публикации!
>… передать узор… всем узлам…
То есть реализуется широковещательный broadcast паттернов с целью поиска реципиентов «смысла». Реципиенты в свою очередь порождают новые волны поиска. Вроде бы особо «удивительных результатов» от этого не просматривается…
То есть реализуется широковещательный broadcast паттернов с целью поиска реципиентов «смысла». Реципиенты в свою очередь порождают новые волны поиска. Вроде бы особо «удивительных результатов» от этого не просматривается…
Пока, удивительного ничего нет. Сам механизм вещания, хотя, и нов применительно к описанию мозга не несет чего-то революционного с точки зрения алгоритмов обработки информации. Все интересное будет дальше.
>… механизм вещания…… нов…
Насколько понимаю, в академических кругах «a segment of a dendrite» как «functional unit» для «dendritic spike» — вопрос уже проработанный. То есть сегменты дендритов образуют среду широковещательного распространения паттернов. Этот broadcast паттернов находит ассоциации, которые объединяются в смысловой поток.
Насколько понимаю, в академических кругах «a segment of a dendrite» как «functional unit» для «dendritic spike» — вопрос уже проработанный. То есть сегменты дендритов образуют среду широковещательного распространения паттернов. Этот broadcast паттернов находит ассоциации, которые объединяются в смысловой поток.
Сегменты дендритов рассматривают, как автономные детекторы совпадения аксонных сигналов. Далее говорят от интеграции сигналов от дендритов одного нейрона (дендритных спайков) и условиях возникновения аксонного потенциала действия. Это совсем другое, отличное от механизма вещания. Классический подход — это попытка найти в нейроне следы пусть и сложного, но порогового сумматора.
ОK. Если это так, то это так. Но «классические» принципы работы мозга — это не только «образы», но и «ассоциации». Так что, опять таки — тут мало что нового…
Вы совершенно правы. Пока тут нет ничего, что говорит о методах работы с информацией. Все интересное будет позже.
Полистав Ваш черновик, к сожалению, вынужден заметить, что как-то он громоздок и сыроват, некоторые вещи — явно притянуты за уши. Не говоря уже о параллелях с «квантовыми» системами — это вообще лишнее. Может быть, стоит сделать два варианта: простой, без формул, и расширенный — с формулами. А так… что можно сказать… всё суховато и не особо интересно для широкой публики…
Слежу за развитием вашей модели с большим интересом, но одна проблема постоянно бросается в глаза и я не нашел ее решения ни в этих статьях, ни в той, что еще переводится. Чтобы волны могли приходить и уходить в любые стороны, аксоны и дендритные деревья нейронов должны покрывать хотя бы частично объем по всем направлениям от клетки (2). Для дендритов это представить довольно легко, но аксоны обычно образуют синапсы на некотором расстоянии от дендритного дерева (1).
Красным активный нейрон и его дендриты, зеленым его аксон, серым соседние нейроны.
Даже в отображении на плоскости сложно представить, как аксон мог бы иметь контакты с нейронами по все стороны от сомы, а в трехмерном пространстве это выглядит еще страннее. Условно говоря, сложно представить как нейрон мог бы передать сигнал и направо и налево, при том что основная ветвь аксона уходит в одну сторону.
Красным активный нейрон и его дендриты, зеленым его аксон, серым соседние нейроны.
Даже в отображении на плоскости сложно представить, как аксон мог бы иметь контакты с нейронами по все стороны от сомы, а в трехмерном пространстве это выглядит еще страннее. Условно говоря, сложно представить как нейрон мог бы передать сигнал и направо и налево, при том что основная ветвь аксона уходит в одну сторону.
Аксон очень сильно ветвится, образуя коллатерали. Ветвление достаточно равномерно покрывает ближайший к нейрону объем, затем аксон может уйти очень далеко. Есть работа, где были изучены под оптическим микроскопом порядка 15 пар приблизительно соседних нейронов коры. В среднем у них оказалось по 7 общих синапсов.
Также передача волны идентификатора происходит только дендритами, но такой же механизм кода идентификатор распространяется по аксонам (сам идентификатор формируется несколькими аксонами).
Хм. Возвращаясь к игре «Жизнь», получается есть два варианта
1. плотное размещение клеток, но правила активации различаются от клетки к клетке, и эволюционируют со временем.
2. правила едины для всех но кубик разряженный, с пустотами, и эволюционирует расположение клеток.
А при смешении этих вариантов на одном поле и начинается магия. Если я всё правильно понял.
1. плотное размещение клеток, но правила активации различаются от клетки к клетке, и эволюционируют со временем.
2. правила едины для всех но кубик разряженный, с пустотами, и эволюционирует расположение клеток.
А при смешении этих вариантов на одном поле и начинается магия. Если я всё правильно понял.
Алексей, спасибо за труды, скажите пожалуйста, почему на картинке (желтая в художественном стиле), аксон разветвляется, т.е. по сути крепится к самому нейрону и к его дендритам, влияет ли это каким-то образом на восприимчивость нейрона к входящим сигналам? Просто эта картинка наводит на некоторые сомнения в традиционных сетях, где нейрон нарисован схематически и имеет только 1 вход от 1-го нейрона.
Если взять два реальных соседних нейрона, то в среднем у них будет около 7 общих аксоно-дендритных синапсов. Синапсы на теле нейрона составляют, где-то, пять процентов от общего числа. Есть шанс, что общий синапс окажется и на теле нейрона. Причем, число и место совместных связей выбирается нейронами случайным образом, как получится. Это слабо похоже на связи с весами из идеологии нейронных сетей.
Вывод, который, можно сделать — это, что нейронные сети и мозг реализуют сосвсем разные принципы и мозг совершенно не похож на нейронные сети. Далее я расскажу, гипотезу о том, что действительно делает мозг.
Вывод, который, можно сделать — это, что нейронные сети и мозг реализуют сосвсем разные принципы и мозг совершенно не похож на нейронные сети. Далее я расскажу, гипотезу о том, что действительно делает мозг.
>… мозг совершенно не похож на нейронные сети…
Не совсем удачное выражение. Биологические нейронные сети и искусственные «нейронные» сети — разные понятия. К тому же, это лишь вопрос типа и качества используемой модели.
Не совсем удачное выражение. Биологические нейронные сети и искусственные «нейронные» сети — разные понятия. К тому же, это лишь вопрос типа и качества используемой модели.
Да, это разные понятия и я, по возможности, стараюсь уточнять о каких сетях идет разговор. Относительно типа и качества модели, то это подразумевает набор принципов по которым функционирует сеть. Вот тут есть сложность. Существующие нейронные сети, с моей точки зрения, которую я попробую обосновать, построены на принципах кардинально отличных от принципов биологических нейронных сетей.
Должен существовать механизм, позволяющий избирательно реагировать на различные окружающие узоры;Если для наблюдения за глобальными узорами, разбить все пространство на области, доступные наблюдению единичным нейроном и организовать из них сеть, то это ж уже будет базис для самосознания, ага?
Дендритная сеть описана виде статичной структуры, как же происходит ее детерминированное изменения в соответствии с пережитым опытом?
Сейчас я склоняюсь к тому, что наиболее подходящий кандидат – это тонкие веточки дендритных деревьев.
Можете квантифицировать слово "склоняюсь"? По вашей интуиции (предполагая что клеточный автомат в мозге действительно есть) — каков шанс что он реализуется именно дендритными веточками, и какой шанс что чем-то ещё?
То, что общий принцип клеточного автомата (с волнами паттернов) свойственен мозгу я практически уверен. Далее я приведу очень сильные доводы в пользу этого. Что аналог элементов — дендритные веточки, вероятность того, что я прав — процентов 60. Опять же, далее я покажу многое, что говорит в пользу веточек.
>… общий принцип клеточного автомата (с волнами паттернов) свойственен мозгу…
В Вашем старом варианте от 2014 года (http://arxiv.org/abs/1406.6901) были, по сути, только волны по нейронам в качестве элементов. Оставалось лишь прийти к выводу, что волна приносит к нейрону паттерн, а нейрон, как ему и положено, на этот паттерн реагирует. Если паттерн опознан как свой, то после активации всего нейрона, дендриты, присоединённые к его аксону, порождают ещё и волну с паттерном этого нейрона. В этом и состоит простая и понятная суть широковещательного распространения паттернов с целью их ассоциирования. Не надо ни «автоматов», ни «голограмм», ни ещё не пойми чего…
В Вашем старом варианте от 2014 года (http://arxiv.org/abs/1406.6901) были, по сути, только волны по нейронам в качестве элементов. Оставалось лишь прийти к выводу, что волна приносит к нейрону паттерн, а нейрон, как ему и положено, на этот паттерн реагирует. Если паттерн опознан как свой, то после активации всего нейрона, дендриты, присоединённые к его аксону, порождают ещё и волну с паттерном этого нейрона. В этом и состоит простая и понятная суть широковещательного распространения паттернов с целью их ассоциирования. Не надо ни «автоматов», ни «голограмм», ни ещё не пойми чего…
Части первая по четвертую — это, по сути, вступление. В них нет чего-то принципиально нового в сравении с 2014 годом, скорее, так, уточнения. Все самое интересное будет дальше. Вот там и станет понятно, зачем все эти сложности и голограммы.
Клеточный автомат в описании появился из-за того, что я его запрограммировал и отвечаю за его работоспособность. А, вот, относительно мозга я могу только строить гипотезы. Мне показалось, что лучше четче разделить факты и предположения.
Клеточный автомат в описании появился из-за того, что я его запрограммировал и отвечаю за его работоспособность. А, вот, относительно мозга я могу только строить гипотезы. Мне показалось, что лучше четче разделить факты и предположения.
Дендритные спайки могут возникать и непосредственно в дендрите. Для этого требуется, чтобы в течении короткого временного интервала (порядка 3-10 мс) на небольшом участке дендрита случилось достаточно много синаптических возбуждений.… Добиться синхронной активности четверти всех синапсов можно при искусственном возбуждении «в пробирке». Трудно сказать возможно ли такое в живой ткани.
Из-за чего тогда у нейронов появляется ПД, если дендритные спайки столь маловероятны?
В кабельной теории дендритов показывается, что токи, возникающие в дендритах могут складываться и доходить до сомы. Глиальные клетки могут модулировать количество выделяемого синапсом нейромедиатора. Метаботропные рецепторы могут открывать ионные каналы и создавать возбуждающие потенциалы.
Всего, что вляет на работу нейрона много. Трудно сказать, что именно вносит больший вклад. Мои соображения по этому поводу будут в 4 части.
Всего, что вляет на работу нейрона много. Трудно сказать, что именно вносит больший вклад. Мои соображения по этому поводу будут в 4 части.
>… токи, возникающие в дендритах могут складываться и доходить до сомы…
Видимо, самым простым кандидатом для среды широковещательного распространения выходных паттернов нейронов всё-таки являются именно «заряженные частицы», распределённые по нейронам, а не сами сегменты нейронов. Тогда всё встаёт на свои места. Спайк возбуждённного нейрона не только передаёт возбуждение связанным с ним нейронам, но и модулирует выходным паттерном нейрона несущие электрические колебания в отделах мозга. При этом, в общем случае, выходные паттерны активных нейронов могут накладываться друг на друга, и распространяется уже некоторый суммарный паттерн. Если распространившийся до нейрона паттерн «совпал» с входным паттерном этого нейрона, то демодуляция несущих электрических колебаний в дендритах нейрона вызывает активацию всего нейрона, то есть, в соответствующих терминах, потенциал действия. Таким образом в самом простом случае обеспечивается «ассоциирование» выходного паттерна одного нейрона с входным паттерном другого нейрона. Но возможно и «ассоциирование» выходных паттернов нескольких нейронов с одинаковым входным паттерном нескольких других нейронов. Нейрон, обладая естественными входным и выходным паттернами, связан «ассоциациями» с другими нейронами. Входной паттерн нейрона определяется геометрией его дендритного дерева, а выходной паттерн — геометрией дендритов, присоединённых к его аксону.
Видимо, самым простым кандидатом для среды широковещательного распространения выходных паттернов нейронов всё-таки являются именно «заряженные частицы», распределённые по нейронам, а не сами сегменты нейронов. Тогда всё встаёт на свои места. Спайк возбуждённного нейрона не только передаёт возбуждение связанным с ним нейронам, но и модулирует выходным паттерном нейрона несущие электрические колебания в отделах мозга. При этом, в общем случае, выходные паттерны активных нейронов могут накладываться друг на друга, и распространяется уже некоторый суммарный паттерн. Если распространившийся до нейрона паттерн «совпал» с входным паттерном этого нейрона, то демодуляция несущих электрических колебаний в дендритах нейрона вызывает активацию всего нейрона, то есть, в соответствующих терминах, потенциал действия. Таким образом в самом простом случае обеспечивается «ассоциирование» выходного паттерна одного нейрона с входным паттерном другого нейрона. Но возможно и «ассоциирование» выходных паттернов нескольких нейронов с одинаковым входным паттерном нескольких других нейронов. Нейрон, обладая естественными входным и выходным паттернами, связан «ассоциациями» с другими нейронами. Входной паттерн нейрона определяется геометрией его дендритного дерева, а выходной паттерн — геометрией дендритов, присоединённых к его аксону.
Есть несколько доводов, которые очень сильно говорят в пользу дендритных веточек. Они будут описаны в четвертой части.
По сути, совокупность сегментов дендритов нейрона определяет своей геометрией входной паттерн этого нейрона, а совокупность сегментов дендритов, присоединённых к аксону нейрона определяет своей геометрией выходной паттерн этого нейрона. Нет никакого смысла наделять сегмент дендрита функциональностью целого нейрона. Понятно, конечно, что широковещательное распространение паттернов «ломает» идею Вашего «автомата», но это «сreative destruction» — такова суть процесса поиска истины…
:) Да, Вы правы. Совсем разные свойства, по сути — мало что общего. Ваша модель, разумеется, более-менее понятна, понятно и резюме Вашей модели — «мозг совершенно не похож на нейронные сети». Написал в песочницу текст «Широковещательное распространение паттернов нейронов мозга». Может кого заинтересует эта идея.
Но, теоретически, можно представить компьютер, в котором битовый сигнал на шине данных будет меняться по мере движения от одного узла к другому
Чем-то очень похоже на Tor. При передаче от узла к узлу накладывается/снимается еще один слой шифрования.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Логика сознания. Часть 2. Дендритные волны