Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 23
Я же правильно понимаю, что вы рассматриваете исключительно синаптическую передачу сигналов, оставляя за скобками гормональную регуляцию? А есть ли модели нейронов, учитывающие выделение и влияние гормонов? И интересно, учитываются ли они в Blue/Human Brain?
[«Я же правильно понимаю, что вы рассматриваете исключительно синаптическую передачу сигналов, оставляя за скобками гормональную регуляцию?»]
Да, Вы правы, только наверно Вы имели ввиду не гормональную регуляцию, а нейромодулятивную, там дофамин, опиаты и пр. Гормоны они все такие в первую очередь не на нервную систему действуют, а на другие системы организма.
[«А есть ли модели нейронов, учитывающие выделение и влияние гормонов?»]
Вообще такие модели есть. Я встречался только с одной такой моделью, это модель с дофаминовым подкреплением. Там изменение весов связей задается задается определенным правилом, в зависимости от времен прихода спайка на поссинаптический нейрон от пресинаптического, плюс ещё задается группа домаминэргических (выделяющих дофамин) нейронов и фиксация изменений весов происходит только при наличии дофаминовго «подкрепления» на этих нейронах. Но думаю есть и большое множество других.
[«И интересно, учитываются ли они в Blue/Human Brain?»]
Насколько я понял, у них это не учитывалось.
Да, Вы правы, только наверно Вы имели ввиду не гормональную регуляцию, а нейромодулятивную, там дофамин, опиаты и пр. Гормоны они все такие в первую очередь не на нервную систему действуют, а на другие системы организма.
[«А есть ли модели нейронов, учитывающие выделение и влияние гормонов?»]
Вообще такие модели есть. Я встречался только с одной такой моделью, это модель с дофаминовым подкреплением. Там изменение весов связей задается задается определенным правилом, в зависимости от времен прихода спайка на поссинаптический нейрон от пресинаптического, плюс ещё задается группа домаминэргических (выделяющих дофамин) нейронов и фиксация изменений весов происходит только при наличии дофаминовго «подкрепления» на этих нейронах. Но думаю есть и большое множество других.
[«И интересно, учитываются ли они в Blue/Human Brain?»]
Насколько я понял, у них это не учитывалось.
Возможно, будет интересно взглянуть на работу, которой я занимался этим летом на стажировке в штатах — как раз-таки добавлял дофаминовую регуляцию обучения, основанную на рассогласовании ожидаемой и полученой награды, в сеть спайкующих нейронов, над которой до меня работал местный аспирант. Ссылка на проект на гитхабе. Там же в вики есть статья, описывающая суть работы.
Уточнение.
Я так подумал и понял, что смоделировать весь мозг нельзя без учёта влияния нейромодуляторов, поэтому в Human Brain должны рассматривать и вопросы влияния нейромодуляторов на работу мозга.
А вот, что касается моделирования на Blue Brain там их вроде пока как не было.
Я так подумал и понял, что смоделировать весь мозг нельзя без учёта влияния нейромодуляторов, поэтому в Human Brain должны рассматривать и вопросы влияния нейромодуляторов на работу мозга.
А вот, что касается моделирования на Blue Brain там их вроде пока как не было.
А наложение магнитных полей от соседних нейронов?
Я как-то задумывался над этим и решил, что оно очень слабое. Правда, я конечно не делал расчеты, но интуиция физика подсказывает, что это правда :)
И к тому же, ещё не от кого не слышал, что оно может влиять.
Хотя, чисто из интереса можно посчитать какое будет поле в проводочке диаметром порядка микрона, с сопротивлением цитоплазмы (можно в справочниках найти) с приложенным напряжением в скажем 100 млВ, по максимуму.
И к тому же, ещё не от кого не слышал, что оно может влиять.
Хотя, чисто из интереса можно посчитать какое будет поле в проводочке диаметром порядка микрона, с сопротивлением цитоплазмы (можно в справочниках найти) с приложенным напряжением в скажем 100 млВ, по максимуму.
Нужно еще учитывать что таких проводников рядом большое количество, и при прохождении импульса по надцати сонаправленным нейронам результат будет интереснее;)
Все равно слишком слабое.
Я при максимальных допущениях для проволочки длинной в 1 мк, и с диаметром тоже 1 мк, с приложенным напряжением в 100 мВ получил что то порядка ~ 10^-14 Тс это устрашающе мало. Если подсчитать ЭДС силы Лоренца для такого поля, v*B где v это скорость движения заряженных частиц, даже если предположить что она 1 м/c, что вряд-ли, то ЭДС тоже ~ 10^-14 В.
Я при максимальных допущениях для проволочки длинной в 1 мк, и с диаметром тоже 1 мк, с приложенным напряжением в 100 мВ получил что то порядка ~ 10^-14 Тс это устрашающе мало. Если подсчитать ЭДС силы Лоренца для такого поля, v*B где v это скорость движения заряженных частиц, даже если предположить что она 1 м/c, что вряд-ли, то ЭДС тоже ~ 10^-14 В.
Хорошая работа. Интересно, что Вы получили пачечную активность без введения какой-либо кратковременной пластичности (депрессии) — для этого обычно нужно очень хорошо подбирать параметры. При этом у пачки конечно не очень реалистичная длина — около 50 мс.
Несколько замечаний:
1. Обычно модель Ижикевича все-таки приводят в виде, в котором она была предложена в статье Izhikevich E.M. (2003) «Simple Model of Spiking Neurons». IEEE Transactions on Neural Networks, 14:1569- 1572. Та форма, которую привели Вы принята скорее для квадратичного IF-нейрона (например тут Latham P. E., et al. (2000) «Intrinsic dynamics in neuronal networks. I. Theory.» J. Neurophysiol., 83:808-827) с введением второй переменной восстановления.
2. Было бы неплохо ввести задержки прохождения возбуждения от пресинаптического нейрона к постсинаптическому, так как это значительно реалистичнее.
3. Хард-кодинг — это зло. Например, потенциал покоя и пороговый потенциал конечно лучше как-то проименовать, а не вставлять в код магическими числами.
И передавайте привет Виктору Борисовичу! =)
Несколько замечаний:
1. Обычно модель Ижикевича все-таки приводят в виде, в котором она была предложена в статье Izhikevich E.M. (2003) «Simple Model of Spiking Neurons». IEEE Transactions on Neural Networks, 14:1569- 1572. Та форма, которую привели Вы принята скорее для квадратичного IF-нейрона (например тут Latham P. E., et al. (2000) «Intrinsic dynamics in neuronal networks. I. Theory.» J. Neurophysiol., 83:808-827) с введением второй переменной восстановления.
2. Было бы неплохо ввести задержки прохождения возбуждения от пресинаптического нейрона к постсинаптическому, так как это значительно реалистичнее.
3. Хард-кодинг — это зло. Например, потенциал покоя и пороговый потенциал конечно лучше как-то проименовать, а не вставлять в код магическими числами.
И передавайте привет Виктору Борисовичу! =)
[«Хорошая работа. Интересно, что Вы получили пачечную активность без введения какой-либо кратковременной пластичности (депрессии) — для этого обычно нужно очень хорошо подбирать параметры.»]
С моделью Ижикевича, почему то действительно это получается просто.
[«При этом у пачки конечно не очень реалистичная длина — около 50 мс.»]
Да, они действительно не очень реалистичные. Но это все делалось путем редуцирования более полной модели с пластичностью, задержками до простой обзорной модели для ознакомления. В более подробной модели с пластичностью и задержками длительности бывают и по 150-200 мс, что ближе к эксперименту, но у них частота большая тоже минимум 2 Гц, в то время как экспериментаторы утверждают, что в культурах где по 5-15 тысяч нейронов, они наблюдаются гораздо реже.
[«1. Обычно модель Ижикевича все-таки приводят в виде, в котором она была предложена в статье Izhikevich E.M. (2003) «Simple Model of Spiking Neurons». IEEE Transactions on Neural Networks, 14:1569- 1572. Та форма, которую привели Вы принята скорее для квадратичного IF-нейрона (например тут Latham P. E., et al. (2000) «Intrinsic dynamics in neuronal networks. I. Theory.» J. Neurophysiol., 83:808-827) с введением второй переменной восстановления.»]
Спасибо, я это учту.
["3. Хард-кодинг — это зло. Например, потенциал покоя и пороговый потенциал конечно лучше как-то проименовать, а не вставлять в код магическими числами."]
В первоначальном варианте все параметры были вынесены, но потом с целью сокращения числа строк в статье, решил загнать все в текст. Спасибо за замечание, буду знать, что так делать нельзя.
["И передавайте привет Виктору Борисовичу! =)"]
Хорошо :)
С моделью Ижикевича, почему то действительно это получается просто.
[«При этом у пачки конечно не очень реалистичная длина — около 50 мс.»]
Да, они действительно не очень реалистичные. Но это все делалось путем редуцирования более полной модели с пластичностью, задержками до простой обзорной модели для ознакомления. В более подробной модели с пластичностью и задержками длительности бывают и по 150-200 мс, что ближе к эксперименту, но у них частота большая тоже минимум 2 Гц, в то время как экспериментаторы утверждают, что в культурах где по 5-15 тысяч нейронов, они наблюдаются гораздо реже.
[«1. Обычно модель Ижикевича все-таки приводят в виде, в котором она была предложена в статье Izhikevich E.M. (2003) «Simple Model of Spiking Neurons». IEEE Transactions on Neural Networks, 14:1569- 1572. Та форма, которую привели Вы принята скорее для квадратичного IF-нейрона (например тут Latham P. E., et al. (2000) «Intrinsic dynamics in neuronal networks. I. Theory.» J. Neurophysiol., 83:808-827) с введением второй переменной восстановления.»]
Спасибо, я это учту.
["3. Хард-кодинг — это зло. Например, потенциал покоя и пороговый потенциал конечно лучше как-то проименовать, а не вставлять в код магическими числами."]
В первоначальном варианте все параметры были вынесены, но потом с целью сокращения числа строк в статье, решил загнать все в текст. Спасибо за замечание, буду знать, что так делать нельзя.
["И передавайте привет Виктору Борисовичу! =)"]
Хорошо :)
Уверен, Вам очень понравится эта статья neuroscience.uth.tmc.edu/s1/introduction.html
И, думаю, поможет во многом улучшить код.
И, думаю, поможет во многом улучшить код.
После таких статей понимаешь, что ничего не понимаешь, а комментарии только лишь усугубляют…
согласно доминирующей ныне концепции в живых нейронных сетях информация кодируется во временах возникновения импульсов, или как сказали бы физики, путем частотной модуляции
Вот тут лучше говорить аккуратнее. Индивидуальные моменты спайков учитываются не только (и не столько) при частотной модуляции, но и (причем в большей степени) при фазовой модуляции. Сама по себе гипотеза о частотном кодировании противоречит экспериментальным данным — она не позволяет согласовать длительность акта возбуждения единичного нейрона с экспериментальными данным относительно скорости простых реакций нервной системы, в которых участвуют десятки нейронов. По самым последним данным частотное кодирование используется при взаимодействии нервной системы с медленной периферией, а внутри самой НС используется представление информации моментами индивидуальных импульсов (т.н. импульсное кодирование).
Сама по себе модель Ижикевича конечно допускает эффективное моделирование, но больше по сути ничем не интересна. Это — просто одна из моделей в длинном ряду т.н. редукционистских моделей (имеется в виду асимптотическая редукция исходной системы Ходжкина-Хаксли, см. работы Покровского). При этом сама природа модели Ижикевича делает невозможным получение аналитических результатов — вы изначально ограничиваете себя численным моделированием.
В то же время в природе существуют модели, допускающие одновременно эффективное моделирование и получение аналитических результатов. Пример — модель Майорова-Мышкина, основанная на использовании дифференциальных уравнений с запаздыванием. За счет запаздывающего члена в ней удается смоделировать все основные черты процесса генерации спайка всего на одном уравнении и это позволяет иногда получать аналитические результаты для довольно сложных конструкций. Например, моими аспирантами был собран импульсный аналог обычного взвешивающего нейрона и на таких нейронах удалось собрать импульсный перцептрон. При этом удалось строго доказать, что при некоторых ограничениях он работает аналогично обычному перцептрону.
Вот тут лучше говорить аккуратнее. Индивидуальные моменты спайков учитываются не только (и не столько) при частотной модуляции, но и (причем в большей степени) при фазовой модуляции. Сама по себе гипотеза о частотном кодировании противоречит экспериментальным данным — она не позволяет согласовать длительность акта возбуждения единичного нейрона с экспериментальными данным относительно скорости простых реакций нервной системы, в которых участвуют десятки нейронов. По самым последним данным частотное кодирование используется при взаимодействии нервной системы с медленной периферией, а внутри самой НС используется представление информации моментами индивидуальных импульсов (т.н. импульсное кодирование).
Спасибо за уточнения. Я был неточен, нужно было написать фазовая модуляция, это будет честнее и точнее соответствовать тому, что информация кодируется во временах спайков. Фазовой модуляции более общее понятие оно включает в себя и частотную тоже.
Сама по себе модель Ижикевича конечно допускает эффективное моделирование, но больше по сути ничем не интересна. Это — просто одна из моделей в длинном ряду т.н. редукционистских моделей (имеется в виду асимптотическая редукция исходной системы Ходжкина-Хаксли, см. работы Покровского).
Тем не менее она годиться для очень большого круга задач, в которых применение биологически правдоподобных моделей не оправдано. Например: я не вижу абсолютно никакого смысла в системах автоматического управления, построенных на основе импульсных нейронных сетей, использовать модель Ходжкина-Хаксли. Для моделирования каких либо биофизических процессов в мозгу разумеется лучше использовать Ходжкин-Хаксли. В общем, «Хорошо яичко к Христову дню». Если мы хотим построить интеллектуальную систему работающую на основе спайковых нейронных сетей и понять как происходят процессы выбора решения, формирования связей соответствующих тем или иным поведенческим реакциям, лучше абстрагироваться от лишней физиологии, и сосредоточиться на минимальной модели. А если мы хотим воспроизвести процессы происходящие конкретно в живом мозге, узнать что приводить к тем или иным поломкам в его работе, то лучше использовать физиологические модели.
При этом сама природа модели Ижикевича делает невозможным получение аналитических результатов — вы изначально ограничиваете себя численным моделированием.
Хотите сказать, Ходжкин-Хаксли допускает аналитический анализ (прошу прощения за тавтологию)? К тому же наибольший интерес представляет, не единичный нейрон, а сеть нейронов. Такая система аналитически в принципе не решаема, можно лишь проводить аналитические оценки, примерки относительно того в какой области параметров искать тот или иной эффект, но никак не полноценный анализ.
В то же время в природе существуют модели, допускающие одновременно эффективное моделирование и получение аналитических результатов. Пример — модель Майорова-Мышкина, основанная на использовании дифференциальных уравнений с запаздыванием. За счет запаздывающего члена в ней удается смоделировать все основные черты процесса генерации спайка всего на одном уравнении и это позволяет иногда получать аналитические результаты для довольно сложных конструкций.
Спасибо, я посмотрю материалы по этой теме.
Например, моими аспирантами был собран импульсный аналог обычного взвешивающего нейрона и на таких нейронах удалось собрать импульсный перцептрон. При этом удалось строго доказать, что при некоторых ограничениях он работает аналогично обычному перцептрону.
Очень интересно. Я правильно понял Вас, что вы реализовали эту модель в железе, а не в численном эксперименте?
Насчет перцептнонов, вроде как Минский показал, что их возможности ограничены и уже практически все что можно было из них выжить уже выжили.
лучше абстрагироваться от лишней физиологии, и сосредоточиться на минимальной модели
Это верно, но при этом нужно аккуратно следить за тем, какие из вариантов динамики исходной системы поддерживаются используемой минимальной моделью. Сам Ижикевич это очень хорошо понимает (см. его статью «Which Model to Use for Cortical Spiking Neurons?», www.izhikevich.org/publications/whichmod.htm) и аккуратно сравнивает свою модель с другими известными именно по этому критерию (тут в его модели все хорошо).
Второй критерий — перспективность модели в смысле потенциальной возможности получения для нее аналитических результатов. И тут модель Ижикевича проигрывает почти всем остальным моделям.
Хотите сказать, Ходжкин-Хаксли допускает аналитический анализ (прошу прощения за тавтологию)?
Конечно допускает. Я же сослался выше на работы Покровского по асимптотической редукции исходной системы Ходжкина-Хаксли. Да и многие широко известные модели (типа ФитцХью-Нагумо) являются по сути результатом редукции исходной системы Ходжкина-Хаксли. И для них уже успешно получают аналитические результаты, в том числе и для сетей, составленных из таких нейронов.
К тому же наибольший интерес представляет, не единичный нейрон, а сеть нейронов. Такая система аналитически в принципе не решаема, можно лишь проводить аналитические оценки, примерки относительно того в какой области параметров искать тот или иной эффект, но никак не полноценный анализ.
Вы ошибаетесь. Для правильно подобранной модели иногда удается аналитически показать реализуемость некоторого интересующего нас режима сети, т.е. фактически провести полный аналитический анализ работы сети.
Я правильно понял Вас, что вы реализовали эту модель в железе, а не в численном эксперименте?
Нет. Была предложена конструкция (сеть) из импульсных нейронов, для которой удалось аналитически показать существование (реализуемость) режима, воспроизводящего функционирование многослойного перцептрона с нелинейной функцией активации. На численном эксперименте это также было проверено.
Насчет перцептнонов, вроде как Минский показал, что их возможности ограничены и уже практически все что можно было из них выжить уже выжили.
Это совсем древняя история. Перцептрон Розенблатта — это очень ранняя и очень специфичная нейросетевая модель, не представляющая сейчас практического интереса. Сейчас под перцептроном обычно понимают многослойный перцептрон с нелинейной функцией активации — основную нейросетевую архитектуру, находящую хоть какое-то применение на практике.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Моделируем электрическую активность нейронов