Comments 12
Есть такой проект, называется Blue Brain, ему уже прилично лет.
Тут ещё до конца не изучено как мозг работает. Мне так показалось по чтению статей, например, когда люди живут без части мозга. А вы уже его воссоздаёте. Но ИИ сейчас на хайпе, так что ок)
Очень хорошо, но как это будет работать, скажем, с классическим датасетом MNIST?
Поизучайте NuPIC от Numenta
Они вот такое как вы и делают - нейроны, дендриты, слои.
И давольно давно и масштабно.
Я не айтишник, и плохо понимаю код (даже псевдокод). Поэтому если что, поправляйте.
Прежде всего, вы предельно упростили нейрон, взяв только ходжкиновский принцип потенциала действия (все или ничего) и выброс нейротрансмиттеров. То есть, свели логику нейрона к АЦП с оптроном. Ладно, ок, забудем про шванновские клетки и миелин, электрический синапс (без нейротрансмиттеров), ок, вам ГПТ сказал, что это не нужно. Пусть.
У вас есть фраза:
Здесь мы проходим по всем нейронам в словаре. Распределяем нейротрансмиттеры из синапса поровну по всем связанным с ним нейронам. А затем обновляем состояния каждого
Я ее не до конца понял. Конкретный нейротрансмиттер, принадлежащий к возбуждающему либо тормозному типу, вырабатывается в конкретном типе нейронов (они так и называются, холинергические, пептидергические, ГАМК-ергические и т.д.). Конкретный нейрон может быть только одного типа. Возбуждающий не может стать тормозным. Нейротрансмиттер в нем не меняется.
Был удивлен, насколько математические модели нейросетей похожи на то, как они выглядят на самом деле
Ну так вы из своих единиц-"нейронов" создали классическую нейросеть со входами-выходами-коэффициентами.
Вот вам пример работы реальной системы обратных связей в базальных ганглиях, которые контролируют целенаправленные движения человека:
Тут нет места коэффициентам внутри этой системы, после сигналов моторной коры - все должно работать железобетонно, если не работает, разрегулируется - получаем паркинсонизм или иные двигательные расстройства.
Далее, у вас в модели нейрон - сущность со входом и выходом. Но у живого тысячи входов и выходов! Дендритные шипики, синаптические зоны на аксоне, бешеное количество точек контакта с соседними и отстоящими на полметра нейронами и рецепторными полями. И нейротрансмиттер выбрасывается не везде одинаково! И самое главное - никто не знает, как именно распределяются мощности входных сигналов, чтобы стать достаточными для возбуждения потенциала действия. Но именно в их количестве, конфигурации и мощности и заложены архитектура сетей мозга, потенциал к нейропластичности (обучение, развитие новых навыков), компенсаторные возможности. И все это вовсе не организовано в слои, как у компьютерных нейросетей.
Архитектура гораздо сложнее, чем у перцептрона, или сверточных сетей, где-то она имеет четкие обратные связи, как в примере в видео, а где-то - гораздо более сложное "горизонтальное" устройство. До конца ее никто не знает, известен коннектом только самых простых мозгов, типа червя C. elegans с его 302 нейронами, но там вообще нет места пластичности, эта сеть по сравнению с человеческим мозгом - как детская игрушка на рассыпухе по сравнению с процессором, она работает скорее по закону Ома, чем по принципам высшей нервной деятельности.
Поэтому респект за попытку, но копайте дальше. Почитайте про биологический нейрон поподробнее, например в классической книге "От нейрона к мозгу". Вам важно построить именно стабильную систему с обратными связями и торможением сигнала, для простейших задач вроде рефлекса избегания или мышечной реакции на сенсорный сигнал. Если при моделировании ваши нейроны окажутся legit, тогда уже можно баловаться со всякими слоями коры ГМ и когнитивными задачами.
TLDR: Ни пуха! Дело классное, но сложное!
Приятно видеть нейро-энтузиаста на Хабре! Интересно посмотреть, что будет дальше. Мой личный опыт в программировании настолько скромный, что неприлично называть его опытом. Но хочу высказаться по части нейробиологии.
Хоть я с некоторыми комментариями @Vsevo10d не вполне согласен, но он правилно заметил, что вам недостает более глубокого понимания нейробиологии. Некоторые подробности действительно можно опустить в зависимости от целей. Если вы хотите организовать максимально правдоподобную нейросеть, то это в действительности настолько сложно, что врядли получится сформулировать даже примерный ту-ду лист, чтобы это воплотить. Если хотите чуть усовершенствовать математические нейросети, приблизить их к реальным и сравнить эффективность, то ваша модель может занимать любое место между формализованной математической нейросетью и реальной. Будет ли между ними один контакт, сотни, или тысячи, будут ли у вас исключительно химические синапсы или с учетом электрических - вообще не критично. Модель по определению не может быть тождественна биологической сети со всей ее сложностью.
Общее замечание таково, что представленная вами абстракция в действительности очень далека от реальных сетей. Вы правы, когда предполагаете, что созданием модели реальных нейронов уже кто-то обеспокоился. Этим занимаются серьезные научные коллективы.
Еще одно общее замечание. У вас нет ни слова про пластичность, а это одна из наисущественнейших вещей в нейронных сетях. Гляньте про LTP, LTD, STD, STP, и тд. Мне кажется, вам зайдет эта теория. Считается, что именно нейропластичность является ключивым фактором в обучении, памяти и в целом функционировании нейросетей, мозга.
На будущее имейте ввиду, что не-нейрональные клетки, особенно астроциты, выполняют не только лишь поддерживающую функцию. Можете почитать про tripartite synapse. Еще в далеком 2016 находил статью, где математически сравнивали модель синапса с астроцитом и без. Астроцит существенно модулирует передачу сигнала между нейронами через, например, выделение глиотрансмиттеров или захватывая нейромедиаторы из межсинапса. На первых парах их действительно не стоит учитывать, но не стоит и полностью отказываться от их рассмотрения в дальнейшем на основании их поддерживающей функции.
Следующие связанные нейроны будут брать нт из synapse, а часть нт будет возвращена из synapse в accumulated. (Да, часть нт возвращается обратно в нейрон)
Эта логика пренципиально неверна, если я правильно уловил мысль. Я за всю свою многолетнюю практику ниразу не слышал, чтобы дендриты захватывали нейротрансмитеры (киньте ссылку кто-нибудь на статью, если такое бывает). НТ временно связывается с рецептором на дендритах, после чего диффундирует из синапса (spillover), либо поглащается назад пресинапсом, либо поглащается астрацитом и передается в пресинапс (ацетилхолин так деградирует, если не ошибаюсь). Может есть и другие варианты, но вряд ли среди них присутствует поглощение дендритом. Развивая данную логику, правильно ли я понимаю, будто вы считаете, что поглащенные дендритами нт транспортируются затем по аксону в синаптическую терминаль, в пресинапс? Если так, то это тоже не вполне верно. НТ синтезируются в синаптической терминали аксона, в пресинапсе. Только нейропептиды (небольшой подкласс нт) синтезируются в теле, затем перемещаются по аксону в терминаль.
А еще не очень понятно как вы оцениваете, что сеть работает. Вывод через принты говорит о том, что все циклы и блоки выполняются без ошибок, верно? Обычно выводят изменения потенциала, например, на одном из нейронов в зависитмости от поданных токов/напряжений или какой-нибудь другой график.
Есть чоткая книга по нейродинамике от пацанов из EPFL. Там, конечно, много матана с диффурами и интегралами, но без них, увы, мало что сделаешь. Книга довольна сложная, но в ней присутствуют упражнения на пайтоне, которые могут вас на какие-то мысли навести.
И действительно не понятно как у вас в сети разграничиваются функции возбуждающих/ингибирующих нейронов. Мало того, что они строго разграничены, как указал @Vsevo10d, так еще сущетсвуют разные их подтипы. Они и друг с другом находятся в очень не тривиальных отношениях. Гляньте тут на самые примитивные типы организации микросетей (Fig. 6). Или погуглите микроорганизацию коры, чтобы понимать важность хоть какой-нибудь типизации нейронов.
А вообще весь пост мне напомнил один интересный проект, в котором авторы пытаются реальные нейроны заставить работать как нейросети. Вот статья и их вебсайт. Даже API написали. Любопытное направление.
Согласен с приведенными оценками, только одно замечание методологического характера.
Есть чоткая книга по нейродинамике от пацанов из EPFL. Там, конечно, много матана с диффурами и интегралами, но без них, увы, мало что сделаешь.
Есть предел вычислений сложного оптимального поведения в изменчивой среде который можно произвести с помощью аналитических методов, как для отдельных нейронов, так и сетей из них. Эволюция реализовала это в относительно простых организмах в которых структура и функции нейронов и сетей из них полностью предопределены генетически. Они фактически не настраиваются, в действуют сразу после рождения. Однако для более сложного поведения в усложненной и изменчивой среде этот метод уже не работает эффективно, включая с энергетической точки зрения. Поэтому для более сложных организмов эволюция от "аналитических" методов перешла к приближенным, "аппроксимационным". Это потребовало развития функций памяти и обучения - настройки нейронов и сетей и их специализации. Что это означает с методологической точки зрения? Можно продолжать поиски точного, аналитического описания активности нейронов в стиле модели Хаксли и Ходжикина, и поиска моделей формальных нейронов на них, а также архитектур сетей обучаемых с помощью метода обратного распространения ошибки, но это в перспективе заведет в тупик. Эволюция этот путь уже отработала на относительно простых организмах, и даже похоже попробовала некий аналог обратного распространения (хотя его исследования еще продолжается, возможно это рудиментарные остатки механизма), но остановилась на ассоциативном, хеббовском обучении (STPD). Т.е. перешла, условно говоря, от аналитических методов вычисления поведения к приближенным, настраиваемым с помощью обучения. Поэтому актуальнее подходы с обучением даже к моделированию поведения на уровне отдельных нейронов. Ссылки на такие работы в коменте выше (еще тут как это может влиять на архитектуру (слоистость) сетей).
А вообще весь пост мне напомнил один интересный проект, в котором авторы пытаются реальные нейроны заставить работать как нейросети. Вот статья и их вебсайт. Даже API написали. Любопытное направление.
Работа в правильном направлении. Но уже есть немалый задел для биологически более правдоподобных импульсных сетей и нейромофных решениях. Возможно будущее за ними.
Для традиционных ИНС с учетом важности аппроксимационных возможностей моделей формальных нейронов и сетей, величайший конъюнктурщик всех времен и народов Макс Тегмарк;) проинтуичил, и развил новую архитектуру сетей KAN, которая дает такие возможности. Посмотрим как будет развиваться ситуация.
Я прошу прощения, но совершенно не понимаю сути замечания...
Эволюция реализовала это в относительно простых организмах в которых структура и функции нейронов и сетей из них полностью предопределены генетически.
Эволюция реализовала что? Предел вычислений? И что означает генетическая предопределенность фукции нейронов? Имеется ввиду отсутвтсие синаптической пластичности или что-то другое?
Можно продолжать поиски точного, аналитического описания активности нейронов в стиле модели Хаксли и Ходжикина, и поиска моделей формальных нейронов на них, а также архитектур сетей обучаемых с помощью метода обратного распространения ошибки, но это в перспективе заведет в тупик.
Почему это заведет втупик? То есть группы, которые этим занимаются, все делают зря? И что вообще подразумевается под этим тупиком? Если речь про невозможность 100% точного описания, то эта невозможность, опять же, заложена в определении и в самой идее понятия модели. Если тупик означает бесполезность, то не могу согласиться. Несомненно многое зависит от целей, но, в общем и целом, польза от такого рода моделирования будет, на мой взгляд.
Эволюция этот путь уже отработала на относительно простых организмах, и даже похоже попробовала некий аналог обратного распространения (хотя его исследования еще продолжается, возможно это рудиментарные остатки механизма), но остановилась на ассоциативном, хеббовском обучении (STPD).
Я не большой специалист в электрофизиологии, но экспериментальный опыт имеется. Разве обратное распространение ПД по аксону или дендриту не фундаментальное свойство нейронов? Как оно может быть рудиментом, даже в предположении? Есть нерйоны, которым это нейсвойственно? Я действительно не слышал о таком, потому и спрашиваю. Вы говорите "этот путь отработала..., но остановилась на ассоциативном, хеббовском обучении." То есть вы противопоставляете STPD "точному аналитическому описанию," о котором говорите в предыдущем предложении? Как эволиюция могла отработать подобное и почему оно противопставляется SPTD? Я не улавливаю связи между этими предложениями. В первом идет речь об моделировании некоторой части реального сложного процесса, а во втором о неком эмперическом факте. Или речь о методе обратного распространения ошибки? Если так, то как вообще это связано с эволюцией, опять же? Этот метод же некий способ формализации, созданный в первую очередь для искусственный нейросетей, верно?
Я совершенно не выкупаю, при чем тут эволюция. Я не эволюционный биолог, мало чего понимаю в ваших словах. Но согласно моим представлениям, специфика этой области заключается как раз в том, что очень мало можно сказать наверняка и уверенно. Это в целом характерно для науки, но для области эволюции характерно как не для какой другой. А вы так уверенно говорите, что эволюция пробовала это, делала так, но решила вот так. Я не могу
После прочтения вашего комментари, меня накрыли флешбеки (в основном приятные:) с лекций по матбиофизике. Вы случаем не из этой области? Если так, то мое непонимание более чем понятно. Я уже насктолько давно тусуюсь среди экспериментаторов, что не имею привычки рассуждать дальше эмпирически подтвержденных фактов. Хотя в теоретических областях, насколько я видел, требования к обоснованию идей и выводов гораздо более строгие чем у нас. А мне показалось, что у вас очень много довольно смелых утверждений. Но мне действительно сложно понять так ли это, поскольку есть ощущение, будто мы немножечко на разных языках разговариваем..
Я, кажется, понял-таки, но не уверен.
Вы говорите о том, что искуственные нейросети на основе аналитических моделей реальных нейросетей будут менее эффективны, чем нейросети, основанные на неких альтернативных подходах? Если так, то вплоне может быть, я тут совершенно ничего не понимаю. Просто подумал, что автору может быть интереснен учебник. Мне показалось, что он просто хочет реализовать реальную нейросеть без претензии на новое сверх-эффективное решение в области искусственных нейросетей.
Согласен с приведенными оценками. Одно замечание методологического характера.
Есть чоткая книга по нейродинамике от пацанов из EPFL. Там, конечно, много матана с диффурами и интегралами, но без них, увы, мало что сделаешь.
Есть предел вычислений сложного оптимального поведения в изменчивой среде, который можно произвести с помощью аналитических методов, как для отдельных нейронов, так и сетей из них. Эволюция реализовала это в относительно простых организмах в которых структура и функции нейронов и сетей из них полностью предопределены генетически. Они фактически не настраиваются, действуют сразу после рождения. Однако для более сложного поведения в усложненной и изменчивой среде этот метод уже не работает эффективно, включая с энергетической точки зрения. Поэтому для более сложных организмов эволюция от "аналитических" методов перешла к приближенным, "аппроксимационным". Это потребовало развития функций памяти и обучения - настройки нейронов и сетей и специализации нейронов. Что это означает с методологической точки зрения? Можно продолжать поиски точного, аналитического описания активности нейронов в стиле модели Хаксли и Ходжикина, и поиска моделей формальных нейронов на них, а также архитектур сетей обучаемых с помощью метода обратного распространения ошибки, но это в перспективе заведет в тупик. Эволюция этот путь уже отработала на относительно простых организмах, и даже похоже попробовала некий аналог обратного распространения (хотя его исследования еще продолжается, возможно это рудиментарные остатки механизма), но остановилась на ассоциативном, хеббовском обучении (STPD). Т.е. перешла, условно говоря, от аналитических методов вычисления поведения к приближенным, настраиваемым с помощью обучения. Поэтому актуальнее подходы с обучением даже к моделированию поведения на уровне отдельных нейронов. Ссылки на такие работы в коменте выше (еще тут как это может влиять на архитектуру (слоистость) сетей).
А вообще весь пост мне напомнил один интересный проект, в котором авторы пытаются реальные нейроны заставить работать как нейросети. Вот статья и их вебсайт. Даже API написали. Любопытное направление.
Работа в правильном направлении. Но уже имеется немалый задел для биологически более правдоподобных импульсных сетей и нейромофных решений. Возможно будущее за ними.
Для традиционных ИНС с учетом важности аппроксимационных возможностей моделей, величайший конъюнктурщик всех времен и народов Макс Тегмарк;) проинтуичил, и развил новую архитектуру сетей KAN, которая дает такие возможности. Посмотрим как ситуация будет развиваться.
Человеческий мозг на Python