Вы говорите о том, что искуственные нейросети на основе аналитических моделей реальных нейросетей будут менее эффективны, чем нейросети, основанные на неких альтернативных подходах? Если так, то вплоне может быть, я тут совершенно ничего не понимаю. Просто подумал, что автору может быть интереснен учебник. Мне показалось, что он просто хочет реализовать реальную нейросеть без претензии на новое сверх-эффективное решение в области искусственных нейросетей.
Я прошу прощения, но совершенно не понимаю сути замечания...
Эволюция реализовала это в относительно простых организмах в которых структура и функции нейронов и сетей из них полностью предопределены генетически.
Эволюция реализовала что? Предел вычислений? И что означает генетическая предопределенность фукции нейронов? Имеется ввиду отсутвтсие синаптической пластичности или что-то другое?
Можно продолжать поиски точного, аналитического описания активности нейронов в стиле модели Хаксли и Ходжикина, и поиска моделей формальных нейронов на них, а также архитектур сетей обучаемых с помощью метода обратного распространения ошибки, но это в перспективе заведет в тупик.
Почему это заведет втупик? То есть группы, которые этим занимаются, все делают зря? И что вообще подразумевается под этим тупиком? Если речь про невозможность 100% точного описания, то эта невозможность, опять же, заложена в определении и в самой идее понятия модели. Если тупик означает бесполезность, то не могу согласиться. Несомненно многое зависит от целей, но, в общем и целом, польза от такого рода моделирования будет, на мой взгляд.
Эволюция этот путь уже отработала на относительно простых организмах, и даже похоже попробовала некий аналог обратного распространения (хотя его исследования еще продолжается, возможно это рудиментарные остатки механизма), но остановилась на ассоциативном, хеббовском обучении (STPD).
Я не большой специалист в электрофизиологии, но экспериментальный опыт имеется. Разве обратное распространение ПД по аксону или дендриту не фундаментальное свойство нейронов? Как оно может быть рудиментом, даже в предположении? Есть нерйоны, которым это нейсвойственно? Я действительно не слышал о таком, потому и спрашиваю. Вы говорите "этот путь отработала..., но остановилась на ассоциативном, хеббовском обучении." То есть вы противопоставляете STPD "точному аналитическому описанию," о котором говорите в предыдущем предложении? Как эволиюция могла отработать подобное и почему оно противопставляется SPTD? Я не улавливаю связи между этими предложениями. В первом идет речь об моделировании некоторой части реального сложного процесса, а во втором о неком эмперическом факте. Или речь о методе обратного распространения ошибки? Если так, то как вообще это связано с эволюцией, опять же? Этот метод же некий способ формализации, созданный в первую очередь для искусственный нейросетей, верно?
Я совершенно не выкупаю, при чем тут эволюция. Я не эволюционный биолог, мало чего понимаю в ваших словах. Но согласно моим представлениям, специфика этой области заключается как раз в том, что очень мало можно сказать наверняка и уверенно. Это в целом характерно для науки, но для области эволюции характерно как не для какой другой. А вы так уверенно говорите, что эволюция пробовала это, делала так, но решила вот так. Я не могу
После прочтения вашего комментари, меня накрыли флешбеки (в основном приятные:) с лекций по матбиофизике. Вы случаем не из этой области? Если так, то мое непонимание более чем понятно. Я уже насктолько давно тусуюсь среди экспериментаторов, что не имею привычки рассуждать дальше эмпирически подтвержденных фактов. Хотя в теоретических областях, насколько я видел, требования к обоснованию идей и выводов гораздо более строгие чем у нас. А мне показалось, что у вас очень много довольно смелых утверждений. Но мне действительно сложно понять так ли это, поскольку есть ощущение, будто мы немножечко на разных языках разговариваем..
Приятно видеть нейро-энтузиаста на Хабре! Интересно посмотреть, что будет дальше. Мой личный опыт в программировании настолько скромный, что неприлично называть его опытом. Но хочу высказаться по части нейробиологии.
Хоть я с некоторыми комментариями @Vsevo10d не вполне согласен, но он правилно заметил, что вам недостает более глубокого понимания нейробиологии. Некоторые подробности действительно можно опустить в зависимости от целей. Если вы хотите организовать максимально правдоподобную нейросеть, то это в действительности настолько сложно, что врядли получится сформулировать даже примерный ту-ду лист, чтобы это воплотить. Если хотите чуть усовершенствовать математические нейросети, приблизить их к реальным и сравнить эффективность, то ваша модель может занимать любое место между формализованной математической нейросетью и реальной. Будет ли между ними один контакт, сотни, или тысячи, будут ли у вас исключительно химические синапсы или с учетом электрических - вообще не критично. Модель по определению не может быть тождественна биологической сети со всей ее сложностью.
Общее замечание таково, что представленная вами абстракция в действительности очень далека от реальных сетей. Вы правы, когда предполагаете, что созданием модели реальных нейронов уже кто-то обеспокоился. Этим занимаются серьезные научные коллективы.
Еще одно общее замечание. У вас нет ни слова про пластичность, а это одна из наисущественнейших вещей в нейронных сетях. Гляньте про LTP, LTD, STD, STP, и тд. Мне кажется, вам зайдет эта теория. Считается, что именно нейропластичность является ключивым фактором в обучении, памяти и в целом функционировании нейросетей, мозга.
На будущее имейте ввиду, что не-нейрональные клетки, особенно астроциты, выполняют не только лишь поддерживающую функцию. Можете почитать про tripartite synapse. Еще в далеком 2016 находил статью, где математически сравнивали модель синапса с астроцитом и без. Астроцит существенно модулирует передачу сигнала между нейронами через, например, выделение глиотрансмиттеров или захватывая нейромедиаторы из межсинапса. На первых парах их действительно не стоит учитывать, но не стоит и полностью отказываться от их рассмотрения в дальнейшем на основании их поддерживающей функции.
Следующие связанные нейроны будут брать нт из synapse, а часть нт будет возвращена из synapse в accumulated. (Да, часть нт возвращается обратно в нейрон)
Эта логика пренципиально неверна, если я правильно уловил мысль. Я за всю свою многолетнюю практику ниразу не слышал, чтобы дендриты захватывали нейротрансмитеры (киньте ссылку кто-нибудь на статью, если такое бывает). НТ временно связывается с рецептором на дендритах, после чего диффундирует из синапса (spillover), либо поглащается назад пресинапсом, либо поглащается астрацитом и передается в пресинапс (ацетилхолин так деградирует, если не ошибаюсь). Может есть и другие варианты, но вряд ли среди них присутствует поглощение дендритом. Развивая данную логику, правильно ли я понимаю, будто вы считаете, что поглащенные дендритами нт транспортируются затем по аксону в синаптическую терминаль, в пресинапс? Если так, то это тоже не вполне верно. НТ синтезируются в синаптической терминали аксона, в пресинапсе. Только нейропептиды (небольшой подкласс нт) синтезируются в теле, затем перемещаются по аксону в терминаль.
А еще не очень понятно как вы оцениваете, что сеть работает. Вывод через принты говорит о том, что все циклы и блоки выполняются без ошибок, верно? Обычно выводят изменения потенциала, например, на одном из нейронов в зависитмости от поданных токов/напряжений или какой-нибудь другой график.
Есть чоткая книга по нейродинамике от пацанов из EPFL. Там, конечно, много матана с диффурами и интегралами, но без них, увы, мало что сделаешь. Книга довольна сложная, но в ней присутствуют упражнения на пайтоне, которые могут вас на какие-то мысли навести.
И действительно не понятно как у вас в сети разграничиваются функции возбуждающих/ингибирующих нейронов. Мало того, что они строго разграничены, как указал @Vsevo10d, так еще сущетсвуют разные их подтипы. Они и друг с другом находятся в очень не тривиальных отношениях. Гляньте тут на самые примитивные типы организации микросетей (Fig. 6). Или погуглите микроорганизацию коры, чтобы понимать важность хоть какой-нибудь типизации нейронов.
А вообще весь пост мне напомнил один интересный проект, в котором авторы пытаются реальные нейроны заставить работать как нейросети. Вот статья и их вебсайт. Даже API написали. Любопытное направление.
Я, кажется, понял-таки, но не уверен.
Вы говорите о том, что искуственные нейросети на основе аналитических моделей реальных нейросетей будут менее эффективны, чем нейросети, основанные на неких альтернативных подходах? Если так, то вплоне может быть, я тут совершенно ничего не понимаю. Просто подумал, что автору может быть интереснен учебник. Мне показалось, что он просто хочет реализовать реальную нейросеть без претензии на новое сверх-эффективное решение в области искусственных нейросетей.
Я прошу прощения, но совершенно не понимаю сути замечания...
Эволюция реализовала что? Предел вычислений? И что означает генетическая предопределенность фукции нейронов? Имеется ввиду отсутвтсие синаптической пластичности или что-то другое?
Почему это заведет втупик? То есть группы, которые этим занимаются, все делают зря? И что вообще подразумевается под этим тупиком? Если речь про невозможность 100% точного описания, то эта невозможность, опять же, заложена в определении и в самой идее понятия модели. Если тупик означает бесполезность, то не могу согласиться. Несомненно многое зависит от целей, но, в общем и целом, польза от такого рода моделирования будет, на мой взгляд.
Я не большой специалист в электрофизиологии, но экспериментальный опыт имеется. Разве обратное распространение ПД по аксону или дендриту не фундаментальное свойство нейронов? Как оно может быть рудиментом, даже в предположении? Есть нерйоны, которым это нейсвойственно? Я действительно не слышал о таком, потому и спрашиваю. Вы говорите "этот путь отработала..., но остановилась на ассоциативном, хеббовском обучении." То есть вы противопоставляете STPD "точному аналитическому описанию," о котором говорите в предыдущем предложении? Как эволиюция могла отработать подобное и почему оно противопставляется SPTD? Я не улавливаю связи между этими предложениями. В первом идет речь об моделировании некоторой части реального сложного процесса, а во втором о неком эмперическом факте. Или речь о методе обратного распространения ошибки? Если так, то как вообще это связано с эволюцией, опять же? Этот метод же некий способ формализации, созданный в первую очередь для искусственный нейросетей, верно?
Я совершенно не выкупаю, при чем тут эволюция. Я не эволюционный биолог, мало чего понимаю в ваших словах. Но согласно моим представлениям, специфика этой области заключается как раз в том, что очень мало можно сказать наверняка и уверенно. Это в целом характерно для науки, но для области эволюции характерно как не для какой другой. А вы так уверенно говорите, что эволюция пробовала это, делала так, но решила вот так. Я не могу
После прочтения вашего комментари, меня накрыли флешбеки (в основном приятные:) с лекций по матбиофизике. Вы случаем не из этой области? Если так, то мое непонимание более чем понятно. Я уже насктолько давно тусуюсь среди экспериментаторов, что не имею привычки рассуждать дальше эмпирически подтвержденных фактов. Хотя в теоретических областях, насколько я видел, требования к обоснованию идей и выводов гораздо более строгие чем у нас. А мне показалось, что у вас очень много довольно смелых утверждений. Но мне действительно сложно понять так ли это, поскольку есть ощущение, будто мы немножечко на разных языках разговариваем..
TLDR: Ни пуха! Дело классное, но сложное!
Приятно видеть нейро-энтузиаста на Хабре! Интересно посмотреть, что будет дальше. Мой личный опыт в программировании настолько скромный, что неприлично называть его опытом. Но хочу высказаться по части нейробиологии.
Хоть я с некоторыми комментариями @Vsevo10d не вполне согласен, но он правилно заметил, что вам недостает более глубокого понимания нейробиологии. Некоторые подробности действительно можно опустить в зависимости от целей. Если вы хотите организовать максимально правдоподобную нейросеть, то это в действительности настолько сложно, что врядли получится сформулировать даже примерный ту-ду лист, чтобы это воплотить. Если хотите чуть усовершенствовать математические нейросети, приблизить их к реальным и сравнить эффективность, то ваша модель может занимать любое место между формализованной математической нейросетью и реальной. Будет ли между ними один контакт, сотни, или тысячи, будут ли у вас исключительно химические синапсы или с учетом электрических - вообще не критично. Модель по определению не может быть тождественна биологической сети со всей ее сложностью.
Общее замечание таково, что представленная вами абстракция в действительности очень далека от реальных сетей. Вы правы, когда предполагаете, что созданием модели реальных нейронов уже кто-то обеспокоился. Этим занимаются серьезные научные коллективы.
Еще одно общее замечание. У вас нет ни слова про пластичность, а это одна из наисущественнейших вещей в нейронных сетях. Гляньте про LTP, LTD, STD, STP, и тд. Мне кажется, вам зайдет эта теория. Считается, что именно нейропластичность является ключивым фактором в обучении, памяти и в целом функционировании нейросетей, мозга.
На будущее имейте ввиду, что не-нейрональные клетки, особенно астроциты, выполняют не только лишь поддерживающую функцию. Можете почитать про tripartite synapse. Еще в далеком 2016 находил статью, где математически сравнивали модель синапса с астроцитом и без. Астроцит существенно модулирует передачу сигнала между нейронами через, например, выделение глиотрансмиттеров или захватывая нейромедиаторы из межсинапса. На первых парах их действительно не стоит учитывать, но не стоит и полностью отказываться от их рассмотрения в дальнейшем на основании их поддерживающей функции.
Эта логика пренципиально неверна, если я правильно уловил мысль. Я за всю свою многолетнюю практику ниразу не слышал, чтобы дендриты захватывали нейротрансмитеры (киньте ссылку кто-нибудь на статью, если такое бывает). НТ временно связывается с рецептором на дендритах, после чего диффундирует из синапса (spillover), либо поглащается назад пресинапсом, либо поглащается астрацитом и передается в пресинапс (ацетилхолин так деградирует, если не ошибаюсь). Может есть и другие варианты, но вряд ли среди них присутствует поглощение дендритом. Развивая данную логику, правильно ли я понимаю, будто вы считаете, что поглащенные дендритами нт транспортируются затем по аксону в синаптическую терминаль, в пресинапс? Если так, то это тоже не вполне верно. НТ синтезируются в синаптической терминали аксона, в пресинапсе. Только нейропептиды (небольшой подкласс нт) синтезируются в теле, затем перемещаются по аксону в терминаль.
А еще не очень понятно как вы оцениваете, что сеть работает. Вывод через принты говорит о том, что все циклы и блоки выполняются без ошибок, верно? Обычно выводят изменения потенциала, например, на одном из нейронов в зависитмости от поданных токов/напряжений или какой-нибудь другой график.
Есть чоткая книга по нейродинамике от пацанов из EPFL. Там, конечно, много матана с диффурами и интегралами, но без них, увы, мало что сделаешь. Книга довольна сложная, но в ней присутствуют упражнения на пайтоне, которые могут вас на какие-то мысли навести.
И действительно не понятно как у вас в сети разграничиваются функции возбуждающих/ингибирующих нейронов. Мало того, что они строго разграничены, как указал @Vsevo10d, так еще сущетсвуют разные их подтипы. Они и друг с другом находятся в очень не тривиальных отношениях. Гляньте тут на самые примитивные типы организации микросетей (Fig. 6). Или погуглите микроорганизацию коры, чтобы понимать важность хоть какой-нибудь типизации нейронов.
А вообще весь пост мне напомнил один интересный проект, в котором авторы пытаются реальные нейроны заставить работать как нейросети. Вот статья и их вебсайт. Даже API написали. Любопытное направление.