Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 58
Мне кажется это тупиковый путь моделировать слепо физиологию, в надежде что что-нибудь да получится. Из-за постоянной неполноты знаний, и дичайшей сложности процессов скорее всего никогда и не получится создать что-то работающее. За статью спасибо, почитать было интересно.
Что значит «не получится создать что-то работающее»?
Искуственные нейронные сети очень даже работают
Искуственные нейронные сети очень даже работают
Не в курсе данных наработок, но интеллект мухи уже достигли?
Работают то они работают — только ничего из того, чего нельзя было бы сделать с помощью других математических/статистических методов — они не делают.
ztarlitz видимо имел виду что не получиться создать что то, действительно имитирующее человеческий интеллект.
ztarlitz видимо имел виду что не получиться создать что то, действительно имитирующее человеческий интеллект.
Статистические методы не умеют обучаться.
Мы просто применяем эти сети не по назначению.
Мы просто применяем эти сети не по назначению.
Есть задачи, которые даже сейчас гораздо эффективнее решать с помощью нейронных сетей. При этом иногда для решения некоторой задачи в случае традиционных методов нужно разрабатывать соврешенно новый аппарат и систему.
При этом, есть некоторые задачи, например, широкое поведение в реальной среде, которые на данный момент с моей точки зрения могут быть решены только нейронными сетями. Именно поэтому не надо стоять на месте, а необходимо продолжать исследования дальше. Я про это собственно и говорю.=)
При этом, есть некоторые задачи, например, широкое поведение в реальной среде, которые на данный момент с моей точки зрения могут быть решены только нейронными сетями. Именно поэтому не надо стоять на месте, а необходимо продолжать исследования дальше. Я про это собственно и говорю.=)
Согласен.
Не стоит возлагать на нейронные сети слишком много надежды, пока мы лишь копируем природные процессы, не задумываясь о причине и источнике их происхождения.
Или мы думаем, что ветер дует из-за того, что деревья качаются ))
Не стоит возлагать на нейронные сети слишком много надежды, пока мы лишь копируем природные процессы, не задумываясь о причине и источнике их происхождения.
Или мы думаем, что ветер дует из-за того, что деревья качаются ))
Ну кроме прикладных задач, перед нейронными сетями стоят и исследовательские задачи. Нейрохирургам тоже нужны ИНС и не для решения математических задач.
Как раз моделирование, о котором я говорю в своих постах не является «слепо физиологическим копированием».
Безусловно наши знания неполны, насколько были неполны знания физиков лет 200 назад. Именно поэтому я сравниваю теоретическую нейробиологию с теоретической физикой пару веков назад.=)
При этом моделирование — это с одной стороны путь проверки существующих гипотез, а с другой стороны способ сформулировать новые эксперименты в области нейробиологии, а также увидеть некоторые закономерности, которые в реальности увидеть либо затруднительно, либо вообще невозможно (например многое связанное с эволюцией).
Безусловно наши знания неполны, насколько были неполны знания физиков лет 200 назад. Именно поэтому я сравниваю теоретическую нейробиологию с теоретической физикой пару веков назад.=)
При этом моделирование — это с одной стороны путь проверки существующих гипотез, а с другой стороны способ сформулировать новые эксперименты в области нейробиологии, а также увидеть некоторые закономерности, которые в реальности увидеть либо затруднительно, либо вообще невозможно (например многое связанное с эволюцией).
> When an axon of cell A is near enough
> Если аксон клетки А находится достаточно близко
Здесь речь не о расстоянии, а о вероятности: «Если аксон клетки А практически готов возбудить клетку Б...»
> Если аксон клетки А находится достаточно близко
Здесь речь не о расстоянии, а о вероятности: «Если аксон клетки А практически готов возбудить клетку Б...»
При таком переводе мне становится непонятна связь начала фразы с продолжением, честно говоря.
Значит, вы вообще ее не понимаете.
> На конце аксона находится синаптическое окончание — концевой участок терминали, контактирующий с клеткой-мишенью. Вместе с постсинаптической мембраной клетки-мишени синаптическое окончание образует синапс. Через синапсы передаётся возбуждение.
Таким образом, передача импульса возможна только в том случае, если аксон одного нейрона прикреплен к другому нейрону (или его дендриту). Нет контакта — нет связи.
Если аксон бы аксон находился близко к нейрону, но не контактировал с ним, передача возбуждения была бы невозможна. И расстояние значения не имеет.
Ваше предположение не было бы столь бессмысленно, если бы речь шла о формировании ( ru.wikipedia.org/wiki/Аксональный_поиск_пути ) нейронной сети, но речь в ней идет (по крайней мере, в начале; осилить целиком этот текст-ни-о-чем я не смог) об изменении приоритетов связей в изначально сформированной сети.
> На конце аксона находится синаптическое окончание — концевой участок терминали, контактирующий с клеткой-мишенью. Вместе с постсинаптической мембраной клетки-мишени синаптическое окончание образует синапс. Через синапсы передаётся возбуждение.
Таким образом, передача импульса возможна только в том случае, если аксон одного нейрона прикреплен к другому нейрону (или его дендриту). Нет контакта — нет связи.
Если аксон бы аксон находился близко к нейрону, но не контактировал с ним, передача возбуждения была бы невозможна. И расстояние значения не имеет.
Ваше предположение не было бы столь бессмысленно, если бы речь шла о формировании ( ru.wikipedia.org/wiki/Аксональный_поиск_пути ) нейронной сети, но речь в ней идет (по крайней мере, в начале; осилить целиком этот текст-ни-о-чем я не смог) об изменении приоритетов связей в изначально сформированной сети.
Как-то Вы сразу без разведки и грубо.
Я думаю, что про устройство головного мозга я знаю больше Вас, при всем уважении.
Передача сигнала возможна и без непосредственного синаптического контакта, однако это не такое частое явление безусловно. Но речь о другом.
Я не понимаю смысла фразы — «Если аксон клетки А практически готов возбудить клетку Б...». Что значит «практически готов возбудить»?
А вот смысл фразы «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B» как раз и заключается в том, что есть синаптический контакт.
Формирование синапсов не в процессе развития, а уже во взрослом мозге на данный момент является предметом большого спора.
А вот оценить насколько это все бессмысленно или «ни-о-чем» я боюсь что Вы можете, только если Вы специалист в области нейробиологии или ИИ.
Я думаю, что про устройство головного мозга я знаю больше Вас, при всем уважении.
Передача сигнала возможна и без непосредственного синаптического контакта, однако это не такое частое явление безусловно. Но речь о другом.
Я не понимаю смысла фразы — «Если аксон клетки А практически готов возбудить клетку Б...». Что значит «практически готов возбудить»?
А вот смысл фразы «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B» как раз и заключается в том, что есть синаптический контакт.
Формирование синапсов не в процессе развития, а уже во взрослом мозге на данный момент является предметом большого спора.
А вот оценить насколько это все бессмысленно или «ни-о-чем» я боюсь что Вы можете, только если Вы специалист в области нейробиологии или ИИ.
Давайте попробуем от обратного.
Если клетка А соединена с клеткой Б аксоном, то расстояние между ними значения не имеет, поскольку сигнал проходит в любом случае.
Если же клетки не соединены, то сигнал не проходит и никогда проходить не будет, какое бы малое расстояние между ними ни было. Значит, расстояние в этом случае тоже значения иметь не может.
Какой тогда смысл оценивать растояние?
Если клетка А соединена с клеткой Б аксоном, то расстояние между ними значения не имеет, поскольку сигнал проходит в любом случае.
Если же клетки не соединены, то сигнал не проходит и никогда проходить не будет, какое бы малое расстояние между ними ни было. Значит, расстояние в этом случае тоже значения иметь не может.
Какой тогда смысл оценивать растояние?
В данной формулировке имеется ввиду безусловно окончание аксона, где собственно и происходит синаптический контакт с дендритом пост-синаптической клетки. Поэтому расстояние имеет значение.
Кроме этого, просто для справки, повторяю, что то, что вы сейчас описываете называется химическим синапсов (наиболее распространен). При этом существуют другие виды синаптической связи, которые не всегда подразумевают контакт аксона с дендритом.
Кроме этого, просто для справки, повторяю, что то, что вы сейчас описываете называется химическим синапсов (наиболее распространен). При этом существуют другие виды синаптической связи, которые не всегда подразумевают контакт аксона с дендритом.
Поймал себя на мысли что прочитал «Правило Хабра»… спасибо за статью.
Каково ваше мнение на счет обратного распространения ошибки, неужели этот метод безнадежно устаревает?
По поводу еще нераскрытой системной составляющей думаю, что пока мы не признаем существование разума как верховного элемента сознания, так и будем играть в бирюльки с нейронами.
По поводу еще нераскрытой системной составляющей думаю, что пока мы не признаем существование разума как верховного элемента сознания, так и будем играть в бирюльки с нейронами.
Что вы понимаете под «разум как верховный элемент сознания»? Скажем, в компьютерном ЦПУ что является «верховным элементом сознания компьютера» — АЛУ, генератор тактов, регистры или дешифратор (контроллер) доступа к памяти? Понятное дело, что с одним лишь знанием, как работают примитивные вентили, цельный компьютер не построишь — точно также и с живым организмом.
К тому же, до сих пор не очень изучены и механические составляющие нейросети: как к нейросети подключаются новые, ранее не подключенные, нейроны, или, например, по какому принципу они механически придвигаются к нейросети ( www.membrana.ru/lenta/?5520 ).
К тому же, до сих пор не очень изучены и механические составляющие нейросети: как к нейросети подключаются новые, ранее не подключенные, нейроны, или, например, по какому принципу они механически придвигаются к нейросети ( www.membrana.ru/lenta/?5520 ).
Если во втором абзаце вы говорите исключительно про нейрогенез, то я на вашем месте не так бы беспокоился. Нейрогенез и миграция нейронов настолько незначительные явления (в масштабах всего мозга), что они точно не могут служить основным принципом обучения.
может быть и так, науке известны случаи когда удаление определенной части мозга давали эффект, что человек не мог запомнить что с ним происходило вчера, и каждый день просыпался с чувством, что это первый день после операции. Но один новый нейрон это около тысячи синапсов, первичное накопление инфы может и не происходит на новых нейронах в мозге, но записывать как помне больше некуда, кеш переполнится.
Болезнь, которую Вы сейчас описали называется антероградной амнезией и к нейрогенезу не имеет отношение.
Случай, который Вы описали — это скорее всего случай с пациентом HM, которому, чтобы смягчить эпилепсию, были удалены обе височные доли (и еще кусок гиппокампа и миндалины впридачу).
При этом забывание случается не только из-за сна, но и вообще спустя 5 минут или час — есть различные случаи. В основном антероградную амнезию на данный момент связывают с повреждением гиппокампа, но видимо существуют разные варианты. Основная причина этого заболевание — нарушение и невозможность консолидации памяти. Причем в подавляющем большинстве случаев это относится к так называемой декларативной памяти, то есть такой за которую вы можете отчитаться. К процедурной памяти это не относится и вы можете например спокойно учиться кататься на велосипеде или рисовать что-то.
Вопрос про «куда девать память» действительно очень сложный, но по любому за счет нейрогенеза он полностью не решается. Сейчас существуют разные теории. Однако, уже становится понятно, что память — это не только статика (параметры системы), но и динамика.
Случай, который Вы описали — это скорее всего случай с пациентом HM, которому, чтобы смягчить эпилепсию, были удалены обе височные доли (и еще кусок гиппокампа и миндалины впридачу).
При этом забывание случается не только из-за сна, но и вообще спустя 5 минут или час — есть различные случаи. В основном антероградную амнезию на данный момент связывают с повреждением гиппокампа, но видимо существуют разные варианты. Основная причина этого заболевание — нарушение и невозможность консолидации памяти. Причем в подавляющем большинстве случаев это относится к так называемой декларативной памяти, то есть такой за которую вы можете отчитаться. К процедурной памяти это не относится и вы можете например спокойно учиться кататься на велосипеде или рисовать что-то.
Вопрос про «куда девать память» действительно очень сложный, но по любому за счет нейрогенеза он полностью не решается. Сейчас существуют разные теории. Однако, уже становится понятно, что память — это не только статика (параметры системы), но и динамика.
То есть человек потерял способность запоминать знания, получаемые через преобретенный язык общения, а то что он запоминает на языке тела спокойно запоминается? Я как бы всеравно останусь на стороне, что долгосрочное запоминание идет через нейрогенез и увеличение связей. Тренируемые навыки уплотняют отделы мозга нейронами и новыми связями, которые за это отвечают. Но хотелось бы услышать хотя бы принципы других теорий.
Понимаете, тут дело в том, что Вы безусловно можете остаться на любой позиции=) И на той — что место под обучение обеспечивается нейрогенезом. Но это не подтверждается (и даже опровергается) экспериментальными данными. При что ни говори, но это было бы слишком просто, если бы обучение обеспечивалось именно нейрогенезом.
Целостных теорий на данный момент очень мало. Еще меньше тех, которые хоть немного адекватные.
А в основном есть не теории, а различные идеи. Большинство их них решают проблему обучения и хранения памяти, за счет динамики — пытаются увязать различные ритмы в мозге или же еще на более низком уровне в рамках отдельных групп нейронов. С точки зрения запоминания — все во многом сходятся на специализации отдельных нейронов, но так как их не бесконечное кол-во, то соответственно ищут теоретические выходы и из этой проблемы.
Насчет процедурной и декларативной памяти. На сколько мы сейчас понимаем — за них отвечают два разных механизма. И декларативная память — это даже не то что приобретается через речь, но и ваша память о каких-то событиях и так далее.
Целостных теорий на данный момент очень мало. Еще меньше тех, которые хоть немного адекватные.
А в основном есть не теории, а различные идеи. Большинство их них решают проблему обучения и хранения памяти, за счет динамики — пытаются увязать различные ритмы в мозге или же еще на более низком уровне в рамках отдельных групп нейронов. С точки зрения запоминания — все во многом сходятся на специализации отдельных нейронов, но так как их не бесконечное кол-во, то соответственно ищут теоретические выходы и из этой проблемы.
Насчет процедурной и декларативной памяти. На сколько мы сейчас понимаем — за них отвечают два разных механизма. И декларативная память — это даже не то что приобретается через речь, но и ваша память о каких-то событиях и так далее.
Т.е. уже при рождении для любой пары нейронов A, B существует путь между ними? А два ранее не связанных нейрона могут в процессе жизни образовывать синапс?
А по нейрогенезу — я так понимаю, что в топике обязательность перезаписывания нейросети Дарвина при изменении входных условий обуславливается конечностью использованного множества нейронов? Или я что-то в этом объяснении не понял(?)…
А по нейрогенезу — я так понимаю, что в топике обязательность перезаписывания нейросети Дарвина при изменении входных условий обуславливается конечностью использованного множества нейронов? Или я что-то в этом объяснении не понял(?)…
Если вы имеете ввиду реальный мозг, то там конечно не все нейроны связаны друг с другом. Могут ли два несвязанных нейрона в процессе жизни (отдельно отмечаю, что не в процессе развития) образовать синаптическую связь — большой вопрос, который как раз сейчас широко обсуждается в мире.
С точки зрения человека непосвященного, ответить на этот вопрос — легче легкого. Просто надо пронаблюдать за мозгом мыши например в процессе обучения в течение всей жизни. Однако, сейчас есть огромные технологические проблемы с реализацией такого решения.
Да, именно так. Вы все правильно поняли — так как обучение происходит на тех же самых синапсах, то в простой постановке правила обучения Хебба, мы неизбежно приходим к перезаписи уже приобретенных знаний.
Однако, как я уже писал выше — нейрогенез не решает этой проблемы (в реальном мозге), так как он слишком незначителен в масштабах всего мозга.
Как решить проблему обучения тогда спросите Вы? Готового ответа на этот вопрос у меня нет. Какие-то мысли описаны в конце статьи.
С точки зрения человека непосвященного, ответить на этот вопрос — легче легкого. Просто надо пронаблюдать за мозгом мыши например в процессе обучения в течение всей жизни. Однако, сейчас есть огромные технологические проблемы с реализацией такого решения.
Да, именно так. Вы все правильно поняли — так как обучение происходит на тех же самых синапсах, то в простой постановке правила обучения Хебба, мы неизбежно приходим к перезаписи уже приобретенных знаний.
Однако, как я уже писал выше — нейрогенез не решает этой проблемы (в реальном мозге), так как он слишком незначителен в масштабах всего мозга.
Как решить проблему обучения тогда спросите Вы? Готового ответа на этот вопрос у меня нет. Какие-то мысли описаны в конце статьи.
Просто я к тому, что ограничение конечности множества нейронов не такое сильное. Если нейронов взять очень много (например, N*1000, где N — размер нейросети при обучении лабиринту с учителем), то второе обучение, возможно, затронет (в бОльшей степени) другое подмножество нейронов, чем в первом — т.е. первое сразу не перезатрётся.
Но вопрос того, почему мышь _сначала_ лезет по второму маршруту, а _затем_ лезет по первому, — не решается простой нейросетью от стимулов к моторике. Тут ещё нужен аппарат, который в электронном компьютере реализован генератором тактов, памятью и системой её адресации — т.е. аппарат, который позволит сохранять в [кратковременную] память робота результаты недавних экспериментов.
А это значит, что в нейросети ещё перед обучением первому лабиринту должна быть устоявшаяся схема (подсеть) для этого.
Кстати, ещё чайнический вопрос: а на нейросетях (настоящих крысиных и эмулированных) уже делали мультивибраторы?
Но вопрос того, почему мышь _сначала_ лезет по второму маршруту, а _затем_ лезет по первому, — не решается простой нейросетью от стимулов к моторике. Тут ещё нужен аппарат, который в электронном компьютере реализован генератором тактов, памятью и системой её адресации — т.е. аппарат, который позволит сохранять в [кратковременную] память робота результаты недавних экспериментов.
А это значит, что в нейросети ещё перед обучением первому лабиринту должна быть устоявшаяся схема (подсеть) для этого.
Кстати, ещё чайнический вопрос: а на нейросетях (настоящих крысиных и эмулированных) уже делали мультивибраторы?
По поводу еще нераскрытой системной составляющей думаю, что пока мы не признаем существование разума как верховного элемента сознания, так и будем играть в бирюльки с нейронами.
Вот в том и проблема науки об ИИ в ее современном состоянии. Сказали вы хорошо — только вот ни что такое «разум», ни что такое «сознание» — мы еще не знаем.
Метод обратного распространения ошибки устарел еще больше чем вы думаете.=) Даже в том смысле, что на его основе сделано уже много гораздо более эффективных методов, например наиболее популярный на сегодняшний день delta-bar-delta (если читаете статью про некоторое применение нейронных сетей и там не указан обучающий алгоритм, то будьте уверены, что авторы использовали именно его=).
Устарел он еще и потому, что это обучение с учителем. Даже не говоря про его биологическую неадекватность, он и с технической точки зрения очень ограничен. Вот вы обучили нейронную сеть, сделали там какой-нибудь нейрочип и она где-то там функционирует. Возможностей дообучения никаких нет, так как без самого алгоритма нейросеть не может обучаться в процессе функционирования.
Последняя фраза какая-то слишком громкая и мне непонятен ее смысл, честно сказать. Что вы имеете ввиду по словом «разум»? Но даже более интересно, что значит «признать существование разума как верховного элемента сознания»?
И что за игры в бирюльки с нейронами вы имеете ввиду?
Устарел он еще и потому, что это обучение с учителем. Даже не говоря про его биологическую неадекватность, он и с технической точки зрения очень ограничен. Вот вы обучили нейронную сеть, сделали там какой-нибудь нейрочип и она где-то там функционирует. Возможностей дообучения никаких нет, так как без самого алгоритма нейросеть не может обучаться в процессе функционирования.
Последняя фраза какая-то слишком громкая и мне непонятен ее смысл, честно сказать. Что вы имеете ввиду по словом «разум»? Но даже более интересно, что значит «признать существование разума как верховного элемента сознания»?
И что за игры в бирюльки с нейронами вы имеете ввиду?
Опасаясь возможности холивара, не буду высказываться по поводу разума, сознания, души, ибо не знаю верующий вы или нет.
Хотел лишь акцентировать внимание на том, что не стоит ждать от нейросети размышлений на тему поэзии ))
Хотел лишь акцентировать внимание на том, что не стоит ждать от нейросети размышлений на тему поэзии ))
Я не думаю, что стоит чего-либо опасаться, ибо культурные люди могут аргументированно обсудить любую тему.=)
Я верующий, но с другой стороны я еще и ученый. А это означает, что я считаю, что все проявления нашего разума и сознания, которые мы видим рождаются в рамках метаболических процессов, происходящих в мозге.
При этом безусловно от сегодняшних нейронных сетей поэзии ожидать не приходится, однако я думаю, что и это реально в теории. Философ Давид Израилевич Дубровский, изучающий феномен сознания, очень много высказывался в своих трудах по этому поводу.
Я верующий, но с другой стороны я еще и ученый. А это означает, что я считаю, что все проявления нашего разума и сознания, которые мы видим рождаются в рамках метаболических процессов, происходящих в мозге.
При этом безусловно от сегодняшних нейронных сетей поэзии ожидать не приходится, однако я думаю, что и это реально в теории. Философ Давид Израилевич Дубровский, изучающий феномен сознания, очень много высказывался в своих трудах по этому поводу.
>что изменение синаптической проводимости безусловно является одним из основных факторов обеспечивающих эффективное обучение
Если не ошибаюсь, препарат фенотропил как раз на увеличение проводимости клеток влияет, это всё из одной оперы?
Если не ошибаюсь, препарат фенотропил как раз на увеличение проводимости клеток влияет, это всё из одной оперы?
… Поэтому о кООрдинальном изменении положения говорить не приходится....
кардинальном
кардинальном
Например, Википедия дает нам даже два правила Хебба
Посмотрел у Хайкина — он тоже дает 2 правила Хебба, но формулирует их по другому (и видимо более корректно):
1. Если два нейрона по обе стороны синапса активизируются одновременно, то прочность этого соединения возрастает.
2. Если два два нейрона по обе стороны синапса активизируются асинхронно, то такой синапс ослабляется или вообще отмирает.
Да, безусловно эта формулировка более точна, так как она выражает именно природу самообучения.
Хайкин кстати действительно один их лучших учебников по нейронным сетям, который я видел. Многим его рекомендую, когда меня спрашивают.
Хайкин кстати действительно один их лучших учебников по нейронным сетям, который я видел. Многим его рекомендую, когда меня спрашивают.
Потрясающе. Нашел у Вас в записях топик про гоместатическое устройство Хабра. Буквально в прошлом посте писал про такую систему. Какое совпадение.=)
> «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в ее возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В»
Ну то есть если проще, то «Чем чаще A проводит сигналы к B, тем более весомыми делать эти сигналы от A к B.»
А что если обобщить и развить идею так: «Пусть A проводит сигналы к B, C, D и др. Когда проходит сигнал от A к B, вес связи A-B должен увеличиваться, а веса связей A-C, A-D и др. должны уменьшаться.»
Тогда мы получаем обучаемую систему с памятью. Так?
Спасибо за тему ))
Ну то есть если проще, то «Чем чаще A проводит сигналы к B, тем более весомыми делать эти сигналы от A к B.»
А что если обобщить и развить идею так: «Пусть A проводит сигналы к B, C, D и др. Когда проходит сигнал от A к B, вес связи A-B должен увеличиваться, а веса связей A-C, A-D и др. должны уменьшаться.»
Тогда мы получаем обучаемую систему с памятью. Так?
Спасибо за тему ))
Не очень понимаю почему, когда один синапс подкрепляется, то остальные должны уменьшаться? Просто я этого не понимаю даже с точки зрения полезности для модели, честно говоря.=)
А с точки зрения реального мозга, то исследования доказывают, что правило Хебба действительно есть, но только для двух отдельных нейронов. Более сложных процессов мы пока не можем выделить.
А с точки зрения реального мозга, то исследования доказывают, что правило Хебба действительно есть, но только для двух отдельных нейронов. Более сложных процессов мы пока не можем выделить.
Потому что реальный мир не статичен, и если сейчас важно одно поведение, то со временем может быть актуально другое. Модель должна предусматривать возможность исправлять «ошибки» обучения. Без такой оговорки мы получаем систему, в которой можно только «накачивать» веса, но не ослаблять/корректировать их. С дополнением об ослаблении неиспользуемых соседей можно обучать сеть методом генетического алгоритма с перебором путей следования сигнала по сети: 1) определим, что нейрон принимает все входы, но даёт сигнал только на один выход, тогда мы можем создать множество вариантов маршрута сигнала в зависимости от того, какой выход был выбран для каждого нейрона; 2) генерим множество вариантов маршрутов прохождения сигнала по сети; 3) отбираем те варианты, который дали максимум целевой функции; 4) корректируем веса согласно правилу: на маршруте веса поднимаем, «обделённым» веткам веса снижаем; 5) повторяем, пока не получим долстаточно стабильный выход — сеть обучена.
Я дилетант в теме, хотя на 2-м курсе писал курсовик по нейронным сетям, а на 3-м решал задачу коммивояжора с помощью генетического алгоритма ))
Я дилетант в теме, хотя на 2-м курсе писал курсовик по нейронным сетям, а на 3-м решал задачу коммивояжора с помощью генетического алгоритма ))
Я бы вас предостерег от сваливания в одну кучу обучения в течение жизни и генетических алгоритмов. Это две совершенно разные вещи.
Тот алгоритм обучения, который вы описали сейчас (1) — 5)) работает только в случае предварительного обучения, потому что необходим кто-то кто это должен все делать. Тут нет и намека на самообучение на основе самоорганизации нейронов. А это проблема.
Во-вторых стабильный вход — это что такое? Получается, что ваша нейросеть будет стабильно решать одну задачу. Для такого рода специализации существуют экспертные системы, например. Основная перспектива нейросетей — это то, что они смогут быть успешны одновременно в разных задачах в реальном мире.
А насчет ослабления связей. Вот вы подкрепляете одну связь и ослабляете другую. Мне сейчас сложно вдаваться в математические подробности почему это нехорошо, но я попробую объяснить кратко.
Для каждого нейрона — сигналы, получаемые по связям — это некоторый паттерн микроситуации. Допустим есть какая-то ситуация, в результате которой мы подкрепляем одну связь. Однако, другие связи могут просто отвечать за другие паттерны микроситуаций, а не быть «ошибками» обучения. Таким образом, ослабив их вы вполне вероятно лишите возможности ваш нейрон распознавать некоторые ситуации, которые были в прошлом.
И вообще вся статья была собственно направлена на то, чтобы каждый читающий увидел недостатки использования одного лишь метода коррекции весовых коэффициентов.=)
Тот алгоритм обучения, который вы описали сейчас (1) — 5)) работает только в случае предварительного обучения, потому что необходим кто-то кто это должен все делать. Тут нет и намека на самообучение на основе самоорганизации нейронов. А это проблема.
Во-вторых стабильный вход — это что такое? Получается, что ваша нейросеть будет стабильно решать одну задачу. Для такого рода специализации существуют экспертные системы, например. Основная перспектива нейросетей — это то, что они смогут быть успешны одновременно в разных задачах в реальном мире.
А насчет ослабления связей. Вот вы подкрепляете одну связь и ослабляете другую. Мне сейчас сложно вдаваться в математические подробности почему это нехорошо, но я попробую объяснить кратко.
Для каждого нейрона — сигналы, получаемые по связям — это некоторый паттерн микроситуации. Допустим есть какая-то ситуация, в результате которой мы подкрепляем одну связь. Однако, другие связи могут просто отвечать за другие паттерны микроситуаций, а не быть «ошибками» обучения. Таким образом, ослабив их вы вполне вероятно лишите возможности ваш нейрон распознавать некоторые ситуации, которые были в прошлом.
И вообще вся статья была собственно направлена на то, чтобы каждый читающий увидел недостатки использования одного лишь метода коррекции весовых коэффициентов.=)
Спасибо за подробный комментарий, идею я уловил. Хотя мне было бы интересно как-нибудь на досуге проверить свой алгоритм в деле. Но я согласен, что на первый взгляд он заточен под обучение одной конкретной ситуации. Хотя, видимо, мы также говорим о разных моделях самих нейронов. Ну да ладно, спасибо за возможность поразмышлять на тему ))
автор, а что, действительно до сих пор нет внятных статмоделей (не хочу писать «нейронные сети»), успешно и эффективно апеллирующих к таким сущностям как пост- и пресинапс?
Извините, но видимо я не понял вопроса.
Вы имеете ввиду конкретное моделирование процессов происходящих в синаптической щели?
Вы имеете ввиду конкретное моделирование процессов происходящих в синаптической щели?
нет-нет. я имею в виду нейронные сети в которых явно отражены те же принципы активации, которые есть между пре- и пост-синапсом.
Хм.
Тут есть две проблемы. Первая — это черезчур низкий уровень для современных модель, на такой уровень мы пока не готовы опускаться. Хотя я уверен, что есть какие-то исследования по этому поводу.
Вторая проблема заключается в том, что экспериментальные данные по функциям пре- и постсинапса на данный момент противоречат друг другу, каждый месяц буквально появляются новые данные, которые противоречат предыдущим. Это нормальный процесс, он когда-нибудь стабилизируется, но для этого надо время.
Тут есть две проблемы. Первая — это черезчур низкий уровень для современных модель, на такой уровень мы пока не готовы опускаться. Хотя я уверен, что есть какие-то исследования по этому поводу.
Вторая проблема заключается в том, что экспериментальные данные по функциям пре- и постсинапса на данный момент противоречат друг другу, каждый месяц буквально появляются новые данные, которые противоречат предыдущим. Это нормальный процесс, он когда-нибудь стабилизируется, но для этого надо время.
Согласен с выводом автора в конце статьи. Постулат Хебба достаточно точно описывает процессы внутри маленького участка нейросети, если рассматривать его в отрыве от всего мозга. Но строить модель обучения, которая будет, например, решать лабиринт Морриса, только на этом постулате, нельзя. Это будет сложная система из модулей, каждый из которых решает свои задачи.
И вполне возможно, что какой-то из модулей работает контроллером и отвечает за переобучение системы, добавление знаний без потери старых и т.д.
Если провести аналогию — модули памяти ПК не могут работать без контрллера памяти, процессора и т.д. И хотя они все состоят из одних и тех же кирпичиков — транзисторов, системные функции совершенно разные.
И вполне возможно, что какой-то из модулей работает контроллером и отвечает за переобучение системы, добавление знаний без потери старых и т.д.
Если провести аналогию — модули памяти ПК не могут работать без контрллера памяти, процессора и т.д. И хотя они все состоят из одних и тех же кирпичиков — транзисторов, системные функции совершенно разные.
Вот про сложную «систему из модулей, каждый из которых решает свои задачи» я был бы поаккуратнее.
Аналогия ПК с реальным мозгом уже давно теряет свою актуальность и популярность, потому что все нагляднее видно, что мозг не является такой системой из модулей.
Аналогия ПК с реальным мозгом уже давно теряет свою актуальность и популярность, потому что все нагляднее видно, что мозг не является такой системой из модулей.
Даже при поверхностном эмпирическом подходе можно выделить различные функциональные молули мозга — генетическая память, долговременная память, кратковременная память, условные и безусловные рефлексы, области распознавания разнообразных сигналов, генераторы автоматической двигательной активности и т.д. Логично предположить, что разные фукнции выполняются разными структурами, так чем это отличается от модулей?
Ещё такой момент: нужно достаточно четко разделять выстраивание функциональной нейросети и накопление информации. Насекомое рождается с уже практически полностью сформированной нейросетью, которая вполне успешно решает все требующиеся для его существованя задачи. Никакого обучения нет, и оно практически невозможно. Чем сложнее существо, тем больше вероятность, что оно сможет научиться чему-то новому. Мне это говорит о том, что чем проще нейросеть, тем менее она способна к обучению в режиме реального времени без внешнего достаточно сложного контроля (только путм эволюции, но это немного другой процесс). Максимум, что можно из нее извлечь — функция памяти. Поэтому и приходит мысль о модульной структуре, контроллерах и тому подобном.
Ещё такой момент: нужно достаточно четко разделять выстраивание функциональной нейросети и накопление информации. Насекомое рождается с уже практически полностью сформированной нейросетью, которая вполне успешно решает все требующиеся для его существованя задачи. Никакого обучения нет, и оно практически невозможно. Чем сложнее существо, тем больше вероятность, что оно сможет научиться чему-то новому. Мне это говорит о том, что чем проще нейросеть, тем менее она способна к обучению в режиме реального времени без внешнего достаточно сложного контроля (только путм эволюции, но это немного другой процесс). Максимум, что можно из нее извлечь — функция памяти. Поэтому и приходит мысль о модульной структуре, контроллерах и тому подобном.
То что Вы сейчас выделили — это совершенно разные сущности, которые в один ряд поставить никак нельзя.
Это может быть логично предположить (то что разные структуры отвечают за разные функции), но это не так. Именно однажды сделанное такое предположение затормозило развитие нейронаук лет на 40. Многочисленные современные экспериментальные работы показывают, что структура не может отвечать за какую-то функцию. Нет структуры в мозге, которая контролирует извлечение долговременной памяти или обучение. Есть распределенные механизмы с помощью которых это все делается.
Со вторым абзацем практически согласен.
Муха правда тоже способна на обучение, но естественно гораздо меньше, чем человек.
Понимаете способность обучаться зависит не только от количества нейронов — это тупиковый путь. Этим вот занимаются все, кто делает крупномасштабное моделирование. Они думают, что спроектируют систему из 10^13 нейронов и у них все заработает. Не тут то было.
Конечно количество нейронов тоже является важным, однако в процессе эволюции развивались еще и сами механизмы обучения и приобретения знаний на нейрональном уровне. И все эти механизмы обладают распределенной, а не модульной структурой.
Это может быть логично предположить (то что разные структуры отвечают за разные функции), но это не так. Именно однажды сделанное такое предположение затормозило развитие нейронаук лет на 40. Многочисленные современные экспериментальные работы показывают, что структура не может отвечать за какую-то функцию. Нет структуры в мозге, которая контролирует извлечение долговременной памяти или обучение. Есть распределенные механизмы с помощью которых это все делается.
Со вторым абзацем практически согласен.
Муха правда тоже способна на обучение, но естественно гораздо меньше, чем человек.
Понимаете способность обучаться зависит не только от количества нейронов — это тупиковый путь. Этим вот занимаются все, кто делает крупномасштабное моделирование. Они думают, что спроектируют систему из 10^13 нейронов и у них все заработает. Не тут то было.
Конечно количество нейронов тоже является важным, однако в процессе эволюции развивались еще и сами механизмы обучения и приобретения знаний на нейрональном уровне. И все эти механизмы обладают распределенной, а не модульной структурой.
Неокогнитроны, сверточные сети, ассоциативные нейромашины — все говорит в пользу идеи о «системной организации» живого мозга, ибо современные ИНС движутся туда же. Но сдается мне, что для получения ИИ или хотя бы эквивалента мозга млекопитающего придется повторить весь эволюционный путь, иначе говоря нужно постороить сначала МАТРИЦУ эмулирующую живой мир. Разбор мозга на запчасти вряд ли путь, т.к. известный парадокс про емкость данных для самопознания («система не может познать сама себя») практически лишает нас перспектив сконструировать ИИ от начала до конца.
Практические выводы (для построения реальных ИНС) из работы неясны.
Практические выводы (для построения реальных ИНС) из работы неясны.
Иду на рекорд некропостинга. 10 лет. :))
Скорость обучения должна быть не одной для всей сети, а индивидуальной для каждого синапса. Тогда нейроны образующие ключевые подсистемы могут постепенно снизить скорость своего обучения с создать более статичную структуру сети, а новые нейроны с не стабилизировавшимися синапсами смогут по мене необходимости включать/выключать не отдельные нейроны, разрушая ранее накопленные знания, а целые ансамбли, подстраивая выученные навыки под ситуацию. Не факт, что именно так, но я именно в такой форме хочу поэкспериментировать. В каком-то смысле это получится такой нейросетевой бустинг.
Скорость обучения должна быть не одной для всей сети, а индивидуальной для каждого синапса. Тогда нейроны образующие ключевые подсистемы могут постепенно снизить скорость своего обучения с создать более статичную структуру сети, а новые нейроны с не стабилизировавшимися синапсами смогут по мене необходимости включать/выключать не отдельные нейроны, разрушая ранее накопленные знания, а целые ансамбли, подстраивая выученные навыки под ситуацию. Не факт, что именно так, но я именно в такой форме хочу поэкспериментировать. В каком-то смысле это получится такой нейросетевой бустинг.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Правило Хебба: «универсальный нейрофизиологический постулат» и великое заблуждение математиков