А разве нельзя попробовать сделать модификацию, где кол-во гауссиан адаптивно? По аналогии с модификацией EM-алгоритма, где плохо-обусловленные кластеры разбиваются.
А какое конкретно сравнение вы бы хотели увидеть? DBN — это генеративные модели, которые могут использоваться для задачи дискриминации в случае их дополнительной подстройки с использованием размеченных данных. Но в таком случае они становятся обычными глубокими детерминированными нейронными сетями.
Существуют изначальные модели нейронных сетей со стохастическими нейронами — по ним работ достаточно много.
Не стоит отождествлять computer science и программирование. В США этот термин несет очень обширную смысловую нагрузку и программирование (в смысле непосредственного написания программ на ЯП) в ней занимает не такое уж большое место.
Хорошая работа. Интересно, что Вы получили пачечную активность без введения какой-либо кратковременной пластичности (депрессии) — для этого обычно нужно очень хорошо подбирать параметры. При этом у пачки конечно не очень реалистичная длина — около 50 мс.
Несколько замечаний:
1. Обычно модель Ижикевича все-таки приводят в виде, в котором она была предложена в статье Izhikevich E.M. (2003) «Simple Model of Spiking Neurons». IEEE Transactions on Neural Networks, 14:1569- 1572. Та форма, которую привели Вы принята скорее для квадратичного IF-нейрона (например тут Latham P. E., et al. (2000) «Intrinsic dynamics in neuronal networks. I. Theory.» J. Neurophysiol., 83:808-827) с введением второй переменной восстановления.
2. Было бы неплохо ввести задержки прохождения возбуждения от пресинаптического нейрона к постсинаптическому, так как это значительно реалистичнее.
3. Хард-кодинг — это зло. Например, потенциал покоя и пороговый потенциал конечно лучше как-то проименовать, а не вставлять в код магическими числами.
Курс Programming Languages — это максимум курс второй (хотя больше подходит на второй семестр первого курса). Сложность этого курса по сравнению с университетскими курсами, например, матана и диффуров — практически никакая. Я понимаю, что не совсем правильно сравнивать математику и computer science, но общую градацию по интеллектуальным и временным затратам можно выстроить.
Курс Compilers — это наверное действительно первый семестр третьего курса. Но онлайн-курсов даже такой сложности просто единицы.
Я вот не понимаю почему авторы таких восторженных постов про онлайн образовании не упоминают одну важную вещь — уровень сложности курсов на Coursera соответствует первому, иногда максимум второму курсу нормального университета. Я тоже люблю Coursera, так как там можно узнать очень много нового, но сомнительно, что позиции университетов хоть как-то поколеблются в ближайшее время.
Я конечно сильно извиняюсь, но хотел бы поинтересоваться, что это за работа (диплом, курсовая, фриланс)? Просто это практически полная копия (за исключением отдельных моментов — метод обучения сети и количество свободных параметров) одного из моих дипломов, который я защитил полтора года назад в МИФИ.
Генетический алгоритм даже в общем случае не является оптимизацией полного перебора — слишком уж огромная разница в эффективности и в методах реализации. Мутации и селекция — сильнейшие механизмы, которые позволяют осуществлять «направленный» (в кавычках) поиск в пространстве признаков.
Что конкретно Вы оставите без комментариев?
Вот ссылки на статьи (первая — одно из первых ясных исследований зарубежом на тему специализированных нейронов, вторая — про симпсонов):
1. Quian Quiroga R., Reddy L., Kreiman G., Koch C., Fried I. Invariant visual representation by single neurons in the human brain (2005)
2. Gelbard-Sagiv H., Mukamel R., Harel M., Malach R., Fried I. Internally Generated Reactivation of Single Neurons in Human Hippocampus During Free Recal (2008)
Если заинтересуетесь и не сможете найти, то могу предоставить pdf.
Понятное дело, что это сложное понятие не просто инкапсулированно в нейрон. За этим стоит сложная динамика, которая в итоге приводит к значимой активности данной клетки (и скорее всего целой системы клеток).
Не очень понятен Ваш аргумент в пользу того, что на нейронах нельзя построить ИИ, так как нельзя рассматривать мозг как совокупность нейронов. А что это такое тогда простите?
Мозг и есть совокупность гетерогенных нейронов с очень сложной структурой связей. Если Вы намекаете на то, что в мозге всегда есть какие-то структуры, то это только половина правды. Даже в мозге человека структуры только _преимущественно_ ответственны за какую-то функцию (или совокупоность функций), при этом в общем случае могут быть вовлечены в любой процесс.
Если же рассматривать не мозг человека (так как пытаться моделировать наш мозг на данном уровне развития — бессмысленное и чисто популистское занятие), то в нервной системе С. Elegans, например, чуть больше 300 нейронов и он уже проявляет завидную адаптивность.
Да и кстати, качество научной компетентности Савлеьева — это очень большой вопрос.
Один из удачных способ реализации видового отбора (правда на эволюции нейронных сетей) можно найти в статье — Kenneth O. Stanley, Risto Miikkulainen. (2002) «Evolving Neural Networks Through Augmenting Topologies» (http://ucf.academia.edu/KennethStanley/Papers/199813/Evolving_Neural_Networks_Through_Augmenting_Topologies). Там же есть ссылки на многие более ранние статьи, где разрабатывались разные идеи и алгоритмы видового отбора.
В отношении этого подхода непонятно, что такое начальный этап? Образование видов и их вымирание — процесс динамический.
Для Вашей конкретной задачи (где ландшафт приспособленности не невероятно сложный, а пространство поиска прямо скажем небольшое) применения метода репродукции части популяции без мутации и скрещиваний возможно является более предпочтительным (это надо проверять). Однако в общем случае видовой метод (который не имеет практически ничего общего с турнирной селекцией и является сложным механизмом) значительно более мощный и эффективный подход, который позволяет обеспечить быструю сходимость и большую вероятность достижения глобального оптимума.
Безусловно, что мутации играют важную роль и в случае изменяющейся среды — там их ценность очевидна. Однако и в сложной стационарной среде без них обойтись невозможно. В отношении мутаций Вы исходите из выкладок своей предыдущей статьи, в которых указываете некоторую необходимую планку численности популяции. Однако, если пространство поиска неограничено (расширяющийся геном) и даже начальная размерность больше вашей + мы работаем не с битами, а на множестве вещественных чисел, то все эти выкладки теряют смысл, ибо вы никогда не сможете промоделировать настолько большую популяцию. А если мы к тому же решаем не некоторую типовую задачу оптимизации, а моделируем более сложные (с точки зрения вычисления функции приспособленности) вещи, то ограничения на размер популяции становятся еще более жесткими.
Спасибо за статью. Редко увидишь довольно глубокие изыскания (не смотря на то, что идея репродукции лучших особей без изменений — не нова) в своей области.
Из подобных предпосылок (борьба с преждевременным схождением путем разделения популяции) был разработан еще более эффективный метод — видовой. В нем популяция делится на автономные виды с помощью введения метрики на пространстве генотипов (в случае эволюционных алгоритмов, а не ГА, иногда эта задача нетривиальна) и в дальнейшем может происходить скрещивание индивидов только только одного вида. В таких моделях вводится дополнительная динамика видовой борьбы, однако это позволяет эффективно сохранять генетическое разнообразие в популяции в общем.
Также хотел Вас поправить по написанному в прошлой статье — генетические мутации в реальной эволюции вещь отнюдь не редкая и является собственно одним из основных моторов эволюции. Это достаточно легко объясняется тем, что Вы рассматриваете наиболее простой вариант постоянной размерности пространства поиска (размера генома). В реальности пространство поиска неограниченно, что осуществляется как раз посредством мутаций, которые отнюдь не сводятся к изменению аллелей (в качестве примера можно привести дупликацию целых участков генома). Собственно эволюционные алгоритмы или ГА с неограниченным пространством поиска как раз и представляют на данный момент наибольший интерес — как прикладной, так и теоретический.
Честно сказать, что статья, на которую вы ссылаетесь, что ваша собственная — это просто детский сад. Если человеку незнакомому с этой темой будет необходимо все так объяснять, то я честно сказать посоветую ему просто ей не заниматься, а пойти в какую-нибудь другую область.
Я уже когда-то Вам говорил, что нейрогенез (образование нейронов) во взрослом мозге практически прекращается (за исключением отдельных специализированных структур). Таким образом, нейрогенез не может являться ведущим механизмом для обучения и формирования нового поведения. Это сухие экспериментальные факты, так что против них не попрешь.
Соответственно существуют другие варианты «где конкретно» (но не как) происходит накопление новых знаний — пластичность синапсов и пластичность самой клетки. Первая более популярна на западе, а вторая — у нас. Хотя с моей точки зрения — это два взаимодополняющих элемента.
То есть, фактически, обучение может фиксироваться в перестройке структуры синапсов в мозге (как образование новых, так и отмирание старых) и перестройке в самой клетке-нейроне (в том числе в геноме за счет эпигенетических механизмов). Накладывая на все это еще и динамику развертывания живых нейронных сетей в реальном времени мы получаем колоссальное количество степеней свободы, которые в теории могут удовлетворить все потребности животного в обучении.
Также то, что Вы называете «постоянной» памятью проявляется гораздо раньше. Тем более, исходя из современных представлений СТЭ, различные виды проходят эволюционное развитие (на уровне генома) независимо друг от друга (в подавляющем большинстве случаев). А так как предки млеков с насекомыми разошлись очень рано, то мы можем говорить только про параллельное появление каких-то признаков.
Я конечно не хочу кидать ни в кого камни, но хочется задать вопрос.
Зачем этот пост?
Было бы отличие если бы Вы его записали в свой личный дневничок (бумажный или электронный) и радовались своей находке?
Кроме того, что в гораздо более приемлемом виде это можно прочитать в тысячах статей в интернете (и в сотнях книг), ваше описание еще содержит и множество ошибок и неточностей.
Что значит нейронная сеть — «простой пример процедурной памяти»?
Формальная нейронная сеть (которую мы имеем сейчас) не имеет никакого отношения к процедурной памяти. Формальная нейронная сеть — это хороший пример рефлекторной дуги.
Про запах вы абсолютно неправы. Общение насекомых, например, в очень большой части происходить за счет выделяемых ферментов, которые как раз посредством аналогии обоняния и воспринимаются. Это справедливо и для многих-многих млекопитающих. В том числе и для человека, не смотря на то, что большинство обонятельной информации, как считается на данный момент, воспринимается человеком без участия сознания.
Мне всегда интересно читать такие посты, потому что я просто не понимаю как можно говорить вот о таких проблемах, когда на самом деле есть другие реальные проблемы. Обеспечить ИИ информацией — это не проблема. Обеспечить ИИ механизмов консолидации, интерпретации и «выучивания» этой информации — вот это проблема. Это если просто про декларативную память говорить. А процедурная память — это ведь еще интереснее.
Существуют изначальные модели нейронных сетей со стохастическими нейронами — по ним работ достаточно много.
Несколько замечаний:
1. Обычно модель Ижикевича все-таки приводят в виде, в котором она была предложена в статье Izhikevich E.M. (2003) «Simple Model of Spiking Neurons». IEEE Transactions on Neural Networks, 14:1569- 1572. Та форма, которую привели Вы принята скорее для квадратичного IF-нейрона (например тут Latham P. E., et al. (2000) «Intrinsic dynamics in neuronal networks. I. Theory.» J. Neurophysiol., 83:808-827) с введением второй переменной восстановления.
2. Было бы неплохо ввести задержки прохождения возбуждения от пресинаптического нейрона к постсинаптическому, так как это значительно реалистичнее.
3. Хард-кодинг — это зло. Например, потенциал покоя и пороговый потенциал конечно лучше как-то проименовать, а не вставлять в код магическими числами.
И передавайте привет Виктору Борисовичу! =)
Курс Compilers — это наверное действительно первый семестр третьего курса. Но онлайн-курсов даже такой сложности просто единицы.
Вот ссылки на статьи (первая — одно из первых ясных исследований зарубежом на тему специализированных нейронов, вторая — про симпсонов):
1. Quian Quiroga R., Reddy L., Kreiman G., Koch C., Fried I. Invariant visual representation by single neurons in the human brain (2005)
2. Gelbard-Sagiv H., Mukamel R., Harel M., Malach R., Fried I. Internally Generated Reactivation of Single Neurons in Human Hippocampus During Free Recal (2008)
Если заинтересуетесь и не сможете найти, то могу предоставить pdf.
Понятное дело, что это сложное понятие не просто инкапсулированно в нейрон. За этим стоит сложная динамика, которая в итоге приводит к значимой активности данной клетки (и скорее всего целой системы клеток).
Не очень понятен Ваш аргумент в пользу того, что на нейронах нельзя построить ИИ, так как нельзя рассматривать мозг как совокупность нейронов. А что это такое тогда простите?
Мозг и есть совокупность гетерогенных нейронов с очень сложной структурой связей. Если Вы намекаете на то, что в мозге всегда есть какие-то структуры, то это только половина правды. Даже в мозге человека структуры только _преимущественно_ ответственны за какую-то функцию (или совокупоность функций), при этом в общем случае могут быть вовлечены в любой процесс.
Если же рассматривать не мозг человека (так как пытаться моделировать наш мозг на данном уровне развития — бессмысленное и чисто популистское занятие), то в нервной системе С. Elegans, например, чуть больше 300 нейронов и он уже проявляет завидную адаптивность.
Да и кстати, качество научной компетентности Савлеьева — это очень большой вопрос.
В отношении этого подхода непонятно, что такое начальный этап? Образование видов и их вымирание — процесс динамический.
Безусловно, что мутации играют важную роль и в случае изменяющейся среды — там их ценность очевидна. Однако и в сложной стационарной среде без них обойтись невозможно. В отношении мутаций Вы исходите из выкладок своей предыдущей статьи, в которых указываете некоторую необходимую планку численности популяции. Однако, если пространство поиска неограничено (расширяющийся геном) и даже начальная размерность больше вашей + мы работаем не с битами, а на множестве вещественных чисел, то все эти выкладки теряют смысл, ибо вы никогда не сможете промоделировать настолько большую популяцию. А если мы к тому же решаем не некоторую типовую задачу оптимизации, а моделируем более сложные (с точки зрения вычисления функции приспособленности) вещи, то ограничения на размер популяции становятся еще более жесткими.
Из подобных предпосылок (борьба с преждевременным схождением путем разделения популяции) был разработан еще более эффективный метод — видовой. В нем популяция делится на автономные виды с помощью введения метрики на пространстве генотипов (в случае эволюционных алгоритмов, а не ГА, иногда эта задача нетривиальна) и в дальнейшем может происходить скрещивание индивидов только только одного вида. В таких моделях вводится дополнительная динамика видовой борьбы, однако это позволяет эффективно сохранять генетическое разнообразие в популяции в общем.
Также хотел Вас поправить по написанному в прошлой статье — генетические мутации в реальной эволюции вещь отнюдь не редкая и является собственно одним из основных моторов эволюции. Это достаточно легко объясняется тем, что Вы рассматриваете наиболее простой вариант постоянной размерности пространства поиска (размера генома). В реальности пространство поиска неограниченно, что осуществляется как раз посредством мутаций, которые отнюдь не сводятся к изменению аллелей (в качестве примера можно привести дупликацию целых участков генома). Собственно эволюционные алгоритмы или ГА с неограниченным пространством поиска как раз и представляют на данный момент наибольший интерес — как прикладной, так и теоретический.
Соответственно существуют другие варианты «где конкретно» (но не как) происходит накопление новых знаний — пластичность синапсов и пластичность самой клетки. Первая более популярна на западе, а вторая — у нас. Хотя с моей точки зрения — это два взаимодополняющих элемента.
То есть, фактически, обучение может фиксироваться в перестройке структуры синапсов в мозге (как образование новых, так и отмирание старых) и перестройке в самой клетке-нейроне (в том числе в геноме за счет эпигенетических механизмов). Накладывая на все это еще и динамику развертывания живых нейронных сетей в реальном времени мы получаем колоссальное количество степеней свободы, которые в теории могут удовлетворить все потребности животного в обучении.
Также то, что Вы называете «постоянной» памятью проявляется гораздо раньше. Тем более, исходя из современных представлений СТЭ, различные виды проходят эволюционное развитие (на уровне генома) независимо друг от друга (в подавляющем большинстве случаев). А так как предки млеков с насекомыми разошлись очень рано, то мы можем говорить только про параллельное появление каких-то признаков.
Зачем этот пост?
Было бы отличие если бы Вы его записали в свой личный дневничок (бумажный или электронный) и радовались своей находке?
Кроме того, что в гораздо более приемлемом виде это можно прочитать в тысячах статей в интернете (и в сотнях книг), ваше описание еще содержит и множество ошибок и неточностей.
Формальная нейронная сеть (которую мы имеем сейчас) не имеет никакого отношения к процедурной памяти. Формальная нейронная сеть — это хороший пример рефлекторной дуги.
Мне всегда интересно читать такие посты, потому что я просто не понимаю как можно говорить вот о таких проблемах, когда на самом деле есть другие реальные проблемы. Обеспечить ИИ информацией — это не проблема. Обеспечить ИИ механизмов консолидации, интерпретации и «выучивания» этой информации — вот это проблема. Это если просто про декларативную память говорить. А процедурная память — это ведь еще интереснее.