Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 22
Было бы интересно в продолжении узнать, что конкретно за нейронные сети они моделируют (модели нейронов и синапсов например), а также в чем состоит суть используемой модели обучения нейронной сети. В данном обзоре про это практически не рассказывается к сожалению.
Спасибо за статью.
Спасибо за статью.
Отличительной особенностью данной системы является полное отсутствие синхронизации. Каждый нейрон, при достижении определённого внутреннего состояния, шлёт сигнал постсинаптическому нейрону, который соответственно отправляет или не отправляет (в зависимости от своего внутреннего состояния) новый сигнал последующему нейрону.
Функция рандом на таймере не менее эффективна.
Было бы интересно почитать по модели нейронов которые они используют. Может станет понятно почему они не синхронизированы.
Почему они не синхронизированы вполне понятно (хотя я не знаю какие модели нейронов они используют). Проект называется Spiking Neural Network Architecture, то есть логично предположить, что они используют некоторую спайковую модель нейрона. В сетях построенных на спайковых нейронах модель синапса предусматривает задержку прохождения сигнала по нему. Соответственно проблем с синхронизацией не возникает — когда сигнал дойдет, тогда и дойдет.=)
Как раз сейчас работаю над переводом настольной статьи всех специалистов, занимающихся спайковыми моделями нейронов — Izhikevich E. Wich Model to Use for Cortical Spiking Neurons (2004). Когда доделаю, выложу на хабре.=)
Как раз сейчас работаю над переводом настольной статьи всех специалистов, занимающихся спайковыми моделями нейронов — Izhikevich E. Wich Model to Use for Cortical Spiking Neurons (2004). Когда доделаю, выложу на хабре.=)
ждем, больше бы вас таких на хабр
очень жду продолжения!
Я вот только не пойму если они хотят отказоустойчивости пускай используют голографическую модель, никто вроде её не развивал в таком ракурсе, насколько мне известно.
Попробую объяснить что я имею в виду.
Не знаю как оно в жизни называется, я очень частично знаком с темой нейронных сетей
(с алгоритмической точки зрения), но вот если отрезать кусок мозгов то это не означает что:
[Миф 1] Мозг станет менее функционален (хм зависит от размера самого куска).
Мозг очень эластичная весч, вот я где-то читал, в какой-то буржуйской книге, что американцы слепому в нерв языка камеру вставляли, и ничего мозги приспосабливались, правда изображение чёрно-белое было только.
antitroll_mode on
если кому интересно можете погуглить…
[Миф 2] Мозг потеряет кусок памяти при нарезке и подальшем приготовлении.
Дело в том что информация храниться не конкретно «где-то» в мозгу, а по чётким и нечётким критериям во всей коре (иль глубже, я не биолог), которые могут быть востановлены друг от друга в 80% случаев потери. Все эти критерии одновременно учавствуют в процесе обучения формируя так называемую динамическию петлю, или мего-генератор популяции для чего-то вроде ген. алгоритма.
Так вот основываясь на этих понятиях уже можно отталкиваться и творить что-то новое, а не формировать макросистему на основе микросистемы (в даной задаче очень избыточно), на основе «статических, негибких» моделей сетей, которые не предполагают самомодификаций…
Оптические нейронные сети на голографических кореляторах уже есть. Часто первой аналогией являются класические модели Хопфилда и Коско, но это всё не то что нужно, ибо по самой задумке модель должна менять свою структуру.
Попробую объяснить что я имею в виду.
Не знаю как оно в жизни называется, я очень частично знаком с темой нейронных сетей
(с алгоритмической точки зрения), но вот если отрезать кусок мозгов то это не означает что:
[Миф 1] Мозг станет менее функционален (хм зависит от размера самого куска).
Мозг очень эластичная весч, вот я где-то читал, в какой-то буржуйской книге, что американцы слепому в нерв языка камеру вставляли, и ничего мозги приспосабливались, правда изображение чёрно-белое было только.
antitroll_mode on
если кому интересно можете погуглить…
[Миф 2] Мозг потеряет кусок памяти при нарезке и подальшем приготовлении.
Дело в том что информация храниться не конкретно «где-то» в мозгу, а по чётким и нечётким критериям во всей коре (иль глубже, я не биолог), которые могут быть востановлены друг от друга в 80% случаев потери. Все эти критерии одновременно учавствуют в процесе обучения формируя так называемую динамическию петлю, или мего-генератор популяции для чего-то вроде ген. алгоритма.
Так вот основываясь на этих понятиях уже можно отталкиваться и творить что-то новое, а не формировать макросистему на основе микросистемы (в даной задаче очень избыточно), на основе «статических, негибких» моделей сетей, которые не предполагают самомодификаций…
Оптические нейронные сети на голографических кореляторах уже есть. Часто первой аналогией являются класические модели Хопфилда и Коско, но это всё не то что нужно, ибо по самой задумке модель должна менять свою структуру.
Видимо, если создатели уже заложили свою модель в железе — предполагается коммерческое использование, уже известны протенциальные области применения. А вы пишите о совсем революционных вещах. Имхо цели проектов немного разные.
Люди, читайте внимательнее, перед вами хардварная реализация голографической модели, да ещё с возможностью изменения модели самого нейрона, а не только связей между ними. Здесь гибкость софтовой симуляции, сочетается быстродействием так необходимым для практических применений.
Спайковые нейроны как раз и реализуют голографическую модель, причём способную обучаться и «жить» в отличии от оптических голографических корреляторов которые в своё время были хороши для иллюстрации принципа, но совершенно не проф пригодны из-за принципиальной неспособности даже обучаться в динамике которая была даже у тупых сетей обратного распространения.
Спайковые нейроны как раз и реализуют голографическую модель, причём способную обучаться и «жить» в отличии от оптических голографических корреляторов которые в своё время были хороши для иллюстрации принципа, но совершенно не проф пригодны из-за принципиальной неспособности даже обучаться в динамике которая была даже у тупых сетей обратного распространения.
Не понятно как спайковые нейроны реализуют голографическую модель, потому что они как бы вообще и без нее нормально живут и к ней отношения не имеют.
Про способность обучаться и «жить» я в статье ничего не увидел, а по большому опыту знакомства с подобными исследованиями у меня есть большие сомнения о качестве такого обучения и вообще об уровне его адаптивности.
И напишу еще раз, то что уже было в комментарии ниже. Голографическая модель — это модель памяти в мозге. Про обучение там вообще ничего особо не говорится. И как хранить в этой модели процедурные знания вообще никто не предлагал (про декларативные все более менее понятно).
Про способность обучаться и «жить» я в статье ничего не увидел, а по большому опыту знакомства с подобными исследованиями у меня есть большие сомнения о качестве такого обучения и вообще об уровне его адаптивности.
И напишу еще раз, то что уже было в комментарии ниже. Голографическая модель — это модель памяти в мозге. Про обучение там вообще ничего особо не говорится. И как хранить в этой модели процедурные знания вообще никто не предлагал (про декларативные все более менее понятно).
Голографическая модель в нейробиологии — это теории строения памяти. Во-первых об обучении в этой теории вообще ничего особо не говорится, а во-вторых она совершенно спекулятивна с точки зрения самой нейробиологии.
Но самое забавное, что может декларативную память голографическая модель и может хранить, но вот как она будет хранить процедурную память вообще никто не предлагал еще.
Теперь пройдемся по мифам.
Миф 1. Первое — зависит не только от размера куска, но и от того, что это за кусок. Второе — тот пример, который вы привели — это сказка. Такого никто еще не смог сделать (чтобы вживить камеру в нерв и больной человек мог бы получать изображение), иначе все слепые бы уже ходили с подобными протезами.
При этом Вы все равно правы, что мозг это невероятно пластичная система.
Миф 2 Мозг — это не только записанная информация, но и механизмы ее воспроизведения. То есть как нам всем известно — это общее поле как для данных, так и для алгоритмов над этими данными. То есть вполне вероятно, что вы повредите что-то такое, что отвечает за воспроизведение этой памяти и ее реконсолидацию. Именно в проблеме невозможности воспроизведения и извлечения памяти и заключается в подавляющем большинстве случаев амнезия, а не в том, что просто вся информация удалилась.
При этом Вы опять же все равно правы, что зачастую возможность извлечения восстанавливается. Правда мне непонятно зачем вы сюда генетические алгоритмы приплели, так как они к этому вообще не имеют никакого отношения.
Красиво у вас все звучит про то, как надо бы это все делать. Но когда ты реально этим занимаешься, то видишь кучу проблем, которые надо решать. И на их решение может уйти не одно десятилетие.
Но самое забавное, что может декларативную память голографическая модель и может хранить, но вот как она будет хранить процедурную память вообще никто не предлагал еще.
Теперь пройдемся по мифам.
Миф 1. Первое — зависит не только от размера куска, но и от того, что это за кусок. Второе — тот пример, который вы привели — это сказка. Такого никто еще не смог сделать (чтобы вживить камеру в нерв и больной человек мог бы получать изображение), иначе все слепые бы уже ходили с подобными протезами.
При этом Вы все равно правы, что мозг это невероятно пластичная система.
Миф 2 Мозг — это не только записанная информация, но и механизмы ее воспроизведения. То есть как нам всем известно — это общее поле как для данных, так и для алгоритмов над этими данными. То есть вполне вероятно, что вы повредите что-то такое, что отвечает за воспроизведение этой памяти и ее реконсолидацию. Именно в проблеме невозможности воспроизведения и извлечения памяти и заключается в подавляющем большинстве случаев амнезия, а не в том, что просто вся информация удалилась.
При этом Вы опять же все равно правы, что зачастую возможность извлечения восстанавливается. Правда мне непонятно зачем вы сюда генетические алгоритмы приплели, так как они к этому вообще не имеют никакого отношения.
Красиво у вас все звучит про то, как надо бы это все делать. Но когда ты реально этим занимаешься, то видишь кучу проблем, которые надо решать. И на их решение может уйти не одно десятилетие.
Ну по-поводу мифа 1. POC г03етко
И это не первый случай, самым первым был какой-то писатель — ему прямо в язык впихнули провода =) (да да терминафтары DeusEx и аnti_trollmode негодуют)
Миф 2. Я же сказал что в 80% случаев возможно востановление (возможно и не полное)
а вот отрезать кусок который отвечает за востановление «всего» довольно сложно,
так как много резать придётся и в правой и в левой доле,
в мозгах нет разницы между сохранением критериев оценки образа и способами его обработки, способы обработки являются непосредственно инкапсулироваными в абстрактный образ.
Генетические алгоритмы имеют непосредственное отношение к процесам обучения и формированию абстрактных образов. Дело в том что мозг явно не использует шум нейронной сети для формирования творческого начала, шум в даном случае это рандомная последовательность переборки образов (возможно и несовместимых) которые используются в неком подобии генетического алгоритма для формирования новых образов как и способов решения практических задач. Вот почему в системах обучения крыс и роботов есть различия в обратной связи с уже накопленной информацией
(хабротопик тут).
Сейчас я занимаюсь вопросом создания динамической нейросети, наподобие мозгов, с нуля.
Уже многое реализовано, потрачено где-то 2-3 года, на основе этого всего я пишу самооптимизрующийся язык програмирования. Результаты довольно неплохие, а исходники и иследования закрыты. =) всё будет OpenSource только когда выйду с альфы, исходники самого языка будут максимально закрыты до первой стабильной продукции.
хм… Комрады и донат приветствуются.
По поводу апаратной части могу сказать одно: прототипы уже есть, фины или шведы, кароч северные варвары, уже создавали проц. на чисто генетических алгоритмах и neurofuzzy logic'е. Правдо им обрезали поставки Удмурдских Ежей в связи с чем они не смогли дальше использовать иглы Удмурдского Ежа для рисования на silicon'овых камнях (литографии)
P.S. Для slowpoke'ов Удмурдский Еж это У.Е.
И это не первый случай, самым первым был какой-то писатель — ему прямо в язык впихнули провода =) (да да терминафтары DeusEx и аnti_trollmode негодуют)
Миф 2. Я же сказал что в 80% случаев возможно востановление (возможно и не полное)
а вот отрезать кусок который отвечает за востановление «всего» довольно сложно,
так как много резать придётся и в правой и в левой доле,
в мозгах нет разницы между сохранением критериев оценки образа и способами его обработки, способы обработки являются непосредственно инкапсулироваными в абстрактный образ.
Генетические алгоритмы имеют непосредственное отношение к процесам обучения и формированию абстрактных образов. Дело в том что мозг явно не использует шум нейронной сети для формирования творческого начала, шум в даном случае это рандомная последовательность переборки образов (возможно и несовместимых) которые используются в неком подобии генетического алгоритма для формирования новых образов как и способов решения практических задач. Вот почему в системах обучения крыс и роботов есть различия в обратной связи с уже накопленной информацией
(хабротопик тут).
Сейчас я занимаюсь вопросом создания динамической нейросети, наподобие мозгов, с нуля.
Уже многое реализовано, потрачено где-то 2-3 года, на основе этого всего я пишу самооптимизрующийся язык програмирования. Результаты довольно неплохие, а исходники и иследования закрыты. =) всё будет OpenSource только когда выйду с альфы, исходники самого языка будут максимально закрыты до первой стабильной продукции.
хм… Комрады и донат приветствуются.
По поводу апаратной части могу сказать одно: прототипы уже есть, фины или шведы, кароч северные варвары, уже создавали проц. на чисто генетических алгоритмах и neurofuzzy logic'е. Правдо им обрезали поставки Удмурдских Ежей в связи с чем они не смогли дальше использовать иглы Удмурдского Ежа для рисования на silicon'овых камнях (литографии)
P.S. Для slowpoke'ов Удмурдский Еж это У.Е.
Приведенная Вами ссылка на новостной сайт — это фейк и пиар. На таких сайтах еще часто можно и про клонирование разные интересные вещи встретить.
Вы используете понятие генетический алгоритм в достаточно странной формулировке, ну да Б-г с ним.
Подобные рассуждение — это все слишком теоретически. Я могу себе представить подобный механизм на абстрактном уровне, однако не могу себе представить как он будет реализован на нейрональном уровне в модели (не говоря уже про реальную нейрофизиологию). Более того, повторяю, что декларативную память вы таким образом записывать может и сможете (образы), но процедурную (поведение) скорее всего нет.
И еще соображение — даже для некоторого подобия ГА нужна определенная функция приспособленности (фитнес), которая всегда вычисляется независимо от объекта оптимизации. Каким образом, Вы будете вводить такую функцию, но чтобы это не получилось банально учителем.
Кстати забавно, что Вы приводите мне ссылку на мою же статью.=)
Вы используете понятие генетический алгоритм в достаточно странной формулировке, ну да Б-г с ним.
Подобные рассуждение — это все слишком теоретически. Я могу себе представить подобный механизм на абстрактном уровне, однако не могу себе представить как он будет реализован на нейрональном уровне в модели (не говоря уже про реальную нейрофизиологию). Более того, повторяю, что декларативную память вы таким образом записывать может и сможете (образы), но процедурную (поведение) скорее всего нет.
И еще соображение — даже для некоторого подобия ГА нужна определенная функция приспособленности (фитнес), которая всегда вычисляется независимо от объекта оптимизации. Каким образом, Вы будете вводить такую функцию, но чтобы это не получилось банально учителем.
Кстати забавно, что Вы приводите мне ссылку на мою же статью.=)
Ссылка это самое первое что попалось под руку в Гугле.
Там такого барахла хватает не спорю, но это первое что мне показалось похожее на тему. Если очень интересно могу дать конкретно книгу по МайндХаку где это всё написано. Динамические цепи они такие динамичиские =)
Идеей алгоритма динамических цепей является самооптимизация на основе ген. алгоритма и подальшей модификации фитнес функции через neuro-fuzzy logic.
Сам себе швец и жнец и учитель. На основе динамической цепи можно
спокойно строить такой же (а может и более) динамический апарат нейронной сети.
Вот собственно этим я и занимаюсь. Просто в моём случае не используется конкретная модель развития сети (или модель персептрона), сеть сугобо комплексного характера в зависимости от задач которые она призвана решать.
Развитие происходит очень скачкообразно: сначало кажется что это полный рандом, а потом как прорвёт (ресурсов ест намного меньше чем простая сеть).
2 klakhman класный послужной список, а я ещё только учусь…
Ах да совсем забыл про сохранение образов. В зависимости от организации функциональной и образной памяти можно явно ускорить процесы обучения в разы,
именно поэтому я перестал их различать и стараюсь впихнуть в общий критерий и модель.
Там такого барахла хватает не спорю, но это первое что мне показалось похожее на тему. Если очень интересно могу дать конкретно книгу по МайндХаку где это всё написано. Динамические цепи они такие динамичиские =)
Идеей алгоритма динамических цепей является самооптимизация на основе ген. алгоритма и подальшей модификации фитнес функции через neuro-fuzzy logic.
Сам себе швец и жнец и учитель. На основе динамической цепи можно
спокойно строить такой же (а может и более) динамический апарат нейронной сети.
Вот собственно этим я и занимаюсь. Просто в моём случае не используется конкретная модель развития сети (или модель персептрона), сеть сугобо комплексного характера в зависимости от задач которые она призвана решать.
Развитие происходит очень скачкообразно: сначало кажется что это полный рандом, а потом как прорвёт (ресурсов ест намного меньше чем простая сеть).
2 klakhman класный послужной список, а я ещё только учусь…
Ах да совсем забыл про сохранение образов. В зависимости от организации функциональной и образной памяти можно явно ускорить процесы обучения в разы,
именно поэтому я перестал их различать и стараюсь впихнуть в общий критерий и модель.
www.membrana.ru/articles/health/2004/11/25/214900.html
честно говоря не первый раз встречаю, и не думаю что это фейк
честно говоря не первый раз встречаю, и не думаю что это фейк
Как это не парадоксально звучит, вот целый блог на эту же тему.
Я бы не стал на Вашем месте так полагаться на мембрану — это достаточно своеобразный ресурс, на котором иногда совершенно бредовые заметки выкладывают.
Просто задайте себе пару вопросов. Почему это еще повсеместно не применяют? И второй вопрос — почему можно все передать через один нерв?
Фишка заключается в том, что даже если они это сделали, то это не зрение конечно, а совершенно другая — новая форма ощущений под которую мозг подстраивается. Ну это как у летучих мышей есть эхолот — это же не зрение.
Зрение — есть очень сложная система. Кроме того, что с точки зрения оптической физики глаз — это совершенная система, так вы еще просто ради интереса посмотрите что находится сразу за глазом. Там несколько слоев рецепторных нейронов совершенно разных типов, которые отвечают только(!!!) за первичную обработку поступающего светового сигнала.
Просто задайте себе пару вопросов. Почему это еще повсеместно не применяют? И второй вопрос — почему можно все передать через один нерв?
Фишка заключается в том, что даже если они это сделали, то это не зрение конечно, а совершенно другая — новая форма ощущений под которую мозг подстраивается. Ну это как у летучих мышей есть эхолот — это же не зрение.
Зрение — есть очень сложная система. Кроме того, что с точки зрения оптической физики глаз — это совершенная система, так вы еще просто ради интереса посмотрите что находится сразу за глазом. Там несколько слоев рецепторных нейронов совершенно разных типов, которые отвечают только(!!!) за первичную обработку поступающего светового сигнала.
Кстати, можно ли считать нейронную сеть самообучающейся, раз возможности её обучения ограничены её архитектурой (если нет нейронов с обратной связью, то она не способы иметь состояния и т. д.)? С другой стороны, если мы генерируем с помощью генетического алгоритма программу (в любом полном по Тьюрингу представлении), то она теоретически неограниченна по возможностям (хотя и ограничена практически временем генерации).
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
SpiNNaker — нейронный компьютер