Комментарии 30
Как много здесь пчол (узнать бы еще, кто это. а то вдруг и я тоже О_о).
Нет промежуточного ответа для интервала больше семи лет, но меньше бесконечности. «7 лет или никогда» — слишком жесткие рамки имо
Буквально в этом году на конференции «Нейроинформатика 2014» был доклад о том, что в реальном мозге кодирующими являются не только частота и общее количество спайков, но и расположение интервалов между ними. А ещё, например, такая сеть заведемо не сможет выстрадать «Нейрон Дженифер Анистон», а значит с ростом количества выученного количество потребных нейронов будет расти катастрофически.
Мы пока что более чем приблизительно представляем себе работу реальных нейронов, и пока что вся существующая математика неспособна сымитировать даже нервную систему нематоды. Подобные чипы, конечно, полезны как задел для будущей работы, но место им, пока что, в экспериментальных лабораториях, а никак не в настольных ПК.
Тем более, что это даже не свёрточные сети. те хоть нашли уже какое-то практическое применение.
Мы пока что более чем приблизительно представляем себе работу реальных нейронов, и пока что вся существующая математика неспособна сымитировать даже нервную систему нематоды. Подобные чипы, конечно, полезны как задел для будущей работы, но место им, пока что, в экспериментальных лабораториях, а никак не в настольных ПК.
Тем более, что это даже не свёрточные сети. те хоть нашли уже какое-то практическое применение.
а посмотреть таки нельзя?
neuroinfo.ru/index.php/archive
neuroinfo.ru/index.php/archive
Например вот тут: aihandbook.intsys.org.ru/index.php/activity/confs-list/268-conf-11
часть 1 к сожалению тут недоступна.
часть 2: rogachev.dyndns-at-home.com:8080/Copy/Biologia/Neyroinformatika_-_2014_Chast_2.pdf
часть 3: rogachev.dyndns-at-home.com:8080/Copy/Biologia/Neyroinformatika_-_2014_Chast_3.pdf
Одна беда, убей не помню в котором из докладов я это читал. Если найдёте — напомните.
часть 1 к сожалению тут недоступна.
часть 2: rogachev.dyndns-at-home.com:8080/Copy/Biologia/Neyroinformatika_-_2014_Chast_2.pdf
часть 3: rogachev.dyndns-at-home.com:8080/Copy/Biologia/Neyroinformatika_-_2014_Chast_3.pdf
Одна беда, убей не помню в котором из докладов я это читал. Если найдёте — напомните.
Да, согласен, не всё в мире совершенно, но! Вспомните каким были компьютеры 50 лет назад и какими они стали сегодня.
На счёт имитации я бы поспорил, так как уже смоделировали полностью нервную систему червя, а по сведения из HBP в 2015 году должен быть представллен прототип мозга мыши, что является существенным прорывом.
На счёт имитации я бы поспорил, так как уже смоделировали полностью нервную систему червя, а по сведения из HBP в 2015 году должен быть представллен прототип мозга мыши, что является существенным прорывом.
Фокус в том, что смоделировать то они немотоду смогли, воспроизвели полный коннектом, но к поведению реального червяка и близко не приблизились по возможностям и сложности его поведения. А ведь там всего лишь 302 нейрона. Ну да, воспроизведут они коннектом кошки, а дальше что? У получившейся модели будет разум как у червяка, это ещё в лучшем случае.
Все это, конечно, хорошо, но чип от IBM ничего общего с этой поделкой на резистивно переключаемых элементах не имеет.
Так вроде нигде и не сказано, что это именно IBMовский чип, он приведён, как пример.
Если подходить к анализу текста строго логически, то да. Но при прочтении возникает очень сильное (естественно ложное) впечатление, что все «нейроморфные» чипы работают образом, подобным описанному, что никоим образом не соответствует действительности. Посмотрите сами:
Последний IBMовский чип — это вообще массив цифровых процессоров.
После недавнего анонса нейроморфного чипа от IBM на Хабре, настало время познакомиться с тем, как работа реальных нейронов переносится в железо нейроморфных чипов. А поможет нам в этом статья, опубликованная в ACSNano, о трёхмерном электронном синапсе.
Последний IBMовский чип — это вообще массив цифровых процессоров.
Было бы прекрасным дополнением к статье: примерный расклад где и какие
используемые материалы относительно дёшевы и повсеместно распространены в электронной промышленности
Например, окисд гафния — high k затвор в современных процессорах, диоксид кремния — вообще «наполнитель» в любом чипе, вот с Pt могут возникнуть некоторые проблемы, но её необходимо очень и очень мало — слои толщиной в 20-25 нм.
вопрос в том и стоит, что и платину в том же числе не так уж и легко использовать, и «наполнитель» — оксид кремния. К вам это видится? Разбирать микросхемы и советские 818КТ?
Да, платину не очень легко пылить — согласен. А в чём трудности с диоксидом кремния? Вроде отработано все технологические изыски нанесения: хочешь аморфный — пожалуйста, хочешь потравить — пожалуйста, хочешь покрытие или объёмный материал — пожалуйста.
По своему опыту разбора скажу, что травятся микросхему фторводородом только в путь:)
По своему опыту разбора скажу, что травятся микросхему фторводородом только в путь:)
Хрен бы с ней пылить, это не проблема. Для этого есть магнетроны, а еще ее можно гальванически осаждать. А вот паттернировать платину очень затруднительно.
Почему сложно? По паттерну она наносится двумя способами, как и остальные: либо маской, либо lift-off…
Травить ее особо нечем, поэтому маски бесполезны. А взрывная литография в промышленной электронике не используется, потому что это сравнимо с валянием пластины в песке — после этого ее уже не очистишь, особенно от кусков платины. Если электроника того уровня, когда чистая комната особо не нужна, то можно и lift-off конечно.
А каков критерий настоящей нейроморфности чипа? «NeuroMatrix» nm6403 в 1998 году выпекли, он правда, по факту применяется для другого(БПФ и пр.), но задумывался как нейроморфный. В принципе, любой SIMD умеющий делать умножение с накоплением, желательно с нормализацией, подойдёт.
В статье правда, более специализированное устройство, где каждый логический синапс реализован физически, а оно надо? Благодаря скорости кремния, имеет смысл разделять физические ресурсы по времени, например, при обработке видео: вместо того, чтобы делать свой физический канал для каждого пикселя, обычно используют свёрточные сети.
В статье правда, более специализированное устройство, где каждый логический синапс реализован физически, а оно надо? Благодаря скорости кремния, имеет смысл разделять физические ресурсы по времени, например, при обработке видео: вместо того, чтобы делать свой физический канал для каждого пикселя, обычно используют свёрточные сети.
А из чего следует, что описываемое устройство больше похоже на биологию, чем цифровые конкуренты? Цифру можно гибко подстроить под модель, а свойства аналогового компьютера обусловлены элементной базой.
Чему здесь соответствует уровень возбуждения нейрона? Как я понимаю, аналоговые ячейки с гистерезисом соответствуют весу синапса, это не то.
Напряжение? Это мгновенная характеристика, а уровень возбуждения должен накапливаться, например в процессе принятия спайка импульсов.
Чему здесь соответствует уровень возбуждения нейрона? Как я понимаю, аналоговые ячейки с гистерезисом соответствуют весу синапса, это не то.
Напряжение? Это мгновенная характеристика, а уровень возбуждения должен накапливаться, например в процессе принятия спайка импульсов.
Здесь вопрос в том, сколько потребуется цифровых компонентов, чтобы реализовать один такой электронный синапс?
Да, накопление проводимости соответсвует весу синапса.
Про уровень возбуждения — да, Вы правы, но нет ничего совершенно прямо с листа. Думаю, что доработают конструкцию: добавят, быть может, диффузный конденсатор или что-то около того.
Да, накопление проводимости соответсвует весу синапса.
Про уровень возбуждения — да, Вы правы, но нет ничего совершенно прямо с листа. Думаю, что доработают конструкцию: добавят, быть может, диффузный конденсатор или что-то около того.
Цифровых компонентов понадобится много, но их можно разделять по времени. Ну да, потенциально данная схема может выиграть по разным параметрам, но пока это всё «преждевременная оптимизация». Другое дело, авторы утверждают, что их прототип работает лучше традиционной ИНС в эксперименте. Если это правда, то надо показать в математике за счёт чего.
«Традиционной» в том смысле, что расположение синапсов довольно простое (Рис.2а)
В смысле фраза "(e-f) Паттерны, полученные с помощью обычной нейросети и созданной на базе трёхмерных синапсов, соответственно." относится к двум аналоговым устройствам? А можно тогда пояснить фразу «за счёт меньшего отклонения сопротивления»?
Фактически да, к двум аналоговым устройствам.
В оригинале «resistance variation», т.е. при подаче напряжения в течение некоторого времени изменяется сопротивление с R0 до R1, при этом R1 имеет некоторую дельту, которая в случае с 3D-синапсом меньше, соответственно, ток после «акта записи» измеряется точнее.
В оригинале «resistance variation», т.е. при подаче напряжения в течение некоторого времени изменяется сопротивление с R0 до R1, при этом R1 имеет некоторую дельту, которая в случае с 3D-синапсом меньше, соответственно, ток после «акта записи» измеряется точнее.
Интересно, они это планировали или вышло «мы хотели поднять плотность упаковки, но неожиданно ещё и качество распознавания выросло». Всё таки у меня такое мнение: может быть аналоговые системы тут и перспективны, но насколько же приятнее работать с предсказуемыми и воспроизводимыми системами цифровыми.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
This is Science: Что внутри нейроморфного чипа?