Comments 16
Нужна Сара Конор, иначе все это зайдет слишком далеко…
Одночиповые отладочные платы в свободной продаже будут?
Это получается 5,4к транзисторов на одну нейронную связь. Как то многовато. На один нейрон я бы ще ще понял. Вот бы глянуть на архитектуру.
ru.wikipedia.org/wiki/TrueNorth (текст cc-by-sa 3, авторы)
Подробности в статье «A million spiking-neuron integrated circuit with a scalable communication network and interface» // Science 8 August 2014: Vol. 345 no. 6197 pp. 668-673 DOI: 10.1126/science.1254642 — paulmerolla.com/merolla_main_som.pdf
«Each core has 104,448 bits of local memory to store synapse states (65,536 bits), neuron states and parameters (31,232 bits), destination addresses (6, 656 bits), and axonal delays (1, 024 bits). „
Особенно часть “Supplementary Text: Architecture & Design». Физические «нейроны» получаются из 1,3 тыс вентилей, логические нейроны реализуются путем временного мультиплексирования 256 штук на одном физическом за шаг эмуляции (1 мс). Номинальная частота эмуляции («The time step is nominally 1ms,») — «1kHz», частота сигналов выбора нейрона — 256 кГц. Напряжение питания 0.775V. Типичные частоты срабатывания нейронов — 20 Гц, максимальная (в бенчмарке на потребление питания) — 200 Гц. («For a typical network with neurons that fire at an average rate of 20Hz and make an average of 128 connections, a core will receive on average five incoming spike events in a 1ms time step, which corresponds to ~640 neural updates… out of the possible 256 x 256»)
реализованы:[1] один миллион эмулируемых «нейронов»; 256 миллионов эмулируемых связей между нейронами — «синапсов»; около 400 мегабит SRAM памяти (приблизительно 50 мегабайт). Для организации такого количества элементов использовалось 4096 блоков («ядер») в двухмерном массиве размером 64 на 64. Каждый блок («ядро»)… позволяет… моделировать 256 «нейронов» с частотой 1 кГц[2]… Моделируются «нейроны» с двоичным состоянием (Spiking neurons; Integrate-and-fire). Синапсы имеют веса, выражающиеся как 9-ти битные целые, и 4-битную временную задержку.[2]5.4 млрд транзисторов (на площади 430 мм2 — это очень крупный чип) на 4096 ядер — 1.3 млн транзисторов на ядро, из них 0,6 — sram память (6*100 кбит). Каждый эмулируемый нейтрон имеет 256 «синапсов», частота в 1 кГц относится, вероятно к передаче эмулируемых сигналов по «синапсам». Техпроцесс чипа — 28 нм с «low-leakage transistors». Традиционной частоты нет, т.к это не чистая синхронная схема, а частично асинхронная («eventdriven, hybrid asynchronous-synchronous approach»)
Подробности в статье «A million spiking-neuron integrated circuit with a scalable communication network and interface» // Science 8 August 2014: Vol. 345 no. 6197 pp. 668-673 DOI: 10.1126/science.1254642 — paulmerolla.com/merolla_main_som.pdf
«Each core has 104,448 bits of local memory to store synapse states (65,536 bits), neuron states and parameters (31,232 bits), destination addresses (6, 656 bits), and axonal delays (1, 024 bits). „
Особенно часть “Supplementary Text: Architecture & Design». Физические «нейроны» получаются из 1,3 тыс вентилей, логические нейроны реализуются путем временного мультиплексирования 256 штук на одном физическом за шаг эмуляции (1 мс). Номинальная частота эмуляции («The time step is nominally 1ms,») — «1kHz», частота сигналов выбора нейрона — 256 кГц. Напряжение питания 0.775V. Типичные частоты срабатывания нейронов — 20 Гц, максимальная (в бенчмарке на потребление питания) — 200 Гц. («For a typical network with neurons that fire at an average rate of 20Hz and make an average of 128 connections, a core will receive on average five incoming spike events in a 1ms time step, which corresponds to ~640 neural updates… out of the possible 256 x 256»)
The neuron is an extension of the integrateand-fire neuron with additional features (model described in (20), Table S2) and uses 1,272 logic gates (924 gates for the neuron and 348 gates for the random number generator) in a 28nm process, corresponding to an area of 2900µm2; storing neuron state (20 bits) requires an additional area of 3.0µm2 per neuron. By multiplexing the neuron 256 times in a time step, the effective area per neuron is: 2900µm2/256 + 3.0µm2 = 14.3µm2. For reference, a state-ofthe-art (non-multiplexed) mixed analog–digital neuron uses on the order of 400µm2 in 130nm technology (6).Стр 30 — «Fig. S1: Layout and operation of the neurosynaptic core. The core implements 256 neurons, 256 axons, and a 256x256 array of synapses. (A) Layout of the five main blocks of the core»
Система TrueNorth, состоит из отдельных чипов-модулей, которые работают, как нейроны мозга.
Оставим сейчас за кадром то что никто на самом деле не знает как работают нейроны мозга. В мозгу одних только нейромедиаторов под 4000, а не так давно было известно всего 12, и внесинаптических рецепторов для этих нейромедиаторов до 25% от общего количества рецепторов.
Гораздо интереснее другое — на сколько я понимаю, TrueNorth спайковый процессор, а для спайковых сетей сколько нибудь надёжно работающих алгоритмов обучения ещё недавно не было, есть только совсем общий механизм подкрепления и всё. Что-то изменилось в этой части пока мы тут все спали? Можно почитать про примеры эффективного обучения спайковых систем?
TrueNorth поддерживает «глубинное обучение»
— Ссылка битая.
— Можно узнать миксимальную/минимальную/среднюю/запланированную глубину в полученой системе? Она фиксирована для комплекса или зависит от задачи?
— Если не трудно расскажите, а у одного процессора TrueNorth в каких пределах можно перепрограммировать архитектуру связей в процессоре? Могу я, например, все нейроны одного чипа собрать в 10 слоёв или какую-то неслоистую структуру? Могу ли менять структуру связей на лету?
Термин 'глубокое обучение' акцентирует внимание на сложности обучения внутренних (глубоких) слоев многослойной сети, которые плохо поддаются классическим методам обучения, таким как метод обратного распространения ошибки.
Если не использовать предобучения или других способов, которые эту проблему успешно решают.
хм. в принципе думаю реально если не думать, то голос в текст преобразовывать оно сможет со временем…
А совсем недавно IBM купила Alchemy, которые используют (использовали?) амазоновские инстансы для своего ИИ. И их техдиректор утверждал, что про нейроморфные чипы никогда не слышал — мол, мы их не используем… Одно радует — Скайнет обещал лягушек на этой планете не трогать. :)
>>> Сейчас проект находится на одной из начальных стадий развития, и до использования TrueNorth в смартфонах или умных часах еще далеко.
Так что на смартфоны-то ждать, крыс? (:
Так что на смартфоны-то ждать, крыс? (:
Sign up to leave a comment.
IBM собрала из нейроморфных чипов нового типа «мозгоподобную» систему