Искусственный мозг можно создать уже сейчас

Original author: Jennifer Hasler
  • Translation
image

Наступила пора вычислений, вдохновлённых устройством мозга. Алгоритмы, использующие нейросети и глубинное обучение, имитирующее некоторые аспекты работы человеческого мозга, позволяет цифровым компьютерам достигать невероятных высот в переводе языков, поиске трудноуловимых закономерностей в огромных объёмах данных и выигрывать у людей в го.

Но пока инженеры продолжают активно развивать эту вычислительную стратегию, способную на многое, энергетическая эффективность цифровых вычислений подходит к своему пределу. Наши дата-центры и суперкомпьютеры уже потребляют мегаватты – 2% всего потребляемого электричества в США уходит на дата-центры. А человеческий мозг прекрасно обходится 20 Вт, и это малая доля энергии, содержащейся в потребляемой ежедневно еде. Если мы хотим улучшать вычислительные системы, нам необходимо сделать компьютеры похожими на мозг.

С этой идей связан всплеск интереса к нейроморфным технологиям, обещающий вынести компьютеры за пределы простых нейросетей, по направлению к схемам, работающим как нейроны и синапсы. Разработка физических схем, похожих на мозг, уже довольно неплохо развита. Проделанная в моей лаборатории и других учреждениях по всему миру работа за последние 35 лет привела к созданию искусственных нервных компонентов, похожих на синапсы и дендриты, реагирующие и вырабатывающие электрические сигналы почти так же, как настоящие.

Так что же требуется для того, чтобы интегрировать эти строительные блоки в полномасштабный компьютерный мозг? В 2013 году Бо Марр, мой бывший аспирант из Технологического института Джорджии помог мне оценить наилучшие современные достижения в инженерном деле и нейробиологии. Мы пришли к выводу, что вполне возможно создать кремниевую версию коры человеческого мозга при помощи транзисторов. Более того, итоговая машина занимала бы меньше кубического метра в пространстве и потребляла бы менее 100 Вт, что не так уж сильно отличается от человеческого мозга.

Я не хочу сказать, что создать такого компьютер будет легко. Придуманная нами система потребует несколько миллиардов долларов на разработку и постройку, и для придания ей компактности в неё войдут несколько передовых инноваций. Также встаёт вопрос того, как мы будем программировать и обучать подобный компьютер. Исследователи нейроморфизма пока ещё бьются над пониманием того, как заставить тысячи искусственных нейронов работать вместе и как найти полезные приложение для псевдомозговой активности.

И всё же тот факт, что мы можем придумать такую систему, говорит о том, что нам недолго осталось до появления чипов меньшего масштаба, пригодных для использования в портативной и носимой электронике. Такие гаджеты будут потреблять мало энергии, поэтому нейроморфный чип с высокой энергоэффективностью – даже если он возьмёт на себя лишь часть вычислений, допустим, обработку сигналов – может стать революционным. Существующие возможности, такие, как распознавание речи, смогут работать в шумных условиях. Можно даже представить себе смартфоны будущего, проводящие перевод речи в реальном времени в разговоре двух людей. Подумайте вот о чём: за 40 лет с момента появления интегральных схем для обработки сигналов, закон Мура улучшил их энергоэффективность примерно в 1000 раз. Очень похожие на мозг нейроморфные чипы смогут с лёгкостью превзойти эти улучшения, уменьшив потребление энергии ещё в 100 млн раз. В результате вычисления, для которых раньше нужен был дата-центр, уместятся у вас на ладони.

В идеальной машине, приблизившейся к мозгу, нужно будет воссоздать аналоги всех основных функциональных компонентов мозга: синапсы, соединяющие нейроны и позволяющие им получать и реагировать на сигналы; дендриты, комбинирующие и проводящие локальные вычисления на базе входящих сигналов; ядро, или сома, регион каждого нейтрона, объединяющий вход с дендритов и передающий выход на аксон.

Простейшие варианты этих основных компонентов уже реализованы в кремнии. Начало этой работе дал тот же самый металл-оксид-полупроводник, или MOSFET, миллиарды экземпляров которого используются для построения логических схем в современных цифровых процессорах.

У этих устройств много общего с нейронами. Нейроны работают при помощи барьеров, управляемых напряжением, и их электрическая и химическая активность зависит в основном от каналов, в которых ионы двигаются между внутренним и наружным пространством клетки. Это гладкий, аналоговый процесс, в котором происходит постоянное накопление или уменьшение сигнала, вместо простых операций типа вкл/выкл.

MOSFET тоже управляются напряжением и работают при помощи движений отдельных единиц заряда. А когда MOSFET работают в «подпороговом» режиме, не достигая порога напряжения, переключающего режимы вкл и выкл, количество текущего через устройство тока очень мало – менее одной тысячной того тока, что можно найти в типичных переключателях или цифровых затворах.

Идею о том, что физику подпороговых транзисторов можно использовать в создании мозгоподобных схем, высказал Карвер Мид из Калтеха, способствовавший революции в области сверхбольших интегральных схем в 1970-х. Мил указал на то, что разработчики чипов не пользовались многими интересными аспектами их поведения, применяя транзисторы исключительно для цифровой логики. Этот процесс, как писал он в 1990-м, похож на то, будто «всю прекрасную физику, существующую в транзисторах, сминают до нолей и единиц, а затем на этой основе мучительно строят затворы AND и OR, чтобы заново изобрести умножение». Более «физический» или основанный на физике компьютер мог бы выполнять больше вычислений на единицу энергии, чем обычный цифровой. Мид предсказал, что такой компьютер и места будет занимать меньше.

В последовавшие годы инженеры нейроморфных систем создали все базовые блоки мозга из кремния с высокой биологической точностью. Дендриты, аксон и сому нейрона можно сделать из стандартных транзисторов и других элементов. К примеру, в 2005 году мы с Итаном Фаркухаром создали нейронную схему из набора из шести MOSFET и кучки конденсаторов. Наша модель выдавала электрически импульсы, очень похожие на то, что выдаёт сома нейронов кальмара – давнего объекта экспериментов. Более того, наша схема достигла таких показателей с уровнями тока и потребления энергии близкими к существующим в мозгу кальмара. Если бы мы захотели использовать аналоговые схемы для моделирования уравнений, выведенных нейробиологами для описания этого поведения, нам пришлось бы использовать в 10 раз больше транзисторов. Выполнение таких расчётов на цифровом компьютере потребовало бы ещё больше места.

image
Синапсы и сома: транзистор с плавающим затвором (слева вверху), способный хранить различное количество заряда, можно использовать для создания координатного массива искусственных синапсов (слева внизу). Электронные версии других компонентов нейрона, типа сомы (справа), можно сделать из стандартных транзисторов и других компонентов.

Синапсы эмулировать чуть сложнее. Устройство, ведущее себя, как синапс, должно уметь запоминать, в каком состоянии оно находится, отвечать определённым образом на входящий сигнал и адаптировать свои ответы со временем.

К созданию синапсов есть несколько потенциальных подходов. Наиболее развитый из них – обучающийся синапс на одном транзисторе (single-transistor learning synapse, STLS), над которым мы с коллегами в Калтехе работали в 1990-х, когда я была аспирантом у Мида.

Впервые мы представили STLS в 1994-м, и он стал важным инструментом для инженеров, создающих современные аналоговые схемы – к примеру, физические нейросети. В нейросетях у каждого узла сети есть связанный с ним вес, и эти веса определяют, как именно комбинируются данные с разных узлов. STLS был первым устройством, способным содержать набор разных весов и перепрограммироваться на лету. Кроме того, устройство энергонезависимо, то есть запоминает своё состояния, даже когда не используется – это обстоятельство значительно уменьшает потребность в энергии.

STLS – это разновидность транзистора с плавающим затвором, устройства, используемого для создания ячеек в флэш-памяти. В обычном MOSFET затвор управляет проходящем через канал током. У транзистора с плавающим затвором есть второй затвор, между электрическим затвором и каналом. Этот затвор не соединён напрямую с землёй или любым другим компонентом. Благодаря такой электроизоляции, усиленной высококачественными кремниевыми изоляторами, заряд долгое время сохраняется в плавающем затворе. Этот затвор способен принимать разное количество заряда, в связи с чем может давать электрический отклик на многих уровнях – а это необходимо для создания искусственного синапса, способного варьировать свой ответ на стимул.

Мы с коллегами использовали STLS, чтобы продемонстрировать первую координатную сеть, вычислительную модель, пользующуюся популярностью у исследователей наноустройств. В двумерном массиве устройства находятся на пересечении линий ввода, идущих сверху вниз, и линий вывода, идущих слева направо. Такая конфигурация полезна тем, что позволяет программировать соединительную силу каждого «синапса» отдельно, не мешая другим элементам массива.

Благодаря, в частности, недавней программе DARPA под названием SyNAPSE, в области инженерного нейроморфинга произошёл всплеск исследований искусственных синапсов, созданных из таких наноустройств, как мемристоры, резистивная память и память с изменением фазового состояния, а также устройства с плавающим затвором. Но этим новым искусственным синапсам будет тяжело улучшаться на основе массивов с плавающим затвором двадцатилетней давности. Мемристоры и другие виды новой памяти сложно программировать. Архитектура некоторых из них такова, что обратиться к определённому устройству в координатном массиве довольно сложно. Другие требуют выделенного транзистора для программирования, что существенно увеличивает их размер. Поскольку память с плавающим затвором можно запрограммировать на большой спектр значений, её легче подстроить для компенсации производственных отклонений от устройства к устройству по сравнению с другими наноустройствами. Несколько исследовательских групп, изучавших нейроморфные устройства, пробовали внедрить наноустройства в свои разработки и в результате стали использовать устройства с плавающим затвором.

И как же мы совместим все эти мозгоподобные компоненты? В человеческом мозге нейроны и синапсы переплетены. Разработчики нейроморфных чипов тоже должны избрать интегрированный подход с размещением всех компонентов на одном чипе. Но во многих лабораториях такого не встретишь: чтобы с исследовательскими проектами было проще работать, отдельные базовые блоки размещаются в разных местах. Синапсы могут быть размещены в массиве вне чипа. Соединения могут идти через другой чип, программируемую пользователем вентильную матрицу (FPGA).

Но масштабируя нейроморфные системы, необходимо убедиться, что мы не копируем строение современных компьютеров, теряющих значительное количество энергии на передачу битов туда и сюда между логикой, памятью и хранилищем. Сегодня компьютер легко может потреблять в 10 раз больше энергии на передвижение данных, чем на вычисления.

Мозг же, наоборот, минимизирует энергетическое потребление коммуникаций благодаря высокой локализации операций. Элементы памяти мозга, такие, как сила синапсов, перемешана с передающими сигнал компонентами. А «провода» мозга – дендриты и аксоны, передающие входящие сигналы и исходящие импульсы – обычно короткие по сравнению с размером мозга, и им не требуется много энергии для поддержания сигнала. Из анатомии мы знаем, что более 90% нейронов соединяются только с 1000 соседних.

Другой большой вопрос для создателей мозгоподобных чипов и компьютеров – алгоритмы, которые должны будут работать на них. Даже слабо похожая на мозг система может дать большое преимущество перед обычной цифровой. К примеру, в 2004 году моя группа использовала устройства с плавающим затвором для выполнения умножения в обработке сигнала, и на это потребовалось в 1000 раз меньше энергии и в 100 раз меньше места, чем цифровой системе. За прошедшие годы исследователи успешно продемонстрировали нейроморфные подходы к другим видам вычислений для обработки сигналов.

Но мозг всё ещё остаётся в 100 000 раз эффективнее этих систем. Всё оттого, что хотя наши текущие нейроморфные технологии используют преимущества нейроноподобной физики транзисторов, они не используют алгоритмы подобные тем, что использует мозг для своей работы.

Сегодня мы только начинаем открывать эти физические алгоритмы – процессы, которые смогут позволить мозгоподобным чипам работать с эффективностью, близкой к мозговой. Четыре года назад моя группа использовала кремниевые сомы, синапсы и дендриты для работы ищущего слова алгоритма, распознававшего слова в аудиозаписи. Этот алгоритм показал тысячекратное улучшение в энергоэффективности по сравнеию с аналоговой обработкой сигналов. В результате, уменьшая напряжение, подаваемое на чипы и используя транзисторы меньшего размера, исследователи должны создать чипы, сравнимые по эффективности с мозгом на многих типах вычислений.

Когда я 30 лет назад начинала исследования в области нейроморфизма, все верили в то, что разработка систем, похожих на мозг, даст нам удивительные возможности. И действительно, сейчас целые индустрии строятся вокруг ИИ и глубинного обучения, и эти приложения обещают полностью преобразовать наши мобильные устройства, финансовые учреждения и взаимодействие людей в общественных местах.

И всё же эти приложения очень мало полагаются на наши знания о работе мозга. В следующие 30 лет мы без сомнения сможем увидеть, как эти знания всё более активно используются. У нас уже есть множество основных аппаратных блоков, необходимых для преобразования нейробиологии в компьютер. Но мы должны ещё лучше понять, как эта аппаратура должна работать – и какие вычислительные схемы дадут наилучшие результаты.

Считайте это призывом к действию. Мы достигли много, используя очень примерную модель работы мозга. Но нейробиология может привести нас к созданию более сложных мозгоподобных компьютеров. И что может быть лучше использования нашего с вами мозга для понимания того, как сделать эти новые компьютеры?
Support the author
Share post
AdBlock has stolen the banner, but banners are not teeth — they will be back

More
Ads

Comments 17

    +3
    «У нас есть транзисторы, из транзисторов можно сделать модель нейронов -> мы можем построить мозг»
    Подобные вещи я читал еще, вроде, в Юном Технике в 80-х годах.
    Не, транзисторы стали поменьше — спору нет, но проблема с тем, как это все соединять и тренировать никуда не ушла. Снижение размеров и энергопотребления — последняя в приоритетах, мне кажется.
      –1
      блин, капец. люди тешут себя мыслью, что уже почти всё знают.
      Сразу вспоминаю про идею смоделировать нематоду (ведь в неё всего 302 нейрона!). и вот больше 10 лет прошло и что-то я не вижу цифровых нематод которые живут и ползают в цифровом трехмерном пространстве.
        +1
        Да это всё не так интересно, насколько я понимаю. Возвращаясь к пресловутому примеру с пернатыми, людям надо было летать, а не воссоздавать модель птицы на совершенно чуждой аппаратной платформе (механика) вплоть до перышек, хотя поначалу пытались и махолеты делать, но тема не взлетела.
        А вот недавний пример цифрового паркурщика от DeepMind, например, как вам? Вроде чистые «нейросети», без алгоритмизированного читерства всякого, уверенно бегает в цифровом трехмерном пространстве, ручками машет, ножками.
        Нам не нужны искусственные черви, видимо разработчики считают, что там уже более-менее всё понятно и тратить время на них глупо, сразу пытаемся сделать человека.
          0
          да нет! интересно, я лично знал человека который питался пилить нематоду. даже несколько лет назад на GT была статься про команду которая эту нематоду делает, не один человек. но что-то новостей больше нету.
          мы знаем, вернее догадываемся, что мозг это нейросеть и по прикладным задачам всё работает замечательно.
          но в глобальном плане, мы мало чего знаем о софте в нашем мозгу. а без софта — ни о каком мозге речи быть не может.
          +3
          Сделали же его.
          Сначала полную модель со всеми деталями:
          browser.openworm.org
          Потом Виртуально оживляли.
          А затем и железка появилась. Двигается на колесах, ищет что то, ну прям как червь, а что мы ожидали?
          Нематода



            0
            Цифровую нематоду настолько просто имплементировать, что даже школьники на джаваскрипте могут ее написать —
            https://youtu.be/WAYeeMcu1tY?t=33
            +1
            Есть старый способ устройть холивар у нейрофизилогов: стучишься в одну комнату, спрашиваешь «А мозг цифровой?», стучишься в другую — «А мозг аналоговый?». Люди с криками выдвигаются в коридор. Весело, информативно, но по лицу можно отхватить от любой стороны. Ну мы как бы не знаем, как работает мозг, как меняются веса, почему иногда есть реакция на подпороговое возбуждение, хотя чаще нет…

            Я не считаю себя умнее нейрофизилога с 30-тилетним стажем, но если у них получится работающая модель части мозга, я очень-очень удивлюсь. С другой стороны, я уверен, что что-то интересное и практически применимое у них таки получится.
              0
              Имхо, копировать мозг это как копировать гепарда, чтобы быстро передвигаться. Теоретически можно, но практически автомобиль лучше, а от гепарда можно попробовать взять аэродинамическую форму, например. Так и тут. Создавать ИИ надо своим путём, а не копируя мозг. Эволюции потребовали миллиарды лет для создания мозга, у нас столько времен нет.
                0
                Почему нет? Армагедецц приближается, надо успеть загрузиться в машины и улететь?
                  0
                  Потому, что люди хотят ИИ здесь и сейчас, а не через миллиарды лет.
                +1

                Не факт, что нейронные сети и мозг работает так, как сейчас предполагается. Вот, к примеру, альтернативная точка зрения у AlexeyR — кора мозга представляет собой клеточный автомат с волнами. Вполне логичная модель, красиво объясняющая многие вещи, имеющая право на существование.

                  +2
                  Да, хотелось бы услышать комментарии автора. В его модели каждый нейрон имеет сотни тысяч «ячеек памяти» (хим. рецепторов, реагирующих на нейромедиаторы). Всего же в коре 20 млрд нейронов, так что нет, искусственный мозг «уже сейчас» нельзя создать. И да, алгоритмы работы мозга в его модели вполне цифровые.
                    +1
                    От автора :) Все еще интереснее. Напомню, что по моей теории каждая зона коры мозга — это пространство контекстов. То есть каждая миниколонка коры, состоящая из сотни нейронов, — это самостоятельный вычислительный модуль, который производит рассмотрение входной информации в собственном контексте. При этом каждая миниколонка обладает собственной копией полной памяти. Чтобы понять как это работает надо читать статьи, кратко не объяснишь. Таким образом, в каждой зоне коры память оказывается продублирована по числу миниколонок.

                    И тут начинается самое интересное. По сути, все миниколонки одной зоны коры абсолютно одинаковы. Они отличаются только тем, как они перекодируют входную информацию. Такое устройство позволяет зоне коры рассмотреть за один такт порядка 100 000 (плюс минус в зависимости от площади зоны коры) вариантов трактовки и выбрать самые удачные. Чтобы работать независимо друг от друга миниколонкам и требуется собственная копия памяти.

                    Но мозг работает «на химии», продолжительность химического вычислительного такта — это 20-100 миллисекунд, что очень долго по масштабам цифровых устройств. То есть в кремнии можно воспроизвести одну миниколнку и один экземпляр памяти и просто выполнить 100 000 раз вычисления, рассчитав каждый из контекстов. Если сделать несколько миниколнок, то вычисления можно сильно распараллелить. Это все повод для оптимизма.

                    Но сама миниколонка — это не просто сто нейронов. Это комбинаторное пространство аксонно-дендритных пересечений. В этом пространстве все рецепторы (их кластеры) становятся самостоятельными вычислительными элементами (их функции описаны в цикле статей). Это число исчисляется уже десятками и сотнями миллионов. Функции кластеров рецепторов достаточно просты и при таком числе напрашивается не программная эмуляция, а их реализация в железе.

                    С учетом за и против я склоняюсь к тому, что смоделировать мозг можно уже сегодня, хотя и предстоит попотеть.
                  0

                  Все упирается в быстродействие компьютера.А между тем, существует простой способ значительно увеличить быстродействие персоналки.

                    0
                    Никогда не создадут ничего, что хотя бы близко подошло к человеческому мозгу!
                    И дело не в моём антропоцентризме, а в том, что человеческий мозг и компьютер работают на разных принципах.
                    ИИ основан на цифровой технике, которая, какой бы сложной ни была, не сможет быть сложнее мозга человека.
                    Могу это доказать, но не в короткой заметке.
                      –1
                      Гипотетическая сборка копии чьего-то мозга по атомам не считается? Законы физики это не запрещают.
                        0
                        Гипотетически возможно всё. Просто жаль, что вместо того, чтобы делом заниматься у нас сидят Емели и ждут какой-то не то щуки, не то золотой рыбки. Ведь гипотетически они тоже возможны…

                    Only users with full accounts can post comments. Log in, please.