Энергоэффективный чип под названием NeuRRAM исправляет старую проблему нехватки вычислительных ресурсов, позволяя запускать крупномасштабные алгоритмы искусственного интеллекта на небольших устройствах, достигая той же точности, что и расточительные цифровые компьютеры.
Алгоритмы искусственного интеллекта не могут продолжать расти нынешними темпами. Такие алгоритмы, как глубокие нейронные сети, которые частично вдохновлены мозгом, с несколькими слоями искусственных нейронов, связанных друг с другом с помощью числовых значений, называемых весами, становятся всё больше с каждым годом. Но в наше время аппаратные усовершенствования уже не поспевают за огромным объемом памяти и вычислительной мощностью, необходимой для запуска этих массивных алгоритмов. Вскоре размер алгоритмов искусственного интеллекта может упереться в стену.
И даже если бы мы могли продолжать наращивать аппаратное обеспечение для удовлетворения потребностей ИИ, есть еще одна проблема: их запуск на традиционных компьютерах тратит огромное количество энергии. Высокие выбросы углерода, возникающие в результате работы больших алгоритмов ИИ, уже вредны для окружающей среды, и ситуация будет только усугубляться по мере того, как они становятся всё более массивными.
Одно решение, называемое нейроморфными вычислениями, черпает вдохновение из биологического мозга для создания энергоэффективных конструкций. К сожалению, хотя эти чипы могут превзойти цифровые компьютеры по энергосбережению, им не хватает вычислительной мощности, необходимой для работы очень глубокой нейронной сети. Поэтому исследователям ИИ было легко их не заметить.
Ситуация изменилась в августе 2022 года, когда Вейер Ван, Х.‑С. Филип Вонг, Герт Каувенбергс и их коллеги представили новый нейроморфный чип под названием NeuRRAM, который включает в себя 3 миллиона ячеек памяти и тысячи нейронов, встроенных в его аппаратное обеспечение для запуска алгоритмов. Он использует относительно новый тип памяти, называемый резистивной RAM или RRAM. В отличие от предыдущих чипов RRAM, NeuRRAM запрограммирован на работу в аналоговом режиме, чтобы сэкономить больше энергии и места. В то время как цифровая память является двоичной — в ней хранится либо 1, либо 0, — каждая ячейка аналоговой памяти в чипе NeuRRAM может хранить несколько значений в полностью непрерывном диапазоне. Это позволяет чипу хранить больше информации от массивных алгоритмов ИИ в том же объёме памяти чипа.
В результате новый чип может выполнять сложные задачи искусственного интеллекта, такие как распознавание изображений и речи, не хуже цифровых компьютеров, и авторы утверждают, что он в 1000 раз более энергоэффективен, что открывает возможность для крошечных чипов выполнять всё более сложные алгоритмы в небольших устройствах, которые ранее не подходили для ИИ, таких как смарт‑часы и телефоны.
Учёные, не участвовавшие в работе, были глубоко впечатлены результатами. «Эта статья совершенно уникальна», — сказал Чжунруй Ван, давний исследователь RRAM в Университете Гонконга. «Они вносят свой вклад на разных уровнях — на уровне устройства, на уровне архитектуры схемы и на уровне алгоритма».
Создание новых воспоминаний
В цифровых компьютерах огромное количество энергии, потраченной впустую при выполнении алгоритмов ИИ, вызвано простым и вездесущим недостатком конструкции, который делает каждое отдельное вычисление неэффективным. Как правило, память компьютера, в которой хранятся данные и числовые значения, которые она обрабатывает во время вычислений, размещается на материнской плате вдали от процессора, где происходят вычисления.
Для информации, проходящей через процессор, «вы тратите восемь часов на дорогу, но работаете всего два часа», — сказал Ван, учёный, ранее работавший в Стэнфордском университете, который недавно перешел в стартап Aizip.
Решение этой проблемы с помощью новых чипов «всё в одном», которые объединяют память и вычисления, кажется простым. Это также ближе к тому, как наш мозг, вероятно, обрабатывает информацию, поскольку многие нейробиологи считают, что вычисления происходят внутри популяций нейронов, а воспоминания формируются, когда синапсы между нейронами усиливают или ослабляют их связи. Но создание таких устройств оказалось сложным, поскольку современные формы памяти несовместимы с технологиями процессоров.
Учёные десятилетия назад разработали материалы для создания новых чипов, которые выполняют вычисления там, где хранится память — технология, известная как вычисления в памяти. Но из‑за того, что традиционные цифровые компьютеры работали так хорошо, эти идеи игнорировались десятилетиями.
«Об этой работе, как и о большинстве научных работ, забыли», — сказал Вонг, профессор Стэнфордского университета.
Первое такое устройство появилось как минимум в 1964 году, когда инженеры‑электрики из Стэнфорда обнаружили, что могут манипулировать определенными материалами, называемыми оксидами металлов, чтобы включать и выключать их способность проводить электричество. Это важно, потому что способность материала переключаться между двумя состояниями обеспечивает основу для традиционной памяти. Обычно в цифровой памяти состояние высокого напряжения соответствует 1, а низкое напряжение — 0.
Чтобы заставить устройство RRAM переключить состояния, вы прикладываете напряжение к металлическим электродам, подключенным к двум концам оксида металла. Обычно оксиды металлов являются изоляторами, что означает, что они не проводят электричество. Но при достаточном напряжении ток накапливается, в конечном итоге проталкивая слабые места материала и прокладывая путь к электроду с другой стороны. Как только ток прорвался, он может свободно течь по этому пути.
Вонг сравнивает этот процесс с молнией: когда внутри облака накапливается достаточно заряда, он быстро находит путь с низким сопротивлением и ударяет молнией. Но в отличие от молнии, путь которой исчезает, путь через оксид металла остаётся, то есть он остаётся проводящим бесконечно долго. А можно стереть токопроводящую дорожку, подав на материал иное напряжение. Таким образом, учёные могут переключать RRAM между двумя состояниями и использовать их для хранения цифровой памяти.
Учёные середины века не осознали потенциал энергоэффективных вычислений, впрочем, они ещё и не нуждались в них, работая с меньшими алгоритмами. Только в начале 2000-х, когда были открыты новые оксиды металлов, учёные осознали возможности.
Вонг, который в то время работал в IBM, вспоминает, что его отмеченный наградами коллега, работавший над RRAM, признался, что не полностью понимает задействованную физику. «Если он этого не понимает, — вспоминает Вонг, — может быть, мне не стоит и пытаться это понять».
Но в 2004 году исследователи из Samsung Electronics объявили, что им удалось успешно интегрировать память RRAM, построенную поверх традиционного вычислительного чипа, предполагая, что чип вычислений в памяти, наконец, может стать возможным. Вонг решил хотя бы попытаться понять.
Чипы вычислений в памяти для ИИ
Более десяти лет такие исследователи, как Вонг, работали над созданием технологии RRAM до такой степени, чтобы она могла надежно справляться с вычислительными задачами высокой мощности. Примерно в 2015 году учёные начали осознавать огромный потенциал этих энергоэффективных устройств для больших алгоритмов ИИ, которые начали набирать обороты. В том же году учёные из Калифорнийского университета в Санта‑Барбаре показали, что устройства RRAM могут делать больше, чем просто хранить память по‑новому. Они могли бы сами выполнять основные вычислительные задачи, включая подавляющее большинство вычислений, которые происходят в искусственных нейронах нейронной сети, представляющие собой простые задачи умножения матриц.
В чипе NeuRRAM кремниевые нейроны встроены в аппаратное обеспечение, а ячейки памяти RRAM хранят веса — значения, представляющие силу связей между нейронами. А поскольку ячейки памяти NeuRRAM являются аналоговыми, хранящиеся в них веса представляют собой полный диапазон состояний сопротивления, которые возникают, когда устройство переключается между состоянием с низким сопротивлением и состоянием с высоким сопротивлением. Это обеспечивает даже более высокую энергоэффективность, чем может достичь цифровая память RRAM, потому что чип может выполнять множество матричных вычислений параллельно, а не синхронно одно за другим, как в версиях с цифровой обработкой.
Но поскольку аналоговая обработка все ещё отстает от цифровой на десятилетия, остается ещё много проблем, которые нужно решить. Во‑первых, аналоговые чипы RRAM должны быть необычайно точными, поскольку недостатки физического чипа могут приводить к изменчивости и шуму. (Для традиционных чипов, имеющих только два состояния, эти несовершенства не так важны.) Это значительно усложняет работу аналоговых устройств RRAM с алгоритмами ИИ, учитывая, что точность, скажем, распознавания изображения пострадает, если проводящее состояние устройства RRAM не всегда одинаково.
«Когда мы смотрим на путь молнии, каждый раз он разный», — сказал Вонг. «Итак, в результате этого RRAM демонстрирует определенную степень стохастичности — каждый раз, когда вы программируете их, они немного отличаются». Вонг и его коллеги доказали, что устройства RRAM могут хранить непрерывные веса ИИ и при этом быть такими же точными, как цифровые компьютеры, если алгоритмы обучены привыкать к шуму, с которым они сталкиваются на чипе, что позволило им создать чип NeuRRAM.
Еще одна важная проблема, которую им предстояло решить, касалась гибкости, необходимой для поддержки различных нейронных сетей. В прошлом разработчикам микросхем приходилось располагать крошечные устройства RRAM в одном месте рядом с более крупными кремниевыми нейронами. Устройства RRAM и нейроны были жёстко связаны без программирования, поэтому вычисления могли выполняться только в одном направлении. Для поддержки нейронных сетей с двунаправленными вычислениями требовались дополнительные провода и схемы, что увеличивало потребности в энергии и пространстве.
Поэтому команда Вонга разработала новую архитектуру чипа, в которой устройства памяти RRAM и кремниевые нейроны были смешаны вместе. Это небольшое изменение в конструкции уменьшило общую площадь и сэкономило энергию.
«Мне показалось, что решение было действительно красивым», — сказала Мелика Пайванд, нейроморфный исследователь из Швейцарского федерального технологического института в Цюрихе. «Я определенно считаю это новаторской работой».
В течение нескольких лет команда Вонга работала с коллегами над проектированием, производством, тестированием, калибровкой и запуском алгоритмов ИИ на чипе NeuRRAM. Они рассматривали возможность использования новых типов памяти, которые также можно использовать в микросхемах вычислений в памяти, но RRAM имела преимущество в аналоговом программировании, и ещё её было относительно легко интегрировать с традиционными вычислительными материалами.
Их недавние результаты представляют собой первый чип RRAM, который может запускать такие большие и сложные алгоритмы искусственного интеллекта — подвиг, который ранее был возможен только в теоретическом моделировании. «Когда дело доходит до настоящего кремния, такой возможности не хватает», — сказал Ануп Дас, учёный из Университета Дрекселя. «Эта работа — первая демонстрация».
«Цифровые системы искусственного интеллекта гибки и точны, но на порядки менее эффективны, — сказал Каувенбергс. Теперь, по словам Каувенбергса, их гибкий, точный и энергоэффективный аналоговый чип RRAM „впервые преодолел этот разрыв“.
Масштабирование
Их дизайн позволяет сохранить чип NeuRRAM крошечным — размером с ноготь — и в то же время сжать 3 миллиона устройств памяти RRAM, которые могут служить аналоговыми процессорами. И хотя он может запускать нейронные сети, по крайней мере, так же хорошо, как цифровые компьютеры, чип также (и впервые) может запускать алгоритмы, выполняющие вычисления в разных направлениях. Их чип может вводить напряжение в строки массива RRAM и считывать выходные данные из столбцов, что является стандартом для чипов RRAM, но он также может делать это в обратном направлении от столбцов к строкам, поэтому его можно использовать в нейронных сетях, которые работают с потоком данных в разных направлениях.
Как и в случае с самой технологией RRAM, это уже давно было возможно, но никто не думал об этом. «Почему мы не подумали об этом раньше? — спросила Пайванд. — Оглядываясь назад, я не знаю».
«На самом деле, это открывает множество других возможностей», — сказал Дас. В качестве примера он упомянул способность простой системы запускать огромные алгоритмы, необходимые для моделирования многомерной физики или беспилотных автомобилей.
Но проблема в размере. Крупнейшие нейронные сети теперь содержат миллиарды весов, а не миллионы, содержащиеся в новых чипах. Вонг планирует масштабировать их, размещая несколько чипов NeuRRAM друг над другом.
Не менее важно будет сохранить низкие затраты на электроэнергию в будущих устройствах или еще больше сократить их. Один из способов добиться этого — ещё более точно скопировать мозг, чтобы перенять коммуникационный сигнал, используемый между реальными нейронами: электрический всплеск. Это сигнал от одного нейрона к другому, когда разница в напряжении внутри и снаружи клетки достигает критического порога.
«С этим есть большие проблемы», — сказал Тони Кеньон, исследователь нанотехнологий из Университетского колледжа Лондона. «Но мы всё ещё можем двигаться в этом направлении, потому что... есть вероятность, что вы добьетесь большей энергоэффективности, если будете использовать очень редкие всплески». Однако, по словам Кеньона, для запуска алгоритмов, которые работают на текущем чипе NeuRRAM, вероятно, потребуется совершенно иная архитектура.
На данный момент эффективность энергопотребления, достигнутая командой при выполнении больших алгоритмов ИИ на чипе NeuRRAM, породила новую надежду на то, что технологии памяти могут стать будущим вычислений с ИИ. Возможно, однажды мы даже сможем загрузить 86 миллиардов нейронов человеческого мозга и триллионы соединяющих их синапсов, не оставаясь при этом без энергии.
Автор перевода @arielf
НЛО прилетело и оставило здесь промокод для читателей нашего блога:
— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS
