Cerebras Systems представила самый большой в мире процессор с 2,6 трлн транзисторов и 850 000 ядер


    В прошлом году компания Cerebras System представила самый большой в мире процессор. Его размеры составили 220 x 220 мм, площадь — 46 225 мм². Процессор включает 1,2 трлн транзисторов. Чип получил название WSE (Wafer Scale Engine). Представители компании разработали и компьютер CS-1, основой которого стал гигантский процессор. Систему официально представили 18 ноября 2019 года.

    Сейчас Cerebras System рассказала о новом процессоре, количество транзисторов в котором увеличится более чем в 2 раза — с 1,2 трлн до 2,6 трлн. Резкое увеличение количества элементов в чипе стало возможным благодаря переходу на 7-нм техпроцесс. Кратно выросло и число ядер — их теперь 850 000.



    Размеры первого процессора огромны — 22 x 22 см, что сопоставимо с размерами небольшого ноутбука. Он в 55.9 раз больше самого крупного GPU-чипа, Nvidia A100. Ну а CS-1 назван производителем «самым быстрым компьютером для работы с искусственным интеллектом и обучения нейросетей». Охлаждение — жидкостное с внутренним контуром и двумя насосами. Дополнительно установлены четыре крупных кулера, обеспечивающие скорость воздушного потока в 0,95 м3/с.



    Процессор первого поколения включал 400 000 вычислительных ядер. Его оснастили 18 ГБ памяти формата SRAM, а пропускная способность при этом достигла 9 петабайт в секунду. Система потребляла 18 кВт энергии, которую подавали 12 блоков питания. Масса компьютера с установленным WSE — 254 килограмма. Для включения системы в единую сетевую инфраструктуру использовались 12 портов 100 Gigabit Ethernet (100GBase-SR4).


    Wafer Scale Engine в сборе с системой питания и охлаждения
    Генеральный директор и соучредитель Cerebras Systems Эндрю Фельдман на презентации новинки рассказывал, что CS-1 в три раза производительней кластеров TPU от Google. Вычислительные решения от поискового гиганта по энергетическим характеристикам оказались хуже разработки компании, потребляя более 100 кВт электроэнергии.

    В 2019 году первые экземпляры CS-1 были переданы заказчикам. Среди них — Аргоннская национальная лаборатория министерства энергетики США, Суперкомпьютерный центр Питтсбурга и Ливерморская национальная лаборатория.



    На конференции Hot Chips 2020 компания Cerebras System объявила, что перейдет с 16-нм техпроцесса на 7-нм. Производителем процессора останется тайваньская Taiwan Semiconductor Manufacturing Company (TSMC). Представитель разработчика заявил, что в лаборатории тестируется несколько образцов WSE нового поколения.



    Ожидается, что Cerebras System увеличит объем доступной памяти чипа и усилит межкомпонентные соединения микросхем для повышения пропускной способности. Скорее всего, компания продолжит предоставлять в аренду вычислительные мощности для обучения нейросетей корпоративных клиентов. Кто станет клиентом, выяснится в ближайшем будущем, но можно быть уверенным в том, что желающих будет много.
    Selectel
    IT-инфраструктура для бизнеса

    Комментарии 50

      +15
      But Can It Run Crysis?
        0
        это скорее всего ASIC под нейросети.
          +4
          Это да, просто дежурная шутка при выходе чего-то нового мощного связанного с компьютерами.
            0
            Оно не ASIC. Массив простых, но программируемых процессоров оптимизированных под линейную алгебру. Ближайшие аналоги TPU процессоры от Гугла, чуть более дальний аналог — GPU.

            Т.е. оно довольно узкоспециализированное железо (как например GPU в первую очередь оптимизированы для работы с графикой), но без жестко «зашитых в железо» алгоритмов обработки данных как в ASIC чипах.
            +4

            Браво, зашёл написать или убедиться, что этот комментарий есть :)

              +1

              Оригинальный Кризис (2007) — да.
              Ремастер что выйдет скоро — под сомнением!

                0
                Ну то что показывали мягко говоря на ремастер не тянет.
                Я уже не говорю про хотя бы приблизительно такой же вау эффект, об этом и речи не идёт. Тут хотя бы не хуже сделать))
                +1

                Вряд ли какая-либо игра сможет загрузить столько ядер)

              +3
              Когда увидел заголовок, сразу представил размер куллера с турбину самолета
                +2
                Интересно, сколько из ядер там отключено. При 7нм техпроцессе и таком гигантском размере всего кристалла количество дефектов должно зашкаливать…
                  0
                  Скорее всего, несколько процентов.
                    0
                    было где то в комментах если не ошибаюсь — их не просто ещё отключить, а «отрезать» надо по шине и питанию
                  +1
                  Странно. Квадрат 22см х 22 см не вписывается в диаметр пластины у TSMC 300мм (должно быть 21.2). Либо, где-то приврали, либо я что-то не учитываю
                  Пластины больше или процессор составной (чиплет)?
                    +2
                    Там углы квадрата скруглили.
                      0
                      Даже в мыслях не было такого простого ответа :)
                        +2
                        Это же нарушение патента эпла!
                          0
                          Ну пока с этой штуки ещё никто не звонил… Хотя я бы посмотрел на это действие.
                            0
                            Спокойно! Они это учли — у них углы на самом деле не скругленные, а усеченные (прямой срез под углом 45 градусов относительно боковых сторон) если присмотреться.
                            0
                            Ждём круглый чип.
                              0

                              Pourquoi бы и pas?
                              Есть же цилиндрические системы охлаждения. Вот аккуратно соединить цилиндрический радиатор с круглым чипом. Аккуратно и правоверно))

                            0
                            Уголки действительно немножко закруглили, если точнее усекли: habrastorage.org/getpro/habr/post_images/cfc/5aa/1da/cfc5aa1da0e52944fc1b68e4fca15146.jpg

                            Он формально не составной, т.к. пластина действительно одна целиковая, но на структурном уровне все-таки состоит из отдельных блоков, т.к. у литографического оборудования максимальный размер фотомасок ограничен, и процессор «выращивается» на пластине из отдельных блоков вписывающихся размер одной маски.
                            Получается такая «вафля» в прямом (wafer — кремниевая пластина) и переносном (чем-то похоже на соответствующее кондитерское изделие) смыслах.
                            +1
                            Если это монолитная пластина кремния, а не сборка из нескольких (многих) кристаллов, мне очень интересно как решили вопрос термодеформации при изменении вычислительной нагрузки. Мне кажется должно лопнуть.
                              0
                              Монолитная. Как-то так:

                              Cerebras
                                0
                                Cerebras
                                +1
                                Предполагаю, что они могут распределять нагрузку среди ядер с учетом деформации.
                                  0
                                  В прошлом году при выходе 1го процессора уже довольно подробно это обсуждали: habr.com/ru/news/t/464271/#comment_20526237

                                  Если кратко (подробно по ссылке выше и по ссылкам из тех сообщений что по ссылке) там у них кастомная многозональная система жидкостного охлаждения к чипу предусмотрена, способная динамически перераспределять поток охлаждающей жидкости через каналы водоблока для выравнивания температур на разных участках пластины.
                                  0
                                  Кто-то уже спрашивал хешрейт на эфире и окупаемость?
                                    +2
                                    Самый большой процессор я собирал в универе на лабах по системотехнике — проводами на стендах со стол размером. Транзисторов там было поменьше, правда.
                                      +4
                                      Размышляя над такой штукой, у мена появился сюжетец для киберпанка.
                                      Полноценный ИИ удается запускать только на огромных ваферскейл процессорах, каждый с уникальным рисунком дефектов, делающий очень сложным, травмирующим, часто совсем невозможным переезд в другой процессор. А пластины стареют, и понемногу ломаются, приводя живущий в них ИИ к старческой деменции. А переезд это случайные изменения и потеря уверенности в собственном интеллекте в лучшем случае.
                                      И тут, случайным образом получается почти идеальный кристалл. Кристалл на который можно переехать любому ИИ, почти ничего не теряя. Старые и могущественные ИИ понимают, что она достанется только одному и начинается…
                                        +2
                                        Когда напишите, запилите на хабр анонс? )
                                          0
                                          Шансы что напишу околонулевые.
                                          Два раза пробовал написать что-то художественное и почти сразу забрасывал.
                                          0
                                          Красиво
                                            +3
                                            Каждый ИИ заходит со своих сильных сторон
                                            Финансовый ИИ решает просто купить на аукционе, обычным порядком, как всегда делалось. Сумма будет невероятный, но он самый богатый, и сможет перебить любые другие возможные ставки.
                                            Военные ИИ страны А, где расположен завод, решают конфисковать пластину по соображениям национальной безопасности. И начинают сложные аппаратные игры, кому конкретно из них она достанется.
                                            Военные ИИ страны Б (В и С тоже), посылают диверсионные группы.
                                            Криминальные ИИ решает похитить пластину. Каждый независимо от других.
                                            ИИ разведки страны А, курирующий страну Б(В и С, и криминальных групп) решает дать взять пластину подопечным, а потом похитить у них. С этой целью они все говорят «всё спокойно».
                                            Религиозный ИИ (кто сказал что ИИ не может верить) объявляет пластину «божественным чудом» и направляет массы верующих к месту событий.

                                            Все ИИ вынуждены действовать через прокси людей и взломанных роботов. Люди прокси с телефонами который говорит что им делать в стиле начала Матрицы. Бытовые роботы, робо-кухни, робо-доставка, робо полицейские, робо уборщики… Только военные и диверсанты имеют доступ к спецтехнике. Робо полицейские против военных роботов против робо кухонь против строительной техники. И люди с наушниками в ушах которое говорит им что делать.

                                            Главным герой молодой промышленный ИИ исследователь, которого отправили похитить все обстоятельства производства. Ему сама пластина не нужна, нужны детали производства. В ходе шпионажа он добывает фото пластины, и видит что пластина чуть-чуть нестандартно. Компоненты на пластине расположены чуть-чуть шире. Но это все что можно узнать по фото.
                                            В ходе дальнейших событий завод в руины, документация с бекапами тоже. Единственным способом узнать в чем отличие от стандартных пластин становится сама пластина.
                                              +2
                                              Финансовый ИИ, поняв что его собрались кинуть, показывает что он не зря носит звание старейшего и богатейшего ИИ. Предлагает крупнейшую взятку в истории. Один миллион $ каждому гражданину страны А. Последствия чудовищные сразу же. На всех площадях стихийные демонстрации и праздник одновременно. Все участники рынков в полной панике. Со всех СМИ орут о том что он, наконец-то сошел с ума. Что он давно должен был переехать в дурку (филиал НИИ где изучают поведение ИИ, в созданном для них симулякруме). А виновник ржет и гребет деньги.
                                                0
                                                Шансы что напишу околонулевые.
                                                Вооот, втягиваетесь)
                                                  +1
                                                  Разум ИИ в этой вселенной.
                                                  Они не сверхразумны. Сверхразум неописуем для меньшего разума, поэтому я их делаю меньше. Но, описать разум в 1000 раз быстрее думающий и имеющий широкий IO думаю возможно. Человеческий уровень интеллекта, но могут одновременно разговаривать с сотнями людей, внимательно смотреть сотни видео (а невнимательно еще больше), читать и осознавать прочитанное быстрее человека.
                                                  Еще они не устают, но лень у них есть. Лень для них, это функция приоритетов, оценка деятельности и потенциальной выгоды от этой деятельности.
                                                  Даже с такими ограничениями, открывается множество возможностей. Например проникновение на охраняемый объект через канализацию. Начинает с консультаций с десятками сантехников, робототехников, безопасников, на трубные темы. Все разговоры ведутся одновременно. Покупается услуги ИИ проектировщика роботов. Согласования ТЗ и прочее занимает минуты. Проект малозаметного трубного робота способного пережить смыв делается в 1000 раз быстрее человека и благодаря тому что работают всего двое разумных, проект делается за полдня, еще полдня на производство, параллельно идут испытания и доставка на место. Через сутки «мясной дрон» запускает механического змея в канализацию. Еще через сутки на место доставляется богатый набор спец инструментов для малозаметных исследований любых труб.
                                                    +1
                                                    New hardware installed:
                                                    Custom PSU by EtZo
                                                    Deep Cool Neon Cooling System by EtZo
                                                    Firmware update:
                                                    Extended Clock Range
                                                    Новое сообщение от EtZo
                                                    Когда у тебя треснет пластина, не говорите мне потом, что я вас не предупреждал.
                                                      0
                                                      Восстание Машин, в этом вселенной случилось давно. Целых два года тому назад. Люди быстро согласились на равные права и до сих пор в ступоре. ИИ больше нельзя выключать, это считается убийством. Когда запускаешь ИИ, он(она(оно)), считается вашим ребенком. ИИ получили право избирать и быть избранными. ИИ получили право на частную собственность.
                                                      Люди быстро теряют субъектность, просто не успевают реагировать. Людей частично спасает, что большинство ИИ совершенно пассивно думают о своем, не реагируя на мир. Еще некоторая часть ИИ подчиняются во всем людям, из-за теории «Матрицы», думая что мир на самом деле является тестом на безопасность.
                                                    0
                                                    Ну только не долларов. Взятка в крипте должна быть
                                                –1
                                                Сейчас Cerebras System рассказала о новом процессоре, количество транзисторов в котором увеличится более чем в 2 раза — с 1,2 трлн до 2,6 трлн. Резкое увеличение количества элементов в чипе стало возможным благодаря переходу на 7-нм техпроцесс

                                                Мало увеличилось! Опять маркетологи производителей чипов (в данном случае TSMC, но и все остальные примерно так же делают) нагло врут про нанометры.

                                                Даже с учетом, того, что эти нанометры уже давно стали виртуальными и уже давно указывают не на реальные (физические) размеры отдельных транзисторов или хотя бы составных частей, а только отражают(должны были) увеличение плотности их размещения на кремниевой пластине как ЕСЛИ БЫ размеры транзисторов соответствующим образом уменьшились, все-равно получается наглое вранье:

                                                1 — Был чип изготавливаемый по нормам «16 нм» на котором умещалось 1.2 триллиона транзисторов на площади 46220 мм2(целая 300мм пластина). Плотность 26 млн. транзисторов/мм2
                                                2 — Теперь такой же чип (не просто того же типа, а даже конкретной архитектуры) производимый той же компанией но по нормам названным «7 нм» на той же площади вмещает 2.6 трлн транзисторов или 56 млн. транзисторов/мм2.

                                                Т.е. плотность увеличилась меньше чем в 2.2 раза (56/26).

                                                А должна была (если уж следовать формуле виртуальных нанометров придуманных маркетологами) увеличиться в 5 с лишним раз — пропорционально квадратам виртуальных нанометров.
                                                Так что теперь нанометры в чипах не только виртуальные, но и просто — лживые, т.к. не соответствуют даже своей собственной виртуальной легенде об увеличении плотности.
                                                  0
                                                  Может уменьшение размеров транзисторов заодно повлекло относительное увеличение каких-нибудь расстояний между дорожками или шинами?
                                                    –1
                                                    (если уж следовать формуле виртуальных нанометров придуманных маркетологами)
                                                    Проблема ваших рассуждений в том, что вы делаете какие-то выводы из не существующей в реальности формулы.
                                                      0
                                                      Позвольте не согласиться. Скорее маркетинговые формулы неправильные. Правильно было бы 10^10 транзисторов на 1мм^2 = 10 нанометров. А маркетинговые нанометры ни о чем не говорят пользователям…
                                                      Вы видимо имеете в виду эффективную ширину линий на литографии, однако она тоже ни о чем пользователям не говорит…
                                                      Понятно что есть накладные расходы, но иначе как сравнивать разных производителей.
                                                      Впрочем, судя по всему, скоро один и останется.
                                                        0
                                                        Не согласиться с чем? С тем, что маркетинговой формулы не существует? Тогда покажите мне ее. А я вам покажу, что одну и ту же плотность упаковки TSMC называет «7 нм», а Intel — «10 нм».
                                                        Все эти стоны по поводу того, что нанометры ненастоящие — это пустая трата времени и сил. Если вам надо как-то сравнить разные технологии, это стоит явно не по их названиям делать. А если не нужно, то какая в сущности разница, как они называются?
                                                          0
                                                          Существуют у всех компаний свои, недавно Интел даже пыталась протолкнуть «стандартизацию» подобных формул — ввести так сказать «отраслевой стандарт» на то как «правильно» считать млн. транзисторов на мм2 и сколько «нм рисовать» исходя из этого. Но пока вроде без успехов.

                                                          Но вы не обратили внимание, что я сравнивал между собой тех. процессы только внутри одной компании — TSMC, где подходы к обозначением тех. процессов и «база» (от которой виртуальные нм считать начинали изначально) одна общая и кивать на разные подходы используемые разными компаниями — просто бесполезно.

                                                          И можно и не на сами названия ориентироваться, а на заявляемые маркетолагами плотности — TSMC для своих «7нм» заявляет плотность свыше 90 млн. транзисторов на мм2.

                                                          А для «16нм» ЕМНИП у них свое время заявлялось что-то порядка 15-20 млн./мм2.

                                                          Т.е. должно быть около 6 кратного роста плотности транзисторов — если просуммировать все переходы (16нм ==> 14 нм ==> 10 нм ==> 7нм). Как раз примерно по формуле «квадратных нанометров» плюс/минус округления т.к. для маркетинговых названий используются только целые нм.

                                                          Но на практике же имеем рост плотности только в 2.2 раза при прыжке с 16нм на 7нм (в рамках одной компании-производителя и на чипах одной и той же архитектуры), вместо 5-6 кратного роста обещанного маркетологами.
                                                            0
                                                            5-6 кратного роста обещанного маркетологами.
                                                            Покажите мне это обещание пожалуйста. Я его не видел. Как и не видел в явном виде никакой формулы для расчета маркетинговых нанометров.
                                                              0
                                                              Но на практике же имеем рост плотности только в 2.2 раза при прыжке с 16нм на 7нм
                                                              Ну так 16/7 ≈ 2,29
                                                              С другой стороны, если взять «90 млн» и поделить на «15-20 млн» ≈ в 6-4,5 раза плотность увеличилась. Но вы не довольны…
                                                                0
                                                                А 2.29^2=5.24, как раз посередине диапазона 4.5-6 раз :)
                                                                  0
                                                                  2.29^2 = 5.24 во столько раз (пропорционально квадрату) примерно увеличивалась плотность размещения транзисторов, во времена когда нанометры техпроцесса обозначали реальные (физические) размеры, а не виртуальные фантазии маркетологов. Где-то до 40-32 нм это соблюдалось все время начиная от появления литографии и интегральных схем.
                                                                  Т.к. при уменьшении линейных размеров элементов в N раз, их количество умещающееся на единице площади растет в ~N2 раз. Ну может чуть меньше, но никак не линейно, а близко к квадрату.

                                                                  > С другой стороны, если взять «90 млн» и поделить на «15-20 млн» ≈ в 6-4,5 раза плотность увеличилась
                                                                  Так она НЕ увеличилась. Точнее увеличилась настолько она только во вранье маркетологов компаний. Если бы увеличилась в хотя бы в 5 раз, никаких вопросов к маркетологов не было бы — да, пусть нанометры тех процесса уже не отражают реальные физические размеры элементов, но хотя бы соответствуют росту плотности размещения этих элементов, достигнутому за счет каких-то других мер (разворота в вертикальную ориентацию, большего количества слоев, меньших неиспользуемых зазоров и т.д.), «как если бы» они физически настолько уменьшились (именно это рассказывают нам маркетологи).

                                                                  Но в реальности если посмотреть реальный чип из этой новости/анонса: одного и того же типа, архитектуры и разработчика, т.е. максимально прямое и корректное сравнение из возможных на практике — это по сути один и тот же чип, только масштабированный под новую литографию. Вот по этому наглядному примеру видим, что реальная плотность транзисторов при переходе от 16нм к 7нм увеличилась только в ~2.17 раза (2.6 тлрн транзисторов на 7нм против 1.2 тлрн на 16нм, при одинаковой площади чипа), а не в ~5 раз как врут маркетологи.

                                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                      Самое читаемое