Comments 13
В прошлый раз они какие то гигантские процы делали, и чем там кончилось?
46225мм2 это квадрат 215х215мм – В единичных уникальных экземплярах, может быть возможно. А в серию, вряд ли.
У Cerebras крутой чип, но Nvidia он вряд ли составит серьёзную конкуренцию. Слишком нишевое решение
Проблема Cerebras в том, что производство таких чипов стоит оооооочень дорого, так как из одной кремниевой пластины получают только один гигантский чип, и процент выхода годных чипов гораздо ниже, чем у обычных чипов. Из этого следует ещё одна проблема - чтобы производить такие, нужен зрелый, хорошо отлаженный техпроцесс, т.е. Cerebras не может использовать последний самый тонкий процесс, пока фабрика не доведет его до уровня, пригодного для выпуска одного чипа с пластины.
У них почти 100% выход годных чипов, правда, отрезают края круглой пластины, т.к. чип-квадрат, и сколько-то процентов (~10 или меньше) отводят на резервные ядра, и перенаправить к ним данные если какие-то другие не работают. Там проработанная система межсоединений между ядрами/блоками.
В общем, ~то на то и выходит с выходом годных чипов, как с "обычными", маленькими. А может даже и эффективнее. Гибкостью, правда, в каком-то смысле жертвуют.
Самый новый чип у них на 5нм процессе.
Вообще за подобными системами - будущее датацентров, особенно для будущего сверхинтеллекта. Нужно только ещё в 3 измерении его наращивать (многослойный, в высоту), и больше памяти интегрировать.
Сведут к минимуму потери на передачу данных через шины со внешней памяти, минимизируют длину маршрутов от внутренней памяти до вычислительных блоков, а в случае ИИ так вообще может совместят память и вычисления по-максимуму, и вуаля, в 1000+ раз более энергоэффективный процессор-мозг датацентров и особенно ИИ.
Почти 100%? Улыбнул)))
В чем проблема? Делаете сетку ядер, с особо устойчивой вертикальной и горизонтальной шиной между ними. Добавляете несколько строк и столбцов ядер. Чсть ядер скорее всего будет нерабочей, - перенаправляете данные и команды к резервным. За счёт резервных спецификации чипа можно держать, если только совсем-совсем не неповезет.
Правда, конечно, в итоге с обрезанием по краям и резервными частями, от круглой пластины далеко не 100% площади идёт на итоговый рабочий чип. Но хотя бы не нужно выкидывать всю пластину разом если суперчип не вышел (а без такого подхода он бы почти всегда и не выходил, а так почти всегда выходит).
Вместе с выгодой от урезания лишних шин ко внешней памяти-использованием 44 гб встроенной по максимуму, от сокращения издержек синхронизации, от специализации, и в будущем, 3D интеграции SRAM, + HBM/3D DRAM + вычислительных уровней, это все ещё имеет гораздо больший потенциал, чем обычные чипы, для "рассуждающих" ИИ-моделей будущего и не только.
NVIDIA со своим B100 уже в эту сторону двинулась, 2 чипа сшиты в одной упаковке.
TSMC обещает к 27 году до 40 максимальных размеров чипов компоновать как 1, с уровнем HBM 4 сверху.
Все туда идёт, т.к. перемещать данные между чипами, и даже из оперативной памяти во внутреннюю, стало самым большим расходом энергии и места на чипе. Контакты-интерконнекты-контроллеры-шины. Перенос памяти в чип, конечно, займёт ещё больше места, если это не 3D интеграция, но выигрыш в энергоэффективности и пропускной способности уже перевешивает минусы.
В высоту такое не особо-то настекируешь, каждая "блямба" гонит несколько киловатт тепла.
Почему Cerebras может стать головной болью для Nvidia