«Генеративный ИИ съедает мир» — так начинает свой рассказ о последнем достижении компании Андрю Фельдман, генеральный директор компании Cerebras, которая производит компьютеры с ИИ в Силиконовой долине.
ИИ-суперкомпьютер способный выполнять 2 миллиарда миллиардов операций в секунду (2 экзафлопса) получил название Condor Galaxy 1. И это только начало, количество операций должно удвоиться в размерах в течение 12 недель. В начале 2024 года к компании присоединятся еще две системы вдвое большего размера. Компания планирует продолжать добавлять установки Condor Galaxy, пока не будет создана сеть из девяти суперкомпьютеров общей производительностью 36 эксафлопс.
Если большие языковые модели и другие генеративные ИИ "пожирают" мир, то план Cerebras состоит в том, чтобы помочь им "переварить" его. Cerebras в этом не одиноки. Другие производители компьютеров, ориентированных на ИИ, строят массивные системы либо на базе собственных специализированных процессоров, либо на базе новейшего графического процессора Nvidia-H100. Хотя пока трудно судить о размерах и возможностях большинства таких систем, Фельдман утверждает, что Condor Galaxy 1 уже относится к числу крупнейших.
Система Condor Galaxy-1 была собрана и запущена в эксплуатацию всего за десять дней и состоит из 32 компьютеров Cerebras CS-2, а в дальнейшем планируется расширить ее до 64. Следующие две системы, которые будут построены в Остине (штат Техас) и Эшвилле (штат Северная Каролина), также будут иметь по 64 компьютера CS-2.
Сердцем каждого CS-2 является Waferscale Engine-2 — процессор, ориентированный на ИИ, с 2,6 трлн. транзисторов и 850 тыс. ядер ИИ, изготовленный из цельной кремниевой пластины. Чип настолько велик, что масштабы памяти, пропускной способности, вычислительных ресурсов и прочего в новых суперкомпьютерах быстро становятся просто смешными, как показано на следующем графике.