Стартап MatX, основанный бывшими инженерами Google TPU, привлек $500 млн в раунде Series B. Раунд возглавили торговая фирма Jane Street и фонд Situational Awareness, созданный Леопольдом Ашенбреннером — бывшим исследователем OpenAI, автором нашумевшего доклада о гонке к сверхинтеллекту. Среди других инвесторов — Marvell Technology, Spark Capital и сооснователи Stripe Патрик и Джон Коллисоны. Цель компании — создать ускоритель, который будет в 10 раз эффективнее актуальных GPU Nvidia при обучении и инференсе больших языковых моделей.

В основе разработки лежит чип MatX One с архитектурой разделяемого систолического массива (splittable systolic array). Ключевая идея — гибридная работа с памятью: веса модели хранятся в сверхбыстрой SRAM для минимальной задержки, а KV-кэши (память модели о контексте) выносятся в HBM для поддержки длинных контекстов. По заявлению компании, такой подход позволяет генерировать более 2000 токенов в секунду на крупных 100-слойных моделях с архитектурой Mixture of Experts. В отличие от конкурентов вроде Groq и SambaNova, которые сфокусированы на инференсе, MatX One рассчитан на полный цикл: предобучение, RLHF, инференс-префилл и декодирование.

MatX основали в 2023 году Райнер Поуп и Майк Гантер. Поуп руководил разработкой ИИ-софта для Google TPU и участвовал в создании модели PaLM. Гантер проектировал аппаратную часть TPU — за карьеру он разработал или спроектировал 11 различных чипов в шести отраслях. Сейчас в команде около 100 человек.

Привлеченные средства пойдут на завершение проектирования и запуск производства на мощностях TSMC. Компания планирует закончить tape-out (финальный этап проектирования перед отправкой на фабрику) в течение года и начать поставки чипов в 2027 году. К тому моменту конкурировать придется уже не с текущими GPU Nvidia, а с архитектурой следующего поколения Rubin.

Среди стартапов, бросающих вызов Nvidia, MatX — далеко не единственный: Cerebras привлек $1 млрд при оценке в $23 млрд и готовится к IPO, а Etched в январе собрал те же $500 млн на свой трансформерный ASIC. Примечательно, что сама Nvidia в декабре поглотила ещё одного конкурента — Groq — за $20 млрд, что лишь подчеркивает, как серьёзно рынок воспринимает альтернативы GPU.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.