Швейцарский инвестиционный банк UBS выпустил отчет о сделке Nvidia со стартапом Groq. По мнению аналитиков, компания заплатила около $20 млрд даже не за весь стартап, а за лицензирование технологии и найм ключевых сотрудников — это признание того, что GPU не идеально подходят для высокоскоростного инференса (запуска уже обученных моделей). Именно этот сегмент, по оценке UBS, станет одним из самых быстрорастущих на рынке AI-ускорителей.
Проблема GPU в задачах инференса связана с использованием HBM — высокопропускной памяти, которая находится вне чипа. При генерации токенов критична минимальная латентность, а обращение к внешней памяти создает задержки. GPU архитектурно заточены под обучение моделей, где важна пропускная способность, а не скорость отклика.
Groq предложил альтернативу — LPU (Language Processing Unit) на базе SRAM-памяти, встроенной прямо в чип. Пропускная способность такой архитектуры достигает 80 ТБ/с против 8 ТБ/с у HBM — это дает на порядок меньшую латентность и детерминированное время выполнения операций. По данным UBS, в разговорах с крупными операторами облачных платформ за последний год аналитики часто слышали, что технология Groq выделяется среди других стартапов в области ускорителей.
Сделка оформлена как неэксклюзивное лицензионное соглашение, а не поглощение. Nvidia получает права на технологию инференса и нанимает основателя Groq Джонатана Росса, президента Санни Мадру и других ключевых инженеров. Сама компания Groq продолжит работать независимо под руководством нового CEO Саймона Эдвардса, а сервис GroqCloud останется доступен пользователям. UBS видит в сделке часть стратегического разворота Nvidia к ASIC-подобным архитектурам — наряду с анонсированным ускорителем Rubin CPX, который также предназначен для инференса.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
