Очереди на ускорители H100 от NVIDIA, которые используются в системах искусственного интеллекта и нейросетевых моделях большого масштаба, сократились в три раза. Если в конце 2023 года ожидание на покупку партии H100 для компании составляла 8-12 месяцев, то теперь этот срок сократился до 3-4 месяцев.
Для такой ситуации есть сразу три причины, и дело не в увеличении производственных мощностей NVIDIA.
В первую очередь сокращение очередей на H100 связано с тем, что основные гиганты, такие как Amazon, Microsoft и другие компании, уже насытились арендными мощностями и если и расширяют собственный серверный парк для ИИ-вычислений, то делают это напрямую. Следовательно, спрос со стороны потребителей на аренду укомплектованных стоек «под ИИ» заметно снизился. Напомним, еще в середине 2023 года Microsoft искала для OpenAI мощности буквально везде и даже пошла на сделку со своим давним конкурентом Oracle, лишь бы получить их вычислительные мощности в аренду. Сейчас ситуация изменилась.
Вторая причина сокращения спроса на H100 — грядущий выход ускорителя H200, который, по слухам, запланирован на второй квартал 2024 года. Предварительные данные от производителя обещают значительный прирост вычислительной мощности в нейросетевых задачах, от х1,4 до х1,7 в зависимости от модели.
Кроме явного прироста производительности, ускорители H200 позволят значительно увеличить вычислительную плотность в стойке, так как крупные компании испытывают проблему с размещением в дата-центрах и на них тоже образовалась значительная очередь.
Третья причина косвенно связана со второй. Вчера компания Micron объявила о старте производства новой HMB3E памяти, которая будет устанавливаться, в первую очередь, на новые ускорители H200 от NVIDIA. Это позволяет потенциальным покупателям не только оценить реальные возможности H200, так как характеристики чипов Micron известны, но и убедиться в том, что переноса релиза H200 не будет и все идет по графику. Производством и упаковкой будет заниматься TSMC по новейшему техпроцессу 1β (1-beta).
Для своих 8-слойных стеков памяти HBM3E на 24 Гбайт Micron заявляет скорость в 9,2 Гбит/с на контакт, что выливается в общую пропускную способность более 1,2 Тбайт/с. По словам представителей Micron, чипы HBM3E будут до 30% энергоэффективнее аналогичных решений от других производителей. Кроме того, в марте основным игрокам будут разосланы на тест новые 12-слойные чипы со схожими характеристиками: ёмкость в 36 Гбайт и пропускная способность свыше 1,2 Тбайт/с (точная скорость на контакт пока не уточняется).
Все эти три фактора привели к тому, что спрос на H100 значительно снизился. Небольшие подрядчики, которые занимались выкупом H100 и последующей субарендой мощностей, теперь пытаются распродать свои излишки ускорителей. Кроме того, давление на рынок оказывает и презентация Sora AI и неизвестно, сможет ли даже довольно быстрый H200 закрыть потребности нового витка нейросетевой гонки, либо же нам придется ждать каких-то новых решений.
В любом случае, если вам необходимы H100 — сейчас лучший момент для их покупки, так как если H200 не оправдает ожидания рынка или мощностей серии будет недостаточно для растущей ИИ-индустрии, мы опять можем столкнуться с дефицитом подобных ускорителей и годовыми очередями на закупку.
