OpenAI и Cerebras разогнали GPT-5.6 Sol до 750 токенов в секунду

[LinkToOS]

Зачем писать “разогнали GPT-5.6 Sol”? Они добавили новый тариф, а не разогнали модель.

Пока Ultrafast доступен только ограниченной группе клиентов, а стоимость режима не раскрыта.

И группа клиентов тоже не раскрыта. Типа “Есть лишние деньги - пишите в личку. Мы им всегда рады. Урежем ресурсы другим клиентам, и выделим вам”.

[riky]

А вы считаете запуск моделей порядка 2Т на таком железе тривиальная повседневная задача? С маленькими конечно проблем нет. Если на одной 44г то надо пластин 50. Каждая пластина стоит 20 30 к долл. И ещё нужна память под контекст. Скорее всего там контекст далеко не 1М потому что на него надо тоже памяти много. Возможно пока что токены тут дорого обходятся, ещё и с ограничениями наверняка. Но я уверен в будущем это будет основной способ инференса.

[LinkToOS]

на таком железе

На каком “таком” железе? Все железо, которое разрабатывается для инференса, ориентировано на создание масштабируемых систем.
Суть события в новом тарифе, и в выделении больших мощностей для отдельных клиентов. Завернуто это в маркетинговую обертку “разгона модели”.