ChatGPT начнет отвечать быстрее: OpenAI купила вычислительные мощности у Cerebras

[avshkol]

По условиям соглашения, компания получит до 750 мегаватт вычислительных мощностей в течение трех лет 

Вычислительные мощности измеряются в тера-, пента-, экза- флопсах. А в мегаваттах - электрические мощности. Которые тоже важны, но не дают никакого представления о вычислительных мощностях.

[plFlok]

Это да, но обычно размеры датацентров можно сравнить по потреблению энергии.
Например, ВК как-то писал на хабре, что их основной датацентр в питере потребляет 6 мегаватт.
То есть openai арендовала эквивалент сотни и без того больших датацентров.

[Goron_Dekar]

Да и флопсы также плохо отражают эффективность AI систем, как и потребляемая мощность. Накладные потери, объёмы памяти могут убиль любые флопсы.

[Hint]

Когда впервые воспользовался Claude, то удивился, насколько быстро он отвечает. Практически мгновенно. Вау-эффект был после ChatGPT и Gemini.

[Chillingwilli]

У Anthropic скорее всего очень хорошо настроен Prefill и кэширование контекста . Плюс возможно используют квантование агрессивнее

[Chillingwilli]

Видимо Альтман решил не складывать все яйца в корзину Хуанга. Nvidia сейчас выкручивает руки ценами и сроками поставок, а диверсификация через Cerebras, AMD и Broadcom дает хоть какой-то рычаг давления, даже если эти чипы будут чуть хуже универсальных GPU, с монополиста спесь они собьют