Cerebras запустили Kimi K2.6 на скорости ~1000 токенов в секунду

[Viacheslav01]

Пожалуй стоит уточнить, что там не просто память на кристале, там sram т.е. по факту там 44 Гб кеша (ну то что привычно называть кешем в CPU)

[sintech]

К этим товарищам были вопросики по длинне обрабатываемого контекста LLM, на коротких все очень быстро, а длинные они не тянут.

[Dreams_and_magic]

В документации писали что контекст 130К.

[sintech]

Ну вот, а на GPU свободно до 1М выдают.

Т.е. Cerebras вещь интересная но для нишевых задач, не решение всех проблем традиционного подхода.

[yamifa_1234]

А вам уже 130к токенов мало?) или вы исключительно с большими объемами данных работаете?

[Dreams_and_magic]

Да обычные объёмы, несколько связанных файлов по 500-1000 строк, 130К токенов это ни о чём.

[PlextorTI]

Пфф 1000 токенов в секунду )))))) во достижения)))

[Del137]

Вспоминаю советский анекдот про машинистку, печатаю 1000 символов в минуту, правда такая ерунда получается

Один неверный запрос и не успеют остановить Скайнет с такими скоростями или начнут сети думать на нескольких уровнях, дн6я просителя и для себя ресурсов