Comments 12
Май вроде как прошел.
Для оценки новых CPU нужно вводить новый критерий: сколько токенов в секунду будут выдавать при развертывании в оперативной памяти большой LLM (DeepSeek V3)?
А то все эти ядра, потоки, частоты и другие тонкости уже не воспринимаются...
согласен, для оценки инференса - отличный параметр
а как быть с остальными задачами?
Это для обзоров бы пошло, а для оф. документациии нет: чипы и прочие приборы имеют долгие циклы разработки, и условно вчера на 4070 ллама 70b выдавала 12 токенов в секунду, завтра вышел очередной xformers и на том же железе оно стало выдавать 30 токенов. А послезавтра вышла phi5_coder и на кодозадачах на том же железе фигачит 80 токенов в секунду. При этом gemma также больше 20 токенов\сек не преодолевает. Числа я выдумал, ну в общем этот тест годится разве что для того, чтобы продавать железо под конкретные модели.
Спасибо, было интересно узнать про многоядерные китайские процы.
А почему статья называется: "Китайцы готовы представить новые процессоры?"
Картинка с Hygon - тот же Epyc / Threadripper. Неужто перемаркировка?
Интел когда то производил камни с 4 потоками на ядро, к сожелению они не стали востребованы Xeon Phi.
В интернетах пишут, что процессоры Hygon созданы на базе разработок AMD. Раньше было совместное предприятие (AMD с китайцами), потом оно попало под санкции. Так появилась компания Hygon.
На мой взгляд, это интересно. В статье даже не написано, что процессоры Hygon являются x86-совместимыми и устанавливаются в тот же сокет что серверные процессоры AMD.
Китайцы готовы представить новые процессоры? Самые интересные новости из мира железа за май