GLM-5.1 собрала Linux-десктоп в браузере за 8 часов и взяла SOTA на SWE-Bench Pro

[AlexanderAnisimov]

Любопытно будет глянуть на общую картину что получится на artificialanalysis.ai

Они его с какой частотой обновляют?

[Dhwtj]

Синтетика

Плохо, что с этим агентским режимом перестали улучшать обычный чат

[Barnaby]

А у кого сейчас иначе? Вроде все на чат забили.

[Barnaby]

GLM 5 ни разу не клод конечно, но пока единственный китаец который мне нормально код писал.

[AraTropia]

глм по кодинг плану странно себя ведет. В один вечер как на бенчмарках. А в другой два слова связать не может и структуру простейшего проекта забывает. Как будто для тех, у кого дешевая подписка, в моменты нагрузки, модель жесточайше квантуют...

[milinsky]

Такое поведение на всех тарифах, в том числе Max. Они попросту не справляются с нагрузкой и скорее всего квантуют на лету при пике нагрузки.

[ITDiver77]

Я взял на пробу лайт, быстро почти выжрал токены. Но работала более менее. Перешёл на про, и полетел мусор. Может так совпало конечно... Как писали на реддите, до 100к проблем нет, если больше, то шанс замусорить сессию велик, проблема точно есть и на максе