Галлюцинации недели: Claude Capybara, GigaChat-3.1, кража ключей через LiteLLM и CLI для всего на свете

[Altair2021]

А glm-5.1 это glm-5-turbo на опенроутере? Или новая модель?

[nskforward]

Это прям новая модель

[Altair2021]

странно, что ее нет на опенроутере -- обычно z.ai свои модели сразу на опенроутер выкладывала

[xonika9]

GLM-5.1 сейчас не open-weight, на huggingface ее нет. Пока они на своих мощностях ее отдают.

[Altair2021]

gpt и claude тоже не open-weight, но на опенроутере присутствуют)

[Bardakan]

Intel выпустил Arc Pro B70: 32GB GDDR6, $949, 602 GB/s bandwidth, 290W. Для контекста, NVIDIA RTX 4000 PRO стоит дороже и даёт только 24GB. Intel заранее договорился с vLLM о поддержке с первого дня. Четыре карты за $4000 дают 128GB GPU-памяти, этого хватит для локального инференса 70B-моделей. Конечно, есть нюансы: int8 TOPS у B70 (367) сильно уступает RTX 4000 PRO (1290), CUDA нет, драйверная поддержка Intel исторически вызывает вопросы. Но по цене за гигабайт VRAM это сейчас одно из лучших предложений, если хочется запускать большие модели локально. Я бы присмотрелся, если в РФ их привезут.

уже где-то писали, что без cuda они могут быть почти в два раза медленнее