Qwen3.8-27B на своей карте против 304B по API

[Wolf4D]

Интересно, но хотелось бы поглядеть на тесты против других моделей (хотя бы того же Gemini, старого 3.1 Pro и нового Flash 3.7). И в статье нет ничего про то, на какой карточке гоняете, и каковы очки на конкретных задачах (кодинг, документы, иное).

[daniel_ivanov]

добрый день,
сейчас в тесте RTX PRO 6000 от Селектел, актуальный бенчмарк на ней.

Gemini в личных целях почти не использую, но записал запрос :)

[Wolf4D]

Штука по цене 1.8 мегарубля - это СВОЯ карта?! Богато живёте :)

[proglyk]

Тут что-то непонятно. Человек прикидывает срок окупаемости DGX Spark словно не в курсе что есть пути попроще - подписки, те же дисцилляты, но удаленно и бесплатно. ХЗ. Ну захотел поделиться результатом трудов - спасибо, интересно.

[NeoCode2]

две DGX Spark, ~700 тысяч рублей

А интернет говорит что одна DGX Spark ~700 тысяч рублей :)

[daniel_ivanov]

Авито - вилка 350-450к

[Revertis]

Писать чекпойнт, пойнт так же безграмотно, как андройд.

[Bestbotcher]

Самое смешное, что в нормативных словарях записан именно такой вариант. (Страница 3043 в орфографическом словаре от института русского языка им. Виноградова)

[Revertis]

Ну просто долбени, которые не слышат как говорят, записали туда.

[SlavikF]

А ещё локальный Qwen3.8-27B может работать с изображениями, а локальный DeepSeek не может. Не знаю, как там по API.

[george3]

не нашел что за карта использовалась. У меня ollama на 3090 дает 47-50 tps.

[Hulkoooz]

У меня тоже 3090 , но такого TPS я не достиг, подскажите какой движок используете (llama.cpp, vlm , ...) если можно ссылку на hf модели (gguf же?) , там и квант будет понятен и чей форк (unsloth?) или lmstudio-community ? И главное параметры запуска(загрузки) какие?

[george3]

в ollama одна доступная модель прям в их каталоге.

ollama show --modelfile qwen3.8:27b

Modelfile generated by “ollama show”

To build a new Modelfile based on this, replace FROM with:

FROM qwen3.8:27b

FROM /usr/share/ollama/.ollama/models/blobs/sha256-f5f1dd8920d417aac2718b0bda3403da274301efdd6760b4f0f4b864ff2ad57d FROM /usr/share/ollama/.ollama/models/blobs/sha256-ac3714bfdddeca31351f2752bf1a63f266f4df87c0b68c895e44945ca704448e TEMPLATE {{ .Prompt }} RENDERER qwen3.8 PARSER qwen3.5 PARAMETER repeat_penalty 1 PARAMETER temperature 1 PARAMETER top_k 20 PARAMETER top_p 0.95 PARAMETER draft_num_predict 4 PARAMETER min_p 0 PARAMETER presence_penalty 0

[melodicmsk]

Дуал 2080ti с nvlink даёт до 100т/с на qwen 27b в q8. Контекст близкий к максимальному. Учитывая цену, сейчас это топ комплект для плотного квена. За последние 2 недели цены выросли % на 30. Чуть дешевле пара 3070м на 16гб, но скорость +-35 т/с в однопотоке, двухпоток 2х скорости.