daniel_ivanov Aug 16 at 10:36

Qwen3.8-27B на своей карте против 304B по API

Easy

3 min

13K

Artificial IntelligenceOpen source *

Review

Comments 13

Wolf4D Aug 16 at 11:27

Интересно, но хотелось бы поглядеть на тесты против других моделей (хотя бы того же Gemini, старого 3.1 Pro и нового Flash 3.7). И в статье нет ничего про то, на какой карточке гоняете, и каковы очки на конкретных задачах (кодинг, документы, иное).

daniel_ivanov Aug 16 at 12:33

добрый день,
сейчас в тесте RTX PRO 6000 от Селектел, актуальный бенчмарк на ней.

Gemini в личных целях почти не использую, но записал запрос :)

Wolf4D Aug 16 at 13:42

Штука по цене 1.8 мегарубля - это СВОЯ карта?! Богато живёте :)

proglyk Aug 16 at 15:15

Тут что-то непонятно. Человек прикидывает срок окупаемости DGX Spark словно не в курсе что есть пути попроще - подписки, те же дисцилляты, но удаленно и бесплатно. ХЗ. Ну захотел поделиться результатом трудов - спасибо, интересно.

NeoCode2 Aug 16 at 11:42

две DGX Spark, ~700 тысяч рублей

А интернет говорит что одна DGX Spark ~700 тысяч рублей :)

daniel_ivanov Aug 16 at 12:34

Авито - вилка 350-450к

Revertis Aug 16 at 15:19

Писать чекпойнт, пойнт так же безграмотно, как андройд.

Bestbotcher 15 hours ago

Самое смешное, что в нормативных словарях записан именно такой вариант. (Страница 3043 в орфографическом словаре от института русского языка им. Виноградова)

Revertis 12 hours ago

Ну просто долбени, которые не слышат как говорят, записали туда.

SlavikF 20 hours ago

А ещё локальный Qwen3.8-27B может работать с изображениями, а локальный DeepSeek не может. Не знаю, как там по API.

george3 17 hours ago

не нашел что за карта использовалась. У меня ollama на 3090 дает 47-50 tps.

Hulkoooz 7 hours ago

У меня тоже 3090 , но такого TPS я не достиг, подскажите какой движок используете (llama.cpp, vlm , ...) если можно ссылку на hf модели (gguf же?) , там и квант будет понятен и чей форк (unsloth?) или lmstudio-community ? И главное параметры запуска(загрузки) какие?

melodicmsk 14 hours ago

Дуал 2080ti с nvlink даёт до 100т/с на qwen 27b в q8. Контекст близкий к максимальному. Учитывая цену, сейчас это топ комплект для плотного квена. За последние 2 недели цены выросли % на 30. Чуть дешевле пара 3070м на 16гб, но скорость +-35 т/с в однопотоке, двухпоток 2х скорости.