А как vision функции и общие знания мешают в агентских задачах? Несмотря на то что Qwen3.6 универсальная модель она агентские задачи все равно решает лучше.
То что "модель NorthMiniCode в отличие от Qwen специально заточена под агентские циклы" не делает ее лучше Qwen в агентских сценариях. Странный выбор модели учитывая что Qwen3.6 гораздо лучше.
У меня Qwen3.6-27b, запущенный на локальном компьютере, отлично распознает изображения и замечает даже самые мелкие детали. Судя по всему вы "другие существующие решения" и не пробовали даже?
Перерыл всё Авито и не нашел сетап V100 32ГБ + переходник + охлаждение за 25 тыс руб. Реальные цены 50+ да и то предзаказ из Китая. А название топика "Сервер за 25..." просто откровенное вранье ((( Сервер ведь не только из одной видеокарты состоит
На счёт кэширования кэша, тут сложно судить объективно, так так я не проводил тестирование в связи с отсутствием у меня бенчмарка данной метрики, но судя по статьям с исследованиями, которые я читал на реддите, разница имеется. Но в любом случае, при наличии свободной памяти квантование кэша выглядит не логичным.
2х RTX3090 ~120 тыс руб на Авито. Модель Qwen3.6-27b-q8_k_xl-mtp работает на скорости 1200 токен/сек префил и 45-50 токен/сек генерация. То есть более чем в 7 раз выше чтение промпта и в 3 раза выше генерация, чем в обсуждаемом в статье решении. На мой взгляд стоит того и отрабатывает свои деньги.
Странный и не логичный выбор настроек. Если у Вас много памяти, то почему не использовать модель с квантованием Q8_K_XL, которая лучше чем Q6? Опять же, при большом объеме памяти, зачем вы квантуете кэш на q8, вместо того чтобы использовать bf16? Это же снижает качество генерации, особенно ощутимо на больших контекстах, и не даёт никакой прибавки в скорости. По моему опыту, лучше использовать Open Code, он работает отлично и не имеет никаких проблем с контекстом 260k.
Вопрос ведь был не про удобство и привычки, а про затраты токенов. Я сейчас работаю с md-файлами, и для меня это кажется проще и удобнее. Но хотелось бы понять, может использование БД в этом плане действительно лучше?
Не тратьте время на LM Studio, а переходите на llama.cpp. Там все настраивается гораздо гибче. Вы сами можете задать какое количество ресурсов использовать. Если например имеется 30 гигабайт памяти, то с помощью параметров можно рассчитать чтобы использовалось именно 30 гигабайт, не больше и не меньше. Нужен большой размер контента - используете более агрессивное квантование кэшей и тд. Это я к тому, что ваш показатель "минимальный запас RAM" бессмысленнен. Оставшуюся свободную память можно использовать чтобы повысить качество генерации.
Наверное, то же Qwen3.6 27b, но с квантованием Q4_K_M, квантованием кэша q8_0. Также можно уменьшить бенчи, например, "–batch-size 1024", " --ubatch-size 512", на качество ответов это не влияет, только несколько снизит скорость. Выбрать максимальный размер контекста на всю оставшуюся после загрузки основных весов видеопамять. Использовать llama.cpp. Смотреть, сколько потребляется видеопамяти после загрузки модели и корректировать настройки, чтобы свободной оставалось ~512 МБ.
у vLLM слишком много "особенностей" при работе с квантованными моделями. Она у меня конечно тоже установлена, но для энтузиаста, который постоянно экпериментирует с моделями, настройками, новыми фичами и при этом использует консьюмерские видеокарты (как я), llama.cpp пока гораздо лучше чем vLLM
Я GX10 не пользовался, но про него регулярно читаю на реддите (как и про Nvidia DGX Spark). Если сравнивать с конфигом 2х RTX3090, то эти мини ПК существенно уступают в скорости, особенно в скорости чтения промпта (который зависит от скорости памяти). Они могли быть востребованы там где требуется много памяти, например, 128 ГБ, но как я написал в сообщении выше, проблема в том, что сейчас в этой нише (от 48 до 200 ГБ) нет моделей, которые были бы лучше чем Qwen3.6-27B.
3 3090 и в серверный корпус 4U не влезут без колхоза и рейзеров. И в серверную мать даже если там выведены порты PCI-E 16х в нужном количестве тоже с вероятностью 99% их без рейзеров вы сами не будете ставить - из-за толщины данных видеокарт и из-за особенностей их охлаждения. Поэтому сборка хоумлабы под LLM это всегда, как вы выразились "жуткий колхоз". Но впрочем, и что в этом такого?
2 недели уже работаю с qwen3-27b-MTP в llama.cpp (мастер ветка), нагенерил уже более 20 млн токенов и никаких проблем не наблюдаю, никаких вылетов, никакого аномального поведения по сравнению с "ванильным" квеном. Единственное, что нужно учитывать, что с MTP потребление памяти будет чуть выше - поэтому на первых порах, когда подбирал оптимальные настройки, то мониторил потребление ресурсов (nvtop) и пришлось понизить немного размер контекста, чтобы точно укладываться в видеопамять.
При таких настройках в работе потребляется суммарно около 45,5 ГБ VRAM. Скорость чтения промпта - 1100-1200 токен/сек, скорость генерации 45-50 токен/сек. Все работает 24/7, никаких вылетов, все абсолютно стабильно. Новая версия llama.cpp автоматически компилируется каждые 3 дня. Проблем с MPT не наблюдаю. MPT - отличная технология, которая на "ровном месте" увеличивает производительность почти в 2 раза (да есть небольшое падение скорости чтения промпта за счет появления лишнего слоя, но это несущественно, т.к. на RTX3090 скорость чтения и без того достаточно большое). Это очень существенный плюс относительно старых серверных решений.
В связи с тем, что я также загружаю мультимедиа модель (чтобы Qwen мог распознавать изображения), которая загружается в память первой видеокарты, то я перераспределяю на вторую видеокарту на 1 слой больше (команда –tensor-split). С такими настройками модель работает с максимально возможным качеством (у модели Q8_K_XL самый минимальный KLD), но 48 ГБ VRAM не позволяют использовать весь возможный контент (256k). Чтобы использовать полный контент можно либо взять модель Q8_0 (29 ГБ), либо изменить настройки квантования кэшей с bf16 на q8_0.
Модель Qwen3.6-27b-MTP-UD-Q8_K_XL просто на голову выше древних моделей типа Llama-3.3-70B, Qwen3-Coder, GPT-OSS-120B. В кодинге и агентских задачах лучше чем Gemma4-31B, Qwen3.5-122b, Qwen3.5-397, Nemotron3-33B. Честно говоря постоянно недоумеваю, когда вижу в технически вроде бы грамотных статьях, как авторы продолжают использовать эти неактуальные модели, зачем???
На основе личных наблюдений относительно Qwen3.6-27B: разница в квантовании между Q4 и Q8_K_XL существенна, разница в квантовании кэшей очень существенна, особенно на больших (>100k) контекстах. Поэтому, хоть Qwen3.6-27B и можно запустить на одной RTX3090 (24 ГБ), но качество работы будет гораздо ниже чем на двух. 48 ГБ - это оптимальный объем видеопамяти.
Покупка третьей и четвертой видеокарты RTX3090 (то есть увеличение VRAM свыше 48 ГБ) в данный момент не имеет особого смысла. Сейчас просто нет моделей которым нужно 64-128 ГБ VRAM и которые при этом лучше чем Qwen3.6.-27B. Что толку, что появится возможность разместить в видеопамяти GPT-OSS-120B или Qwen3.5-122B-A10B если они ничем не лучше Qwen3.6.-27B? А модели которые лучше, типа Kimi-K2.6 или DeepSeek-V4-Flash, уже требуют принципиально иного количества видеопамяти.
А какие модели вы хотите запускать на 128 гигабайтах? Сейчас среди малых моделей самая лучшая - qwen3.6 27b, ей оптимально 48 гигабайт VRAM (квантование q8, большой контекст), то есть на двух видеокартах rtx3090 (~120 тыс руб) будет гораздо выше производительность чем на ryzen ai Max 395+
На моей материнской плате (Supermicro X11DPI-NT) имеется 4 полноразмерных порта PCIE 16x и ещё 2 порта PCIE 8x, а также ещё 2 порта Oculink. У процессоров суммарно 96 линий PCIE. Воткнуть 6 видеокарт никаких проблем не представляет
А как vision функции и общие знания мешают в агентских задачах? Несмотря на то что Qwen3.6 универсальная модель она агентские задачи все равно решает лучше.
То что "модель NorthMiniCode в отличие от Qwen специально заточена под агентские циклы" не делает ее лучше Qwen в агентских сценариях. Странный выбор модели учитывая что Qwen3.6 гораздо лучше.
Локальный qwen3.6-27b справился получше
У меня Qwen3.6-27b, запущенный на локальном компьютере, отлично распознает изображения и замечает даже самые мелкие детали. Судя по всему вы "другие существующие решения" и не пробовали даже?
Перерыл всё Авито и не нашел сетап V100 32ГБ + переходник + охлаждение за 25 тыс руб. Реальные цены 50+ да и то предзаказ из Китая. А название топика "Сервер за 25..." просто откровенное вранье ((( Сервер ведь не только из одной видеокарты состоит
Чем обусловлен выбор давно устаревшей модели, когда есть Qwen3.6, который с указанной задачей справится гораздо лучше и эффективнее?
На счёт кэширования кэша, тут сложно судить объективно, так так я не проводил тестирование в связи с отсутствием у меня бенчмарка данной метрики, но судя по статьям с исследованиями, которые я читал на реддите, разница имеется. Но в любом случае, при наличии свободной памяти квантование кэша выглядит не логичным.
2х RTX3090 ~120 тыс руб на Авито. Модель Qwen3.6-27b-q8_k_xl-mtp работает на скорости 1200 токен/сек префил и 45-50 токен/сек генерация. То есть более чем в 7 раз выше чтение промпта и в 3 раза выше генерация, чем в обсуждаемом в статье решении. На мой взгляд стоит того и отрабатывает свои деньги.
Странный и не логичный выбор настроек. Если у Вас много памяти, то почему не использовать модель с квантованием Q8_K_XL, которая лучше чем Q6? Опять же, при большом объеме памяти, зачем вы квантуете кэш на q8, вместо того чтобы использовать bf16? Это же снижает качество генерации, особенно ощутимо на больших контекстах, и не даёт никакой прибавки в скорости. По моему опыту, лучше использовать Open Code, он работает отлично и не имеет никаких проблем с контекстом 260k.
Вопрос ведь был не про удобство и привычки, а про затраты токенов. Я сейчас работаю с md-файлами, и для меня это кажется проще и удобнее. Но хотелось бы понять, может использование БД в этом плане действительно лучше?
Не тратьте время на LM Studio, а переходите на llama.cpp. Там все настраивается гораздо гибче. Вы сами можете задать какое количество ресурсов использовать. Если например имеется 30 гигабайт памяти, то с помощью параметров можно рассчитать чтобы использовалось именно 30 гигабайт, не больше и не меньше. Нужен большой размер контента - используете более агрессивное квантование кэшей и тд. Это я к тому, что ваш показатель "минимальный запас RAM" бессмысленнен. Оставшуюся свободную память можно использовать чтобы повысить качество генерации.
Наверное, то же Qwen3.6 27b, но с квантованием Q4_K_M, квантованием кэша q8_0. Также можно уменьшить бенчи, например, "–batch-size 1024", " --ubatch-size 512", на качество ответов это не влияет, только несколько снизит скорость. Выбрать максимальный размер контекста на всю оставшуюся после загрузки основных весов видеопамять. Использовать llama.cpp. Смотреть, сколько потребляется видеопамяти после загрузки модели и корректировать настройки, чтобы свободной оставалось ~512 МБ.
у vLLM слишком много "особенностей" при работе с квантованными моделями. Она у меня конечно тоже установлена, но для энтузиаста, который постоянно экпериментирует с моделями, настройками, новыми фичами и при этом использует консьюмерские видеокарты (как я), llama.cpp пока гораздо лучше чем vLLM
Я GX10 не пользовался, но про него регулярно читаю на реддите (как и про Nvidia DGX Spark). Если сравнивать с конфигом 2х RTX3090, то эти мини ПК существенно уступают в скорости, особенно в скорости чтения промпта (который зависит от скорости памяти). Они могли быть востребованы там где требуется много памяти, например, 128 ГБ, но как я написал в сообщении выше, проблема в том, что сейчас в этой нише (от 48 до 200 ГБ) нет моделей, которые были бы лучше чем Qwen3.6-27B.
3 3090 и в серверный корпус 4U не влезут без колхоза и рейзеров. И в серверную мать даже если там выведены порты PCI-E 16х в нужном количестве тоже с вероятностью 99% их без рейзеров вы сами не будете ставить - из-за толщины данных видеокарт и из-за особенностей их охлаждения. Поэтому сборка хоумлабы под LLM это всегда, как вы выразились "жуткий колхоз". Но впрочем, и что в этом такого?
2 недели уже работаю с qwen3-27b-MTP в llama.cpp (мастер ветка), нагенерил уже более 20 млн токенов и никаких проблем не наблюдаю, никаких вылетов, никакого аномального поведения по сравнению с "ванильным" квеном. Единственное, что нужно учитывать, что с MTP потребление памяти будет чуть выше - поэтому на первых порах, когда подбирал оптимальные настройки, то мониторил потребление ресурсов (nvtop) и пришлось понизить немного размер контекста, чтобы точно укладываться в видеопамять.
Чтобы потом спустя еще неделю наконец понять, что нужно было сразу переходить на llama.cpp :)
Спасибо за статью!)) Раньше были некоторые сомнения, но теперь окончательно убедился, что выбрал 2х RTX3090 вместо 2х V100 абсолютно правильно.
Я работаю с моделью unsloth\Qwen3.6-27b-MTP-UD-Q8_K_XL.gguf (35 ГБ), настройки llama.cpp следующие, кому интересно:
При таких настройках в работе потребляется суммарно около 45,5 ГБ VRAM. Скорость чтения промпта - 1100-1200 токен/сек, скорость генерации 45-50 токен/сек. Все работает 24/7, никаких вылетов, все абсолютно стабильно. Новая версия llama.cpp автоматически компилируется каждые 3 дня. Проблем с MPT не наблюдаю. MPT - отличная технология, которая на "ровном месте" увеличивает производительность почти в 2 раза (да есть небольшое падение скорости чтения промпта за счет появления лишнего слоя, но это несущественно, т.к. на RTX3090 скорость чтения и без того достаточно большое). Это очень существенный плюс относительно старых серверных решений.
В связи с тем, что я также загружаю мультимедиа модель (чтобы Qwen мог распознавать изображения), которая загружается в память первой видеокарты, то я перераспределяю на вторую видеокарту на 1 слой больше (команда –tensor-split). С такими настройками модель работает с максимально возможным качеством (у модели Q8_K_XL самый минимальный KLD), но 48 ГБ VRAM не позволяют использовать весь возможный контент (256k). Чтобы использовать полный контент можно либо взять модель Q8_0 (29 ГБ), либо изменить настройки квантования кэшей с bf16 на q8_0.
Модель Qwen3.6-27b-MTP-UD-Q8_K_XL просто на голову выше древних моделей типа Llama-3.3-70B, Qwen3-Coder, GPT-OSS-120B. В кодинге и агентских задачах лучше чем Gemma4-31B, Qwen3.5-122b, Qwen3.5-397, Nemotron3-33B. Честно говоря постоянно недоумеваю, когда вижу в технически вроде бы грамотных статьях, как авторы продолжают использовать эти неактуальные модели, зачем???
На основе личных наблюдений относительно Qwen3.6-27B: разница в квантовании между Q4 и Q8_K_XL существенна, разница в квантовании кэшей очень существенна, особенно на больших (>100k) контекстах. Поэтому, хоть Qwen3.6-27B и можно запустить на одной RTX3090 (24 ГБ), но качество работы будет гораздо ниже чем на двух. 48 ГБ - это оптимальный объем видеопамяти.
Покупка третьей и четвертой видеокарты RTX3090 (то есть увеличение VRAM свыше 48 ГБ) в данный момент не имеет особого смысла. Сейчас просто нет моделей которым нужно 64-128 ГБ VRAM и которые при этом лучше чем Qwen3.6.-27B. Что толку, что появится возможность разместить в видеопамяти GPT-OSS-120B или Qwen3.5-122B-A10B если они ничем не лучше Qwen3.6.-27B? А модели которые лучше, типа Kimi-K2.6 или DeepSeek-V4-Flash, уже требуют принципиально иного количества видеопамяти.
А какие модели вы хотите запускать на 128 гигабайтах? Сейчас среди малых моделей самая лучшая - qwen3.6 27b, ей оптимально 48 гигабайт VRAM (квантование q8, большой контекст), то есть на двух видеокартах rtx3090 (~120 тыс руб) будет гораздо выше производительность чем на ryzen ai Max 395+
На моей материнской плате (Supermicro X11DPI-NT) имеется 4 полноразмерных порта PCIE 16x и ещё 2 порта PCIE 8x, а также ещё 2 порта Oculink. У процессоров суммарно 96 линий PCIE. Воткнуть 6 видеокарт никаких проблем не представляет