Comments 100
Сравнение со шапками справедливое :) Мы пока доказали только то, что 27B можно полностью разместить на 8 ГБ VRAM и получить около 30 токенов/с. Насколько сильно IQ2_XXS ухудшает качество — ещё предстоит измерить.
Сейчас как раз переходим к независимым тестам против BF16 и Ternary-Bonsai. Strata и MoE тоже интересны, их планируем исследовать отдельно.
Наша цель — не запустить 27B любой ценой, а получить максимально качественный локальный ИИ на доступном железе. Если результаты покажут, что другой подход эффективнее, будем использовать его.
Вспоминается сказка про скорняка и шапки. Можно и 7 шапок с одной шкуры сшить (IQ_2), но больно маленькие будут )
С этим согласен, что тянуть шкуру так себе затея, но если посмотреть проект Strata + то что описано в статье, грядет новая эра локального инфересна, пусть и с потерей качества, но на железе за вменяемые $ и это большой +
Проект только что вышел в свет, да там много чего дорабатывать перерабатывать и тп
Сравнение со шапками справедливое :) Мы пока доказали только то, что 27B можно полностью разместить на 8 ГБ VRAM и получить около 30 токенов/с. Насколько сильно IQ2_XXS ухудшает качество — ещё предстоит измерить.
Сейчас как раз переходим к независимым тестам против BF16 и Ternary-Bonsai. Strata и MoE тоже интересны, их планируем исследовать отдельно.
Наша цель — не запустить 27B любой ценой, а получить максимально качественный локальный ИИ на доступном железе. Если результаты покажут, что другой подход эффективнее, будем использовать его.
Просто вам хотят сказать, что правильный подход к статье: сначала доделать, потом публиковать. Пока полезность не доказана, это лишь половина реализации. Народ любит завершённость, а не анонсы. Только в этом ошибка. А в остальном, желаю удачи.
А разве не нужно было начинать тесты именно с качества? Какой смысл статьи если не измерялось качество?
Так и какое отклонение от BF16? И почему не https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf ? Кроме прочего как вы вообще собираетесь 8K контекста пользовать, и что получилось с prefill? :) Странно, но можно было бы утилизировать 35-A3B, там KV копейки стоит, а качество с -cmoe скорее всего будет выше
А на видяхе с 12ГБ локалный инференс норм или совсем никуда?
Ternary-Bonsai версия норм летает) но думаю оно по качеству гораздо хуже чем тот же qwen3.6-35-A3B
Покрутил несколько моделек разных на ограниченном железе. 24 на сегодгя минимальный оптимум, ИМХО. Для 12/16 сносно работают MoE но они пока заметно туповаты. Вероятно это особенность не технологии а конкретных моделей. Возможно, ситуация изменится если появятся узкоспециализированные модели - зачем мне для кодинга загружать и каждый раз обсчитывать рецепты борща? Модели меньше не станут, но будут работать чуть строже.
8К контекст для агентной работы это вообще ни о чем.
Еще нормальная конфигурация 24+8. Вторая для маленьких моделей (автодополнение и т.п.)
Пока использую модель для причесывания кода и всяких украшательств на которые раньше никогда не было времени и желания. Архитектуру и базовые алгоритмы пока делаю сам или прямыми короткими запросами.
Смотрел что вообще можно сибрать на бытовом железе. Кратко - ничего. Ради двух карт 24+24 даже нет смысла заморачиваться - большого прироста они не дадут. А цены на промышленные конфигурации измеряются десятками килобаксов. Еще и покупать надо ехать в рф (внезапно).
24... 24... оптимум... невелики ваши запросы однако, на всякие украшательства... Мой минимум это 128 на Мак и тот уже слегка трещит... ))
Ну эт у вас, лично я радуюсь тому что у меня места на диске хватает на 3.6 35B A3B Q3_K_M MTP
Варианты с расшаренной системной памятью тоже достаточно унылы. А маки, на мой взгляд, сами по себе достаточно унылы.
24 гигабайт достаточно для Q4 денз квена, плюс около 80 тысяч контекста. Можно больше, но на костылях. Такая конфигурация - это что-то между хайку и старым опусом (а-ля 4.6) - для локального окологейминг-пк - вполне неплохо. Дальше будет лучше.
Страта на 16 гб в максимальном iq3 (какой она там предлагает) + вижн и 256к контекста даёт 25-35 т/с. Вполне норм.
выбрасываешь бонсай, плюешь в корзину с бонсаем, качаешь gsq rco iq3, размером в 10гб. запускаешь, контекст ставишь 64к.
Сейчас у меня работает на одной RTX 3060
модель Qwen3.8-Flash-Next-UD-IQ4_XS
Кроме видеопамяти, она занимает еще около 100Gb RAM (DDR4)
Процессор CPU E5-2699 v4
Начинает отвечать на скорости около 10 t/s
при заполнении контекста
ближе 100 тыс токенов уже дает около 4 t/s
ближе 200 тыс токенов уже дает около 1 t/s
Prompt speed начинается около 170 t/s и падает до 7 t/s
Запуск в винде, Unsloth Studio, режим MTP+Ngram
Кстати, именно MTP стало причиной запуска в Unsloth Studio,
поскольку квант модели был подготовлен именно для этой студии.
Можно ссылку на MTP версии модели?
P.S. 128Gb DRAM что требуется для данной модели, возможно, cоизмерим по цене с GF-5060Ti-16Gb
Если правильно помню, то здесь скачивал MTP.
Вот как раз пытался версию shared использовать, а оказалось, что не так все просто.
Попробуй Strata с той же самой моделью, должно дать ощутимый прирост
Для вас создали https://github.com/Niko1221/Strata, а вы с лламой мучаетесь
У меня моделька Bonsai на основе Qwen3.6-27B и на 6 Гб видеокарте запускается с однобитным квантом, вот только результат не очень практически полезный.
Смысла в модели на 8к контекста не очень много
Следующий этап должен ответить на более важный вопрос: насколько хорошо модель сохраняет свои способности после настолько агрессивного сжатия.
Ну, ответ как бы понятен - никак.
Я контекст на 64К ставлю, Q8 на модель, bf16 KV - на RTX 2080 8ГБ и 32ГБ(+20ГБ swap) получается 10-15ток/с.
llama-bench.exe для подбора параметров. --fit оптималку ищет.
Каким параметром можно загруженные слои в VRAM удалить из RAM ??? Или сама CUDA требует копию в RAM?
Спасибо за много details, но есть большие сомнения насчет способностей iq2_xxs кванта)
В какой момент такие статьи стали получать положительный рейтинг. Воды налито столько что у меня слов нет. Как можно настолько сложно писать о самых базовых вещах, это просто какой-то невообразимый для меня уровень написания воды... Нет, я понимаю что это вероятно пародия на исследование написанная нейросеткой и слегка отредаченная, по крайней мере судя по наличию огромного количества английских слов, уж очень llmки любят смешивать английский с русским, да и наличия смысла в тексте стремится к нулю, но всё же. Читает же это кто-то и ставит плюсы.
Блин есть же базовые вещи, да, можно квантовать сетку в тернарный вид с сохранением некоторых промежуточных состояний поверх для уменьшения деградации, квантовать контекст в какой-нибудь turboquant 4bit nc и получить свой 256к контекст на 8гб карте. Великолепно. Правда качество у этого будет как справедливо заметили выше про версию ternary bonsai от prismml, такое себе. Ну нельзя настолько существенно сжать без сильной деградации, или по крайней мере этого ещё никто не сделал.
Ладно, что то меня разнесло. Но как же раздражает. Хоть глубокое исследование запускайте перед тем как изобретать велосипед двухлетней давности. Нейросетки блин будут до последнего цепляться за устаревшие методы, предлагать контекст 8-32к и тд, ибо считают что все до сих пор сидят на полном внимании и контекст неизбежно потребляет дофига памяти.
например, пять друзей автора регистрируются и ставят пять плюсиков через пять минут после публикации. А ещё несколько докидывают статье с хорошим положительным рейтингом те, кто особо не вчитывался, но им почему-то за минутный просмотр понравилось и почему бы не присоединиться к уже оценившим?
Сомнительно, чтобы у вас появились права на "+", сразу после регистрации на хабре
балуюсь тут сбором статы по плюсикам, вот для этой статьи график
тут 5й плюс был получен гдето через 3-4 часа от публикации. Рост количества минусов справа - сегодня часов с 10 утра по мск, народ начал читать уже залайканную статью
Спасибо, что выразали мои мысли. Я поначалу думал, что в статье есть какая-то новищна, а тут просто сделали очевидные задукоментированные вещи. Ещё и не понятно зачем.
Аналогично. Ещё и гордо проектом это назвали. Я, походу, когда себе параметры запуска Qwen 3.6-35b-a3b в llama.cpp подбирал на протяжении нескольких дней, тоже проект делал. Наверное, надо было целую статью про это написать. И для солидности тоже про себя во множественном числе говорить.
Хотя не, не выгорело бы; я бы до сих пор пытался имя своему "проекту" придумать... Эх, нейминг, нейминг...
это из разряда:
Короче непонятно какое качество. И в этом вообще фундаментальная проблема, на один и тот же вопрос "какую покупать видеокарту для домашнего ИИ" одни источники отвечают что можно и 8 гигабайт и все будет работать, другие - что нужен чуть ли не домашний сервер с несколькими топовыми картами каждая ценой около миллиона, иначе смысла в этом "домашнем ИИ" не будет и даже связываться не стоит. Кому хочешь тому и верь:(
Что-бы ответить на вопрос надо знать цель домашнего ИИ. Кому-то 8Gb хватит, кому-то 100Gb мало)
Да цели вполне обычные. Некоммерческое однопользовательское применение, примерно тот уровень интеллекта, который ожидаешь от бесплатных чатботов, но без ограничений и с дополнительными возможностями. Лично я для себя определил так:
генерация качественных, но не слишком большого разрешения (512*512) изображений и таких же небольших видео (720p более чем достаточно);
помощь с пониманием кода и написание кода в достаточно больших проектах;
написание и улучшение художественных текстов, удержание в памяти достаточно большого контекста литературного произведения;
фоновый поиск информации в интернете, что-то вроде личного ассистента, который бы отслеживал для меня все самое интересное и полезное - новости, тенденции, передовые технические решения, что-то где можно получить какую-то выгоду и т.п., на всех языках мира (с переводом на русский) и создавал бы подборки.
Не получится. Там везде нужна хотя бы сотня гигабайт видеопамяти. Лучше несколько сотен. Чтобы работало реально не хуже. Без всяких экономий и сокращений. Разработчики сеток неспроста не делают их однобитовыми.
Как тратить памяти меньше никто не знает, цены на железо неразумные.
Там везде нужна хотя бы сотня гигабайт видеопамяти
Тогда зачем все эти нейронки на 8Gb? Для чего-то они нужны?
Нищие люди которые не могут себе позволить видеокарту за полтора миллиона тоже существуют.
Всякие чат боты первой линии и легкая обработка документации. Различные сценарии автоматизации. Все они в основном заготовки. Надо дообучать под свой датасет.
Если чётко ставить конкретную узкую задачу они экономят некоторое время на писанину. 24ГБ уже сносно программирует в агентском режиме если не давать ему слишком углубляться в большой проект.
Отчеты о работе за меня Qwen 14b на 12Gb успешно пишет. Сделать понятное саммари по расшифровке разговора из GigaAM он тоже в состоянии. А последняя и вовсе на CPU прекрасно работает.
Читает всю эту писанину, возможно, другой Qwen на 32b, на то он и босс.
Для агентной разработки ничего подобрать не получилось, в OpenCode тупят страшно и инструменты запускают неустойчиво все модели, что были под рукой. Но я надеюсь на расширение до 2*12Gb.
Есть задачи, для которых не нужны умные модели.
Например, распознание картинки с текстом в текст даже небольшие мультимодальные LLM делают на порядок круче до-LLM-мных алгоритмов за счёт того, что они могут разрешать неопределённость и искажения за счёт базового понимания смысла текста.
Задачи классификации. Можно описать LLM естественным языком что-то типа "это текст про яблоки? отвечай только true или false". И сразу получить результат не собирая свой датасет текстов и не тренируя какой-то особый классификатор. С этим опять же справляются простые модельки, если не ставить им вопросы уровня "в этом участке кода отсутствуют баги?".
Автокомплит того же самого кода. Когда задача показать человеку вариант, который будет верен хотя бы в 15-30% случаев. Это может делать и глупая нейронка.
Чат-бот для простых сценариев. Даже глупая нейронка может распознать 90% возможных вариаций фразы "включи свет в гостиной". Можно использовать для умного дома. А вот поболтать о философии не выйдет...
Например сделать персональную Алису. Читать новости, читать книги, запускать музыку - то есть MCP серверы, голосовой интерфейс - как ни странно всё это Алиса делать не умеет полноценно. В общем помошник для плохо видящих родителей.
Если вам ок необходимость переключать модели (генератор картинок отдельной моделью) пойдет даже 8гб карта.
Понимание кода по общущениям неплохое у 30b-moe qwen, там насколько я помню хватало 1 карточки на 16gb. Написание - как будто вообще забей, лучше проплатить любую фронтир модель в подписке - слишком разница большая.
Тут нужны плотные модели - moe уже не очень, а значит что-то вменяемое - qwen 27b - это уже ~26gb для запуска в 4b кванте.
Ну тут пойдет тоже qwen 27b в теории, но у вас какая-то супер обширная задача - скорее всего скорости инференса не хватит.
Сейчас - я бы под ваши хотелки попробовал сборку из 2х 5060ti (правда цены давненько не смотрел), квантованную в 4b или даже возможно в 5b влезет плотную модель.
Дополню Вас для тех кого интересует: моя видеокарта 1080ti (11 Gb) на выходе дает для Qwen3.8 35b moe ~ 30 t/s; для Qwen3.8 125b moe ~ 10 t/s; для Owen3.8 27b (плотная) ~ 2 t/s. Это все для контекстного окна ~ 64kb, при увеличении до 128 kb падает приблизительно на 10%. Это все на разных вариантах 4b квантования.
Qwen3.8 35b moe - подскажите, какую именно вы модель используете?
Это дообученные 3.6, до реальной 3.8 27b не дотягивают
Гоняю сейчас бенчмарк DS1000 и наблюдаю ровно обратную картину: топ-3 по скорости/качеству — версии Qwen3.6. Планировал опубликовать, но хочется всё-таки вытянуть что-то из Qwen3.8, иначе никто не поверит.
Тут важны не бенчмарки, а реальное поведение модели в реальных задачах, скажу так, на своем опыте я проверял что 3.8 превосходит 3.6, в агенте, в достижении поставленной цели, она умеет многократно перебирать варианты и не останавливаться ожидая очередных инструкций от пользователя, даже если по дороге ловит разные препятствия, 3.6 отрабатывает предсказуемо.
А в чем проблема переключать модели? Я кстати пытался генерировать картинки на процессоре+32 Гига оперативки. Пофиг что долго, это был именно эксперимент, и меня совершенно не устроило качество результата. Хотя возможно я не те модели брал и вообще делал без малейшего понимания того что я делаю (действовал тупо по инструкции бесплатных чатботов)
Я не очень доверяю именно "агентному кодингу", но и копипаста в чатботы не всегда удобна. Размышляя, зачем мне может понадобтиться локальный ИИ, пришла в голову мысль "закрыть гештальты" с разработкой собственного языка программирования, причем я когда-то уже начинал модифицировать код компилятора языка D. Доверить это полностью ИИ я не хочу (да и интересно же именно самому), но и в одиночку этот код мне не поднять. Нужен помощник.
Еще из мыслей - разработка собственной p2p анонимной сети, и т.п. фантазии.С написанием художественных текстов пока неплохо справляются бесплатные чатботы (сразу несколько + ручное сведение + несколкьо итераций, это творческий процесс и меня он полностью устраивает).
Это вообще моя фантазия:) Да, было бы неплохо иметь такого ассистента который все за меня делает. Оставил на ночь или на день пока на работе, и он работает себе потихоньку...
В общем по сути интересны полтора пункта из четырех, остальное было бы приятными бонусами. И вот я думаю - покупать ли карту на 16 гигов ради этого? Период до начала подорожания я уже давно упустил. Второй вариант - вообще забить на несколько лет и году в 2030 купить уже что-то помощнее, возможно уже весь комп в целом (надеюсь все-же закон Мура или его аналог еще как-то будет работать, да и заводы новые построят, ну не могут же эти видеокарты дорожать вечно).
У меня моделями заведует сервер, и одна модель обслужвает сразу парк моих самописных приложений, скриптов и решений. Так что отключить на 30 минут llm ради генерации картинок будет означать для меня - создать аварийную ситуацию в моих приложениях и регулярных задачах)
Агенты кодят нынче удивительно хорошо, если не смотреть код. Качество продукта на выходе приемлимое, но опять-же на фронтирных моделях. Создавать сейчас вой язык - я бы крайне не рекомендовал, очевидно весь мир двигается к генерации кода, а для вашего языка не будет достойной обучающей базы, чтобы llm выдавали что-то адекватное. Дальше думаю развиваться будут лучше всего те языки, где уже сейчас такой объем openSource и доступного качественного кода, что модели уже умеют работать с ними отлично.
Бесплатные чатботы не доступны по api бесплатно, или сильно ограничены. А значит не применимы в проектах. Так они еще и сильно ограничены на длинну ответа - свой сервер может выдать вам хоть 20 страниц за заход если требование такое, проплаченный агент тоже, а вот веб - не больше пары страниц.
Не сказал бы что это невозможно. У меня есть сервис, который берет со всех ресурсов которые я читаю новые статьи (веб страницы целиком), и делает короткие выжимки материалов, а дальше позволяет как notebookml от гугл задавать по статье вопросы. Как небольшая часть вашей задумки - это уже похоже. Но даже он с 7 сайтами - уже страдает от скорости инференса, а если повесить на него еще и поиск интересных ресурсов, отбор под ваши конкретные интересы, классификацию товаров и услуг и проч. Не уверен даже что 1 агент на том-же chatGpt справится с таким объемом задач. Тут как будто нужно несколько моделей разной сложности и декомпозиция задач по ним. Но рано или поздно я думаю мы к такому примерно и придем)
Попробуйте для начала codex за 2к на месяц, если еще не пробовали, и использование его для ваших задач в режиме cli. Возможно вам и там лимитов в целом хватит, тогда видеокарта устареет быстрее чем затраты на подписку возьмут своё, и модели от openAi - это космические корабли против трактора, который получится запустить локально.
Если не критично и нет желания танцевать с бубном, лучше подождать новые карты, а с ними новые модели.
У меня 4060 ti на 16 гб, хватает на qwen 3.8 iq3 xxs (ud 3.0 + mtp, без квантизации kv + вижн на cpu) с 80к контекста и генерация картинок с qwen image 2.1 в районе 1 минуты на 1.5 мегапикселя.
Квант в качестве агента если сравнивать с q6-q8 глуповат, но его более чем хватает разбирать код, пояснять его и писать не сложные фичи в контексте проекта (огромный плюс, в отличии от чат ботов). Да, с любой фронтир моделью не сравниться, но если сравнивать с бесплатными, немного уступает cline моделям, которые я там видел в течении года (для массового пользователя скорее всего кванты, тех же дипсиков, но суть как раз в делегировании задач и справляются они все +- на одном уровне). Использую в работе как собственного джуна, которому можно делегировать скучные задачи на перекуре :D
Для новых моделей генерации изображений vram требуется больше, новые энкодеры это по сути qwen-ы, которые тоже нужно запускать параллельно с моделью изображений... Я сейчас использую qwen 2.1, который 7b, работает более чем хорошо, для моих запросов (переводить рисунки от руки в цифру, арты, различную рыбу для проектов и т.п). Модели sdxl/anima/illustrious/z image turbo так же работают весьма быстро в большом размере (от 1 мп).
уровень интеллекта, который ожидаешь от бесплатных чатботов
если уровень интеллекта бесплатных чат ботов от опенаи и антропика то нужны сотни гигабайт врам
Статью написала/отредактировала «нейронка»? Интересно проверить внутренний датчик «слопа».
7 раза встретил слово «важно». Смысл указывать, что нечто важно, если это автоматически должно быть так? Если нечто неважно, просто не пишите об этом. Писать следует только о важном. И вообще к чему это оценочное суждение? Просто объясняйте концепции наглядно, тогда читатель сам поймёт, действительно это важно или не очень. Также недавно видел статистику, что Claude использует это слово в 116 раз чаще человека.
Два раза встретил слово «просто», ещё и с двоеточием после: «Простая последовательность:», «Простое правило:». Если хотите что-то объяснить, так объясняйте, зачем уточнять, что это просто? Главное — объясните понятно, а читатель сам решит, просто это было или сложно.
У меня есть чувство, что не только статью писала нейронка, но и самой оптимизацией занималась тоже она. "Запусти, пожалуйста, Qwen на 8 ГБ видеопамяти и напиши об этом статью на Хабр". Фразы про "теперь это жёсткое правило проекта" и неоконченность статьи (прям как Клод, который пишет "сделал X, дальше делаю Y", а сам стоит ждёт ввода).
Ну ничего ж не стоило уже имея рабочую нейронку подрубить её в OpenCode и попросить написать какой-нибудь тудушник на React, а потом посмотреть насколько ужасным будет результат. На это времени нужно на порядок меньше, чем на все бенчмарки и оптимизации, а живому человеку ещё и самому интереснее будет первым делом сделать это, а не написать какую-то там статью.
Так можно ли запустить Qwen3.8–27B целиком на RTX 5060 8 GB?
Тут от модельки, залетающей в 64гига vram, порой приходится страдать, что ж там под крышкой дна на ультра низком квантовании происходит - страшно подумать.
Для поболтать о всяком разном - пойдет по приколу, на этом всё.
Лучше пойти по пути RAM вычислений, 3.8 flash-next вполне сносно работает
У меня модель на 26gb занимается раскладывание данных по полочкам (категоризация, выделение из общего текста конкретных данных), распознаванием текстов с картинок, составлением сводок, ведёт содержательные беседы с мошенниками которые пишут мне в телегу. Со всеми задачами на контексте в 100к - справляется отлично. Категоризация и распознавание - вообще даже слишком хорошо.
Так что сильно от задачи зависит. Если цель прямо генерировать много нового - то да, но если обратная - больше объем исходных данных привести к небольшим конечным - с этим как будто и компактные модели отлично справляются.
Если кто-то еще не видел: Qwen3.8-Flash-Next на 5070 https://github.com/Niko1221/Strata
Как оцениваете сами?
Тащусь от таких инструкций по установке
Do you use an AI coding assistant (Claude Code, Cursor, Codex, GitHub Copilot, ...)? Paste this into it:
Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.У меня 5080 и 9950x3d, 64 оперативки. Работает, где-то около 100 т/с. Установкой и настройкой занимался Sol 6.1
Так там только выкачать репу и setup скрипт запустить. Пользуюсь стратой уже недели 2 (вернее форком strata-v100) с квантом iq3_s, скорость и качество довольно приятные. По ощущениям qwen 3.8 flash next лучше умеет в планирование и архитектуру, а 27b в реализацию.
Проект в доработке это только первоначальная версия проекта
Типичный инженерный успех - из готовых библиотек собрали работающую схему, нашли настоящий bottleneck и получили воспроизводимую медиану вместо удачного прогона - но два бита на вес без пройденного quality gate это как коллега, который отвечает мгновенно и уверенно - слушать приятно, но доверять пока рано :D
можно ли ехать на велосипеде с квадратными колёсами? можно, но колеса переворачивать с грани на грань придётся руками.
по факту единственный обзор который реально стоит времени и сил, и который нужен, это сравнение gsq rco кванта квена 27б и ista Coder через страту. причём не в плане скорости, а в плане наличия мозга.
и именно поэтому никто такое сравнение не сделает. будем дальше клодослоп изрыгивать.
А тут всё правильно, нет ошибки? В случае «более высокая точность обязательно будет быстрее,» ожидаемая гипотеза - что более высокая точность будет медленнее.
Это важный практический момент. Нельзя заранее считать, что более высокая точность обязательно будет быстрее, точно так же как нельзя считать, что меньшее количество бит автоматически даст максимальную производительность.
Вопрос только один - на...., а главное зачем? Есть ornith-1.5-9B, который гораздо больше подходит под запуск на 6/8 Гб VRAM, или MoE модель, если ОЗУ позволяет. Качество более маленьких, но менее квантованных моделей лучше и стабильшее, чем большие, но в усмерть заквантованные.
А с какими параметрами llama.cpp запускали? Чот у меня всего 7-8 токенов/с выходит...
Qwen3.6-35B-A3B-APEX-MTP-I-Balanced - самое высшее качество и размер (не менее Q8, а по тестам как не сжатая, т.е. выше даже), на GTX 1650 4 gb + 32gb RAM DDR4 получаю 100 токенов промт на начале и 15-17 генерация. А промт с MTP это считай примерно как х1.7 обычного, т.е. перемножаем на 1.7 при генерации (сравнимо с 27 токенами обычными, не успеваю читать когда генерирует). И зачем козе баян? Эта модель в максимальном качестве прекрасно справляется с очень многим, и арканоид сделает с нуля без проблем.
И это при общем контексте в 64К. Можно выше, до 128К вполне все юзабельно, не сильно все падает. На 256К уже раза в 2 все просядет, но тоже еще юзабельно.
Llama.cpp + Debian 13, консоль, свой сервер без наворотов на простеньком Xeon E3-1225 v5 (4 ядра/4 потока). Видео с встройки проца если надо, на нем есть встройка, что редкость для Xeon
Есть смысл только ждать Qwen3.8-35B-A3B
Не лучше ли использовать MoE модели, так хотя бы можно удалить или сжать те части, которые отвечают за самых ненужных экспертов
Результат с полной загрузкой на GPU выглядит убедительно, но для платформенной экономики я бы рядом с 30 токенами/с показал стоимость принятого результата: качество относительно исходной модели, VRAM-запас при длинном контексте, cold start и поведение при OOM/retry. Иначе можно выиграть интерактивную скорость, но проиграть на повторных генерациях или ручной проверке. Есть ли у вас замер не только decode speed, но и end-to-end latency и доли результатов, прошедших один и тот же acceptance-набор?
Я может невнимательно читал. Но я так и не понял что конкретно вы сделали кроме как запустили готовую квантованную модель в готовом llama.cpp
Как мы запустили Qwen3.8–27B целиком на RTX 5060 8 GB и получили ~30 токенов/с