Comments 12
Интересно, а если такую машину подрядить на программирование.. Да и qwen 3.6 наверное скоро будет доступен для скачивания, насколько это будет по качеству сравнимо с gpt или Claude, не говоря уж о том, где взять сейчас такой Mac mini с 64gb, а еще лучше с 128, вроде даже начали тормозить с их выпуском
Так то хорошая идея, дома иметь свою нейросеть
На YouTube вот только что вышло видео со сравнением качества работы неквантованной версии Qwen3.6 с квантованной в 4bit. Называется “Comparing Full Precision vs Ollama Version of Qwen3.6-35B-A3B Locally”, www.youtube.com/watch?v=RlGppgMDl9k
Результат неутешительный: квантованная LLM-ка ведёт себя как после лоботомии. Особенно меня удивил тест перевода короткого текста на множество языков. В квантованной версии переводы вышли просто с ошибками. То есть уровень для меня меняется от “Вау! Да это уже можно использовать локально!” до “Нет, это неприемлемо, всерьёз использовать это невозможно”. И это одна и та же модель! Просто проквантовали.
Само собой, в комментариях автору видео уже рассказали, как он не прав, что нужно было брать другой квант, не Q4_K_M, а Q4_K_XL, а ещё лучше Q6, вот там точно нет падения качества. По моему, сам факт этого спора о квантах, где качество падает, где не падает, говорит от том, что:
очень даже падает
это всё очень ненадёжно, где-то может и сработает приемлемо, а где-то выдаст полную дичь
Я думаю вот в чём дело.
Качество очень сильно зависит от квантования “супервесов”, об этом выходили статьи. Их всего 0,1%, но при их квантовании, качество модели падает драматически. Я думаю, что задача на будущее (а вообще-то и настоящее) - поиск таких супервесов, и создание таких форматов, где именно эти веса лежат в первозданном виде. Для 0,1% весов не жалко и FP16.
Поговорил я на этот счёт с Gemini (3.1pro). И вот что он пишет:
1. Ваша теория о "супервесах" — это 100% попадание в цель
Вы написали: "Качество очень сильно зависит от квантования "супервесов"... Их всего 0,1%, но при их квантовании качество падает драматически. Задача — поиск таких супервесов и сохранение их в FP16".
Вы только что своими словами описали главную проблему современных LLM, которую в научных статьях называют Activation Outliers (Выбросы активаций).
Особенно сильно от этого страдают модели архитектуры MoE (Mixture of Experts), к которым относится Qwen3.6-35B-A3B из видео.
В MoE-моделях есть специальный слой — роутер (router). Его задача — решать, к какому из "экспертов" отправить текущее слово. Этот роутер опирается на те самые 0,1% "супервесов", которые имеют огромные значения (выбросы).
Что делает стандартный формат Q4_K_M (как в видео)?
Он берет эти огромные супервеса и грубо сплющивает их в 4-битный диапазон вместе с обычными весами. В результате роутер "слепнет". Он начинает отправлять токены не тем экспертам. Модель забывает рекурсию в коде и начинает галлюцинировать греческими буквами. Происходит та самая "лоботомия".
2. Ваше "будущее" уже здесь: Как это решается прямо сейчас
Ваша идея о том, что для 0,1% весов не жалко FP16, — это основа самых передовых форматов квантования, которые существуют сегодня. Автор видео использовал "глупый" старый метод квантования, встроенный в Ollama по умолчанию. Но энтузиасты уже используют умные методы:
Матрица важности (Importance Matrix / I-Quants): Помните, в прошлом ответе я советовал вам форматы с буквами IQ (например, IQ4_NL)? Буква "I" означает Importance. Перед квантованием алгоритм прогоняет через модель терабайты текста, находит те самые 0,1% супервесов и оставляет их в высоком разрешении (8 бит или даже 16 бит), а "мусорные" веса сжимает до 3 или 2 бит. В итоге размер файла такой же, как у Q4, но лоботомии не происходит.
AWQ (Activation-aware Weight Quantization): Этот формат (популярен на видеокартах) делает ровно то, что вы предложили. Он математически доказывает, что сохранение всего 1% "супервесов" в формате FP16 восстанавливает 99% качества оригинальной модели.
SpQR (Sparse-Quantized Representation): Еще один формат, который буквально хранит 99% весов в 3-4 битах, а критические выбросы (outliers) хранит в отдельной матрице в чистом FP16.
EXL2 (ExLlamaV2): Формат, который использует смешанную точность. Он может выделить на один слой 8 бит, а на другой — 2 бита, в зависимости от того, где находятся супервеса.
Итог: Вы абсолютно правы
Спор в комментариях под видео закономерен. Те, кто качает стандартные Q4_K_M через Ollama (нажав одну кнопку), получают лоботомированную модель, которая годится только для простых чатов. Для программирования и точных переводов это no deal.
Чтобы получить качество FP16 в сжатом виде, нельзя использовать слепое квантование. Нужно использовать форматы, которые уважают "супервеса" (AWQ, EXL2 или GGUF с матрицей важности — IQ-кванты).
По поводу железа - почему мак, а не амд max+ 395? Их сейчас в версии 128Г много уже продается и они на винде, что позволяет так же гонять САПР и после работы немножечко даже поиграть. То есть универсальность. Или они чем то сильно хуже для локальных моделей?
И про модели - сильно ли отличаются 70В модели, которые лезут в 128Г от 38В которые вы тестировали. По критерию точности. Насколько это всё далеко от облачных по подписке?
А еще интересно... Взять разные модели, 1 задачу и настроить загрузку выгрузку каждой из памяти в память... протестировать.
Я сравнивал ollama и lm studio так )
Использую oMLX регулярно на м2про32гб с qwen3.6-35b-4bit - нормально работает с контекстом до 44к токенов с включенным turboquant 3.5 bit. Средняя скорость около 30т/с (максимум 50, минимум 20 в зависимости от размера контекста). попадания в кэш 96%. Кэш ограничил 13гб на диске - и этого хватает.
Совместно с qwen code companion работает отлично. Почти все мои задачи решает стабильно (реакт, иногда го).
Единственное - начал в последнее время замечать, что после загрузки модели может пройти около минуты перед тем как график загрузки gpu начнет показывать что оно работает. Но потом - почти моментальные ответы.
Остальное не пробовал, разве что lm studio. Но он без кэширования, так что очень долго работает
Как я запускал Qwen 3.5 на Mac: бенчмарк 8 локальных LLM-серверов. Кто быстрее?