Comments 50
по некоторым бенчмаркам - лучше чем Opus 4.6
В задачах программирования для миддл+ не дотягивает до Опуса. Проверял на Qwen 3.8 27B Q8. Пока ощущение, что это улучшенная на ~10% Qwen 3.6 35B А3B Q8. Т.е. прогресс конечно есть, но не wow. Посмотрю детальнее на выходных.
В общих задачах прогресс оценить еще сложнее тк в предыдущих версиях все с этим было хорошо и так.
У меня первое впечатление как раз “вау”. Такого красивого тетриса мне еще ни одна модель локальная не генерила:
скриншот
Помимо синтетики большинство моделей сейчас активно прокачивают по тетрисам, квейку и что там еще на ютубе первым делом проверяют. Я писал о немного других задачах, например, собрать один датасет из нескольких, правильно переиндексировав метки, затем использовать этот датасет для обучения определенной архитектуры.
Я с первого же запроса получил зачётную трёхмерную змейку:
https://s3.fursov.family/shares/snake3d.html
Раньше с этим справлялся только Opus.
поиграл с удовольствием 78 длину собрал) спасибо
Покажите пожалуйста промт!
write snake game on the sphere. The head of the snake it fixed in the center and the sphere is rotating. use HTML, CSS and JavaScript. The visible part of sphere shall be fully visible in the webView, not partially. The starting length of the snake shall be 3 and increasing every time the snake hit the food. Use keyboard control: LEFT and RIGHT arrows.
Жду 3д шахматы в вашем с квен исполнении)
Да они все примерно одно и то же рисуют.
мое впечатление тоже "вау" но жду модель МОЕ ибо 6 токенов в сек :-(
Вот хрен с ним, с тетрисом, вы пробовали натравливать её на какой-нибудь большой проект и попробовать порефакторить его или же объяснить как работают его блоки?
Я пользуюсь опусом и в незнакомой мне части он выручает меня, когда некого спросить, а читать много.
У меня с первого раза вышел зачетный пеликан на велике :))) Модель unsloth/Qwen3.8-27B-UD-Q8_K_XL.gguf , промпт: "Generate clean SVG code for a whimsical illustration of a friendly pelican riding a vintage bicycle, transparent background, minimalist vector style "
Для сравнения unsloth/Qwen3.6-27B-UD-Q8_K_XL.gguf
Это вероятно давно устаревший тест. Теперь нужно придумать что-нибудь другое. Крокодил на самокате там или ещё что. Хотя так тоже близковато
Устаревший, неустаревший, однако большинство моделей с ним не справляются. Для чистоты эксперемента, вот код который сгенерила модель для рендеринга указанной выше картинки (можно вставить в txt файл, поменять разрешение на svg и открыть любым просмоторщиком)
<svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"
width="700" height="580" viewBox="0 0 700 580" role="img" aria-labelledby="title desc">
<title id="title">Friendly pelican riding a vintage bicycle</title>
<desc id="desc">Minimalist flat vector illustration of a white pelican with a big orange beak and a red scarf, pedaling a red vintage bicycle with fenders and a headlamp. Transparent background.</desc>
<defs>
<g id="wheel">
<circle r="88" fill="none" stroke="#264653" stroke-width="12"/>
<circle r="74" fill="none" stroke="#264653" stroke-width="3.5"/>
<g stroke="#264653" stroke-width="3.5" opacity="0.85">
<line x1="0" y1="-74" x2="0" y2="74"/>
<line x1="-74" y1="0" x2="74" y2="0"/>
<line x1="-52" y1="-52" x2="52" y2="52"/>
<line x1="-52" y1="52" x2="52" y2="-52"/>
</g>
<circle r="9" fill="#264653"/>
</g>
</defs>
<!-- Ground shadow -->
<ellipse cx="400" cy="532" rx="235" ry="16" fill="#1E293B" opacity="0.10"/>
<!-- Motion lines -->
<g stroke="#264653" stroke-width="6" stroke-linecap="round" opacity="0.28">
<line x1="96" y1="372" x2="146" y2="372"/>
<line x1="78" y1="410" x2="142" y2="410"/>
<line x1="96" y1="448" x2="146" y2="448"/>
</g>
<!-- Far-side leg and pedal -->
<g>
<path d="M360 292 C356 322 357 362 359 388" fill="none" stroke="#E08E2B" stroke-width="8" stroke-linecap="round"/>
<rect x="347" y="385" width="30" height="10" rx="5" fill="#E08E2B" stroke="#264653" stroke-width="3"/>
<line x1="390" y1="430" x2="361" y2="400" stroke="#1B2A38" stroke-width="7" stroke-linecap="round"/>
<rect x="346" y="395" width="28" height="9" rx="4" fill="#1B2A38"/>
</g>
<!-- Wheels -->
<use href="#wheel" xlink:href="#wheel" transform="translate(250 430)"/>
<use href="#wheel" xlink:href="#wheel" transform="translate(550 430)"/>
<!-- Chain -->
<g stroke="#264653" stroke-width="3" opacity="0.75">
<line x1="390" y1="411" x2="252" y2="421"/>
<line x1="390" y1="449" x2="252" y2="439"/>
</g>
<!-- Frame -->
<g fill="none" stroke="#E63946" stroke-linecap="round">
<line x1="390" y1="430" x2="250" y2="430" stroke-width="7"/>
<line x1="342" y1="304" x2="250" y2="430" stroke-width="7"/>
<line x1="390" y1="430" x2="342" y2="304" stroke-width="9"/>
<line x1="390" y1="430" x2="506" y2="308" stroke-width="9"/>
<line x1="344" y1="302" x2="502" y2="306" stroke-width="9"/>
<line x1="504" y1="300" x2="515" y2="333" stroke-width="13"/>
<path d="M515 333 C528 362 542 395 550 430" stroke-width="8"/>
<line x1="504" y1="300" x2="496" y2="262" stroke-width="8"/>
<path d="M496 262 C494 246 486 236 470 232" stroke-width="8"/>
<line x1="342" y1="304" x2="334" y2="282" stroke-width="7"/>
</g>
<circle cx="468" cy="231" r="5.5" fill="#264653"/>
<circle cx="487" cy="239" r="5.5" fill="#FFD166" stroke="#264653" stroke-width="3"/>
<!-- Fenders -->
<g fill="none" stroke="#264653" stroke-width="8" stroke-linecap="round">
<path d="M158 377 A106 106 0 0 1 342 377"/>
<path d="M475 355 A106 106 0 0 1 625 355"/>
</g>
<circle cx="524" cy="357" r="8" fill="#FFD166" stroke="#264653" stroke-width="4"/>
<!-- Saddle -->
<path d="M258 272 Q304 254 350 263 Q361 267 353 276 Q304 285 274 281 Q261 278 258 272 Z" fill="#5A3825" stroke="#264653" stroke-width="3"/>
<!-- Chainring and near pedal -->
<circle cx="390" cy="430" r="20" fill="#C1272D" stroke="#264653" stroke-width="3.5"/>
<circle cx="390" cy="430" r="4.5" fill="#264653"/>
<line x1="390" y1="430" x2="420" y2="458" stroke="#264653" stroke-width="7" stroke-linecap="round"/>
<rect x="402" y="454" width="36" height="10" rx="5" fill="#40566B"/>
<!-- Near leg -->
<path d="M372 270 C382 332 402 402 416 452" fill="none" stroke="#F5A623" stroke-width="9" stroke-linecap="round"/>
<rect x="400" y="443" width="46" height="13" rx="6.5" fill="#F5A623" stroke="#264653" stroke-width="3"/>
<line x1="434" y1="448" x2="443" y2="453" stroke="#264653" stroke-width="2.5" stroke-linecap="round"/>
<!-- Pelican -->
<path d="M268 196 C240 188 220 194 208 208 C220 206 232 210 240 218 C226 220 216 230 212 242 C224 236 236 238 244 246 C252 230 260 212 268 196 Z" fill="#FDFDFD" stroke="#264653" stroke-width="4" stroke-linejoin="round"/>
<path d="M352 118 C415 118 448 165 448 215 C448 272 405 292 352 292 C300 292 258 268 258 215 C258 160 290 118 352 118 Z" fill="#FDFDFD" stroke="#264653" stroke-width="4.5" stroke-linejoin="round"/>
<path d="M330 168 C285 175 262 215 272 248 C280 272 310 280 335 268 C355 258 362 232 355 210 C349 190 344 172 330 168 Z" fill="#E3EBF3" stroke="#264653" stroke-width="4" stroke-linejoin="round"/>
<path d="M300 240 C310 246 322 248 332 244 M302 224 C312 230 324 232 334 228" fill="none" stroke="#264653" stroke-width="3" stroke-linecap="round" opacity="0.45"/>
<circle cx="420" cy="95" r="46" fill="#FDFDFD" stroke="#264653" stroke-width="4.5"/>
<path d="M402 52 C398 38 404 28 414 25 M418 50 C418 34 428 26 438 25 M434 53 C438 40 447 34 456 33" fill="none" stroke="#264653" stroke-width="4" stroke-linecap="round"/>
<path d="M450 114 L583 108 C589 110 588 116 581 121 C545 169 480 171 452 132 C448 124 448 118 450 114 Z" fill="#F79A3E" stroke="#264653" stroke-width="4" stroke-linejoin="round"/>
<path d="M450 84 L583 99 C591 101 591 107 583 109 L452 116 C446 102 446 96 450 84 Z" fill="#FFB84C" stroke="#264653" stroke-width="4" stroke-linejoin="round"/>
<line x1="468" y1="96" x2="478" y2="99" stroke="#264653" stroke-width="3" stroke-linecap="round"/>
<circle cx="428" cy="74" r="9.5" fill="#264653"/>
<circle cx="431.5" cy="70.5" r="3.2" fill="#FFFFFF"/>
<ellipse cx="437" cy="111" rx="8.5" ry="5" fill="#FFB4A2" opacity="0.85"/>
<!-- Scarf -->
<path d="M378 128 Q412 148 448 136 L443 156 Q410 168 384 148 Z" fill="#E76F51" stroke="#264653" stroke-width="3.5" stroke-linejoin="round"/>
<path d="M384 148 C350 156 330 146 306 154 C290 159 279 168 272 180 L288 184 L276 196 C292 194 306 186 318 178 C336 166 358 164 378 168 Z" fill="#E76F51" stroke="#264653" stroke-width="3.5" stroke-linejoin="round"/>
</svg>Я в том плане что как только какой-то специфический тест достаточно широко распространяется то высока вероятность что в тренировочном корпусе появляется датасет специально под этот тип задач. Или даже вовсе под одну конкретную свгшку. И тот факт что какая-то сетка хорошо с ним справляется с какого-то момента особо ничего не говорит.
Недавно была статья с проверкой, занимаются ли разработчики пеликанмаксингом (спойлер: не занимались по крайней мере месяц назад)
Неплохой промпт для теста.
1. Шедевр от Суверенного АИ, Алисы ;)
2. Qwen 3.6 27b
3. Gemini 3.6 flash
Всегда считал что Жемини хорошо рисует интерфейсы, модифицирует фотки, ну короче с дизайном там неплохо, жаль много остального у неё - печаль.
Может модель перекачать...
У вас сколько токенов потратила и сколько по времени заняло? 14 тыс токенов и конца не видно... Внутри Bionic LM Studio, вообще без дополнительного софта.
а что конкретно лучше? ну типо математика или код пишет?
Я кодом и картинками модель не проверял, но первое, что бросилось в глаза- объём рассуждений. По сравнению с qwen3.6-27b рефлексирует раза в 3-4 больше и ход мыслей мне нравится.
Как по мне, даже на простую задачу капец, как долго рассуждает. А на сложной я даже думал, что зациклилась, пришлось просить Agy разобраться, в чем дело
И из-за этих рассуждений итогового ответа ждать очень долго.
Мне в этом плане больше nemotron-cascade-2-30b-a3b зашел с его адаптивным CoT. На простой задаче буквально через 150-200 токенов размышлений ответ выдает. При этом на сложной - больше думает.
В общем, пока не заметил, какую из своих моделей я бы на qwen-3.8 заменил. Та же gemma-4-31b очень подробные объяснения выдает. Разве что не в скрытом CoT, а в финальном ответе. Не сравнивали их на своих задачах?
Не пробовали изменить глубину размышлений? Доступны 4 настройки (xhigh, medium, low, nonе)
Не пробовал, все по дефолту.
Впрочем, и не вижу где. Поставил Bionic и там то ли бедненько с настройками. Ну или я пока не разобрался.
Вижу только Вкл/Выкл Reasoning Section Parsing. Впрочем, я даже TTL в настройках модели там не нашел, в отличие от привычной LM Studio.
Может в промпте можно указать уровень размышлений...
Уже стату на продовых серверах набрали (клиентская аналитика).
xhigh, thinking 88,2 с
medium, thinking 68,8 с
low, thinking 68,1 с
thinking выключен 21,5 с
Выводы: medium и low быстрее xhigh примерно на 22–23%, но по структуре результата не хуже.
MTP=4
Контекст можно относительно безвредно кватновать в q8 (по умолчанию он в fp16).
Прямо в момент выхода пилил небольшой проект с Qwen3.6-27b. Скачал, запустил, не то чтобы прям ВАУ, но прирост интеллекта явно заметен.
Дал очередную среднюю по сложности правку по проекту. Думала долго, по опыту с 3.6 уже начал ожидать что как обычно сделает кучу мелких ошибок при реализации но нет, с первого раза выдала хороший рабочий результат, попутно найдя и исправив баги которые перед этим сделала 3.6.
При этом на простых задачах думает заметно меньше. В целом качество размышлений заметно выше. Разработчикам огромный респект.
Прилично прокачалась в инфографике и управлении общими тулами и дебаг-тулами. Я слегка удивился, когда она начала сама двигать курсор в браузере и кликать мышой по кнопкам О_О.
Как уже отметили выше, на xhigh часто заходит в петли рассуждения на коротком контексте (70к не хватает, она думает до компактирования, а после - начинает заново размышлять и детализировать).
из забавного: первый раз увидел текстовыделитель при размышлениях (возможно это какая-то фича нового опенкод):
По детализации уделывает DS v4 flash.
Тестил в Q4_K_M на 3090, сейчас буду спускаться до Q4_0 так как очевидно нужен контекст 100+
Советую попробовать вот это вместо q4_0
Сначала не запустилась Qwen 3.8 27B (unsloth ud5) llama.cpp server с claude code.(error 500)
Рецепт тут https://github.com/ggml-org/llama.cpp/issues/27107
Сейчас эта модель у меня лидирует на rtx 5090. Потратила ~10 минут на работающий лисп интерпретатор на "С"
Qwen3.6 справилась за полчаса
Народ, а подскажите, пожалуйста, как расширять контекст до 1 млн? И сколько это памяти отъедает?
Спасибо, скачал)
Да лучшая модель для локальной, очень долго думает, зато первая локальная модель которая на threejs сделала в 3d игрушку и сразу заработала, делала через codex агент 40 минут(симулятор гонок на квадракоптере). На RTX2080ti 22GB с небольшим разгоном Q4 квант 148тысяч контекст с MTP дает 25-55 токенов в секунду ( в зависимости от текущего использованияглубины контекста, сначала 55 токенов в секунду, потом снижается по мере использования всего контекста до 25 токенов в секунду).
Попробовал на реальной задаче на программирование
Baked for 10h 12m 46s
Q6K при скорости 9 токенов в секунду за ночь добил задачку до состояния "ревью человеком / Fable" и можно отдавать в тестирование
В сравнении с Qwen 3.6 27B она прям получше: она добивает задачи до состояния "реально работает", а не врет о том что все готово при падающих тестах
Зацикливается как и все квены: три часа реального времени пыталась решить проблему с CORS которые настраивала криво, прогоняла тест и возвращалась к патчингу
Но из зацикливания вышла сама, довела задачу до конца и прибрала (вот уж неслыханно) за собой мусор из worktree
Я гоняю на Strix Halo, поэтому с утра не выдержал и прикрутил к ней MTP-бошку - 9 токенов превратились хотя бы в 20 и стало терпимо
У меня провайдер ростело стал сбрасывать соединение до CDN HF.
Есть еще кто-то с проблемой скачивания моделей?
Вышла новая модель: Qwen 3.8 27B