Qwen 3.6 27b на 8-12gb vram в llama.cpp до 256к контекста

[kox]

Тс, как то много памяти для KV кеша у вас жрет эта модель. Я на rtx 5060 ti 16gb крутил эту модель Qwen3.6-27B-UD-IQ3_XXS с квантованным кешем q8 90к, вся модель с кешем влезла в VRAM и еще 380 мегабайт свободно осталось. Правда у меня монитор подключен к встройке, так что еще отсюда экономия. С MTP получалось 45-65 ток/сек. Вот и не пойму- вроде в кванте который вы описываете, учитывая сколько весят веса, там должно влезть 256к, да еще и место остаться и без турбокванта. Или я что-то не понимаю?

[jarkevithwlad]

а вы попробуйте у себя выставить контекст 256к думаю будет большое потребление (самому интересно какое), всё же ваши 90 это почти в 3 раза меньше

[kox]

Ну я к тому что и квант кеша у меня 8, у вас то явно мельче квант,

[jarkevithwlad]

ну у турбокванта почти в 5 раз меньше размер, а у вас в 2 раза из за q8 и ещё дополнительно в 3 раза меньше из за 90к

p.s. сейчас проверил при 90к у меня потребление 10gb + 3gb-win11 (на 2 битной модели) + у меня замеры с mmproj (для распознавания изображений)

p.s.s. 90к без mmproj потребление 9gb +3gb-win11 (на 2 битной модели)

[kox]

Ok, теперь таки математика сходится. Спасибо!

[sergeym69]

А смысл, эти модели сами по себе туповатые, Q1 сваливается в loop, на сложной задаче, Q2 немного умнее но тоже тупит и не может исправить ошибки в созданном коде.

[Tdaa1]

Я тоже не понимаю на каких задачах автор тестирует качество и достигает 90-95%... Примеров нет, так что это просто слова. Бумага все стерпит)))

[jarkevithwlad]

я серьёзных тестов не делал, просто просил сделать html портфолио и за первый ответ там была 1 ошибка, на второй оно исправило её, так что может, хоть и сложность была не большая
p.s. специально сделал ещё раз тесты на моих основных локальных моделях, да промпт не самый показательный но вы можете и сами это сделать лучше..
p.s.s. все тесты через обычный чат llama.cpp (server)

[Wolf4D]

Эх, вот бы 4B-версию иметь с хорошим сжатием...

[sergey-automation]

https://github.com/sergey-automation/TurboPrefill-MTP/blob/main/README_ru.md

[jojozuka]

Эта модель на 3090 влезает в кванте 4. Было бы интересно выпихнуть что-то по мощнее, чем и так уже впихнулось :-)

[jarkevithwlad]

27b и q5 квант влазит, проблема в том что модели лучше уже значительно больше и требуют 400+gb ram/vram

[MIHAnik22]

Смотрел тест этих моделей, там они максимум 50% показали

[4external]

а что за видео?

[perebour]

Этот аттракцион извращения осталось догнать до полбита квантования, и с радостным гиканьем запускать на пульте от микроволновки - смотрите, работает!

Появилась новая группа странных людей с потребительским барахлом, которые всеми силами хотят закатиться в ИИ несмотря ни на что.

Но ведь с практической действительностью все эти потуги не имеют ничего общего.

95% точности в промышленных вещах - это фатальный писец.

А на поговорить ведь достаточно и гигачата

[aaoo]

А какую точность, как вы выразились, даёт любая фронтир модель?

[Worst_su]

Как говорят в /ai/

Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.

[umbral]

Хобби и домашних животных тоже осудить и запретить? Или только с железками ковыряться взрослому человеку должно быть зазорно?