Локальные LLM на Arch Linux и как увеличить скорость генерации в 20 раз

[wii]

Ожидал увидеть особенности Arch решения, но (мое почтение автору, я, кстати, сам юзаю Арч), он здесь потому что I use Arch btw :)

[Scank]

ожидал увидеть как с 50т\к увеличить до 1000, а тут пшик какой то

[V1tol]

Тут и железо народное, а не очередное "как я ускорял четыре теслы на 256-ядерном эпике".

[janvarev]

"как я ускорял четыре теслы на 256-ядерном эпике"

Чего-то взоржал с формулировки и отправил в нейросетку это визуализировать.

Скрытый текст

[supinepandora43]

Мне хочется плакать когда я вижу подобное. Скажи хотя-бы, где генерируешь

[janvarev]

С чего плакать-то?

Сетка OpenAI GPT Image 2 low quality.

[wii]

Мне кажется, что то, что автор пошел дальше установки из коробки и показал возможности оптимизации – уже хороший труд.

[Annsky]

Очень хочу Qwen 3.6 Moe на 8 гигабайтах видеопамяти с 20 токенами, попробую, отпишу в подкоммент. Считаю это одной из ключевых пунктов делающих обзор полезным.

[janvarev]

ik_llama еще попробуйте, я довел где-то вроде до 29 токен/сек (8 GB VRAM)

Писал в комменте здесь: https://habr.com/ru/articles/1024932/comments/#comment_29849464

[jarkevithwlad]

у меня на 3090 24gb vram, при контексте 64000 удалось выжать 120 т/с на qwen 3.6 35b (q4km + турбоквант) на 128к контекста около 100 ток/с

[MPfromLINUX]

Интересно. А какую оперативку используете и сколько ее?

[janvarev]

64 Гб DDR4 Kingston.

[MPfromLINUX]

Ну просто для такого железа 50 токен/с это почти предел возможностей, на такой скорости заведутся полностью пощещающиеся в vram модели. Я показал как оптимизировать запуск крупных Ultra MoE, скорость генерации выросла с нулевой до минимально рабочей, этим стало возможно пользоваться

[benito03]

TLDR: "моя моделька не влезла в VRAM, я сделал чтобы влезла"

Какая то откровенно несерьёзная статья, такое может быть интересно только тем, кто пока ни разу не запускал локальные LLM

[MPfromLINUX]

Модель не влезла в vram, поэтому я оставил в видеопамяти attention, kv-кэш, эмбеддинг, FFN принудительно выгрузил в озу. Модель примерно наполовину влезла, но работать стала быстрее