Mistral выпустила две модели для кодинга: одна соперничает с Claude Sonnet, вторая работает на домашнем GPU

[Timmek]

Ох уж эти 24B модели в домашних ПК....

[weirded]

А что с ними не так? Вполне неплохо влезают в квантованном в Q4 виде в 16гб VRAM.

[Politura]

Это dense модель, так что 256k токенов контекста (да даже и 16к) не влезут туда вместе с моделью. kv кэш даже у квантованных моделей по дефолту 16-и битный и меньше 8 бит делать не рекомендуется, ибо глючить начинает.

[jarkevithwlad]

ну есть относительно не дорогая rtx3090 на рынке, я себе планирую вообще взять мини пк на ai max+ 395 с 128gb ram/vram (за 2200$ можно найти)

[grixis]

Аххах .. 128гб ddr5, да? Доорогую игрушку смотришь

[jarkevithwlad]

там не ddr5, там распаяна LPDDR5X 8000MHz и да, пока ценник там не повышали

[Politura]

Ну, 8-й квант даже с каким-то контекстом влезет в память топовой видюхи. А сейчас популярны вариации 4-го кванта, есть шанс, что эта модель будет не сильно тупеть на каком-нибудь из них.

[Fardeadok]

А что сейчас лучше для локального кодинга есть в пределах 12гб видяхи и 128гб оперативы?

[puchuu]

Qwen3 next