В моменте и нет разницы. Разница появляется когда часок погоняешь в задачах, и один из запросов упадет на cpu, а чем больеш слоев на цпу и чем больше раздувается контекст, который начинает жрать vram, тем больше вероятность. на 4070Ти 16гб, у вас все 40 слоев должны залезать в VRAM при старте.
качал вчера такую же. После 2-3 запросов модель крашилась. Еще из коробки она не принимала запросы и нужно было template подставлять корректный. Вообщем гемма мне не понравилась, но по бенчу вроде как она лучше умеет кодить, но ей нужны с ходу жесткие инструкции и уточнения каждого чиха.
Это не правда. Выжигаются достаточно быстро. Смотрите там у чатгпт например вход $0.75 выход $4.50, у Кими 2.6 Выход 3$ - у меня за один запрос агент анализируя проект и добавляя во все места новые импорты сжег 1,5 млн токенов =)
я привел пример модели. не суть разве выгружая слои на цпу вы не теряете в скорости ? при обращении в слой который находится на ЦПУ будет просадка, и это ощутимо, у меня с 50 токенов в таких запросах падает до 20.
у меня сейчас 60т\сек с полной загрузкой в VRAM, и квант кеша 8Q. Еще узнал от Deepseek о моделях APEX. Посмотрите на гитхабе, там используется другой подход к квантизации МоЕ, который еще лучше чем unsloth, сниженный размер при том же качестве, и большей скорости. сам еще не успел проверить.
ps. для себя я понял в любом случае - это жалкое подобие того что предлагает платный антропик или гатГПТ. Код на порядок хуже. Если нужно что-то спросить есть куча чатов. Я думаю пройдет еще годик, и мы сможем пользоваться этими моделями с 100токен\сек за счет оптимизаций ПО и самих моделей.
во всем согласен. Q4_K_M полностью не влазит в 16ГБ. Я остановился на IQ3_XS - 65к контекст, все в VRAM. локально моделька нужно для гермеса. Хотя других задач я для себя еще не придумал. Код пишут хорошо только топы - gtp, opus. deepseek не пробовал, так как нужно морочится с китайской оплатой
Немного не понятно про тех кто боится писать код в пятницу. Пятница такой же рабочий день, а мержить в прод никто не заставляет.
отличный ресерч, почему вы еще не в команде Телеграмм с окладом 1м$ ?
Думаю Павлу, прочитав этот пост, стоит объявить новый контест на оптимизацию.
в проде никогда не будет что "страховки уже не нужны".
ничего личного, только бизнес
каждый день появляется что то новое, сначала turboquant, mtp, nvfp4... еще пару месяцев и 16гб модели будут выдавать 100тпс )
В моменте и нет разницы. Разница появляется когда часок погоняешь в задачах, и один из запросов упадет на cpu, а чем больеш слоев на цпу и чем больше раздувается контекст, который начинает жрать vram, тем больше вероятность. на 4070Ти 16гб, у вас все 40 слоев должны залезать в VRAM при старте.
на вашем пк не стоит даже пробовать запускать модели больше 6,5 Гб, места под контекст совсем не будет.
хотите лучше - платите
качал вчера такую же. После 2-3 запросов модель крашилась. Еще из коробки она не принимала запросы и нужно было template подставлять корректный. Вообщем гемма мне не понравилась, но по бенчу вроде как она лучше умеет кодить, но ей нужны с ходу жесткие инструкции и уточнения каждого чиха.
Это не правда. Выжигаются достаточно быстро. Смотрите там у чатгпт например вход $0.75 выход $4.50, у Кими 2.6 Выход 3$ - у меня за один запрос агент анализируя проект и добавляя во все места новые импорты сжег 1,5 млн токенов =)
они дрова под игры пилят. домашний ИИ это еще уже ниша чем гейминг
я привел пример модели. не суть
разве выгружая слои на цпу вы не теряете в скорости ? при обращении в слой который находится на ЦПУ будет просадка, и это ощутимо, у меня с 50 токенов в таких запросах падает до 20.
Continue это что ? для меня самый удобный qwen cli
согласен, причем разницы между llama.ccp и lmstudio в скорости даже не увидел. может быть погрешность 2-4%
ваш кейс индивидуален.
Обычно не требуется загружать модели более 1 раза. поработал и выключил.
а какой смысл выгружать слои в ЦПУ, если она полностью помещается в VRAM ?
условно IQ3_XSS влезает в VRAM. с 65к контекста удобно работать. Меньше контекста - модель даже проект прочитать не может.
Посмотрите на квантование APEX . там еще одна "революция" https://github.com/mudler/apex-quant
у меня сейчас 60т\сек с полной загрузкой в VRAM, и квант кеша 8Q.
Еще узнал от Deepseek о моделях APEX. Посмотрите на гитхабе, там используется другой подход к квантизации МоЕ, который еще лучше чем unsloth, сниженный размер при том же качестве, и большей скорости.
сам еще не успел проверить.
ps. для себя я понял в любом случае - это жалкое подобие того что предлагает платный антропик или гатГПТ. Код на порядок хуже.
Если нужно что-то спросить есть куча чатов.
Я думаю пройдет еще годик, и мы сможем пользоваться этими моделями с 100токен\сек за счет оптимизаций ПО и самих моделей.
во всем согласен.
Q4_K_M полностью не влазит в 16ГБ.
Я остановился на IQ3_XS - 65к контекст, все в VRAM. локально моделька нужно для гермеса. Хотя других задач я для себя еще не придумал. Код пишут хорошо только топы - gtp, opus. deepseek не пробовал, так как нужно морочится с китайской оплатой
Ничего не понятно, но очень интересно