С ключом --no-mmap процесс памяти занимает меньше ОЗУ. В в производительности разницы не заметил. Как я понял llama-cpp пишет модель в vram, если она полностью вмещается, то отображать файл на память уже не надо. По поводу скорости загрузки - это только на этапе экспериментов важно, кроме того - llama-cpp по скорости загрузки несравнимо быстрее той же vLLM, если диск быстрый - никаких проблем.
А зачем? За такие деньги уже можно нормальный GPU взять. RTX PRO 5000 или, если надо именно много vram - доску nv-link и четыре V100 32Gb. Это 100% будет быстрее чем мак работать. В маке памяти много, но не настолько она быстрая.
Вы все правильно написали, в общем случае так и есть, но у меня тут свои причины именно так настроить. Во-первых VRAM не 24Гб а 22. Во вторых мне нужен vision модуль именно в vram потому что при офлоаде он начинает работать на cpu и это очень медленно в моем случае (CPU старый и медленный), а для меня в некоторых задачах нужно чтобы он быстро работал. IQ4_NL выбрал потому что он на 4Гб меньше, чем тот же UD-Q4_K_XL и дает больше места под kv-кэш, так что получается запустить на полном контексте.
Здравствуйте! Пара вопросов: 1. Есть ли поддержка vision для Qwen3.5? 2. Где вы нашли Radeon AI PRO R9700 за $500? Полез смотреть, везде цена раза в 3 больше.
Гречка с тушенкой (если тушенка хорошая) гораздо вкуснее всяких там омаров )))
Не просто карандашом, а "химическим"!
Paybeamахаха что ты делаешь, остановись!
Она хорошая, но медленная потому что dense.
--fit on по-умолчанию включен. Так что можете и его убрать ))
С ключом --no-mmap процесс памяти занимает меньше ОЗУ. В в производительности разницы не заметил. Как я понял llama-cpp пишет модель в vram, если она полностью вмещается, то отображать файл на память уже не надо. По поводу скорости загрузки - это только на этапе экспериментов важно, кроме того - llama-cpp по скорости загрузки несравнимо быстрее той же vLLM, если диск быстрый - никаких проблем.
V100 32GB SXM2 около 65к можно найти у китайцев.
А зачем? За такие деньги уже можно нормальный GPU взять. RTX PRO 5000 или, если надо именно много vram - доску nv-link и четыре V100 32Gb. Это 100% будет быстрее чем мак работать. В маке памяти много, но не настолько она быстрая.
Вы все правильно написали, в общем случае так и есть, но у меня тут свои причины именно так настроить. Во-первых VRAM не 24Гб а 22. Во вторых мне нужен vision модуль именно в vram потому что при офлоаде он начинает работать на cpu и это очень медленно в моем случае (CPU старый и медленный), а для меня в некоторых задачах нужно чтобы он быстро работал. IQ4_NL выбрал потому что он на 4Гб меньше, чем тот же UD-Q4_K_XL и дает больше места под kv-кэш, так что получается запустить на полном контексте.
Так может сделать контекст побольше? А то 32К контекст на агентских задачах, это не серьезно.
С полным контекстом на 2080 Ti 22Gb VRAM (65 t/s на пустом контексте):
С половинным контекстом на 4080 16 VRAM, отключен модуль vision (120 t/s):
Тут трейдоф - это скорость заполнения - из-за маленького батча она ниже.
зы. Кстати по поводу vision - какой же он днищенский у Gemma и какой божественный у Qwen, тут даже сравнивать нечего.
Да, я тоже удивился таким результатам. Я уже несколько дней тестирую на кодинге - очень хорошо себя показывает.
Лопата.
Потому что это не шутка
Чтобы такого не было надо локально запускать.
Интересно было бы попробовать эту штуку на Obliterated моделях. Думаю, после их редакции, эта версия показалась бы няшной и кавайной )))
@SLY_G предлагаю сгенерировать следующую новость:
«Большой взрыв ИИ»: из-за искусственного интеллекта читатели Хабра перегружены сгенерированными новостями, которые никто не вычитывает
Здравствуйте! Пара вопросов:
1. Есть ли поддержка vision для Qwen3.5?
2. Где вы нашли Radeon AI PRO R9700 за $500? Полез смотреть, везде цена раза в 3 больше.
Здравствуйте. Ссылка на репозиторий не работает.
Tencent, это та контора, которая великий китайский файрволл обслуживает? Или я путаю?
Я даже начал его настраивать. А потом подумал: "Чтобы что?" и бросил эту затею )))