А зачем? За такие деньги уже можно нормальный GPU взять. RTX PRO 5000 или, если надо именно много vram - доску nv-link и четыре V100 32Gb. Это 100% будет быстрее чем мак работать. В маке памяти много, но не настолько она быстрая.
Вы все правильно написали, в общем случае так и есть, но у меня тут свои причины именно так настроить. Во-первых VRAM не 24Гб а 22. Во вторых мне нужен vision модуль именно в vram потому что при офлоаде он начинает работать на cpu и это очень медленно в моем случае (CPU старый и медленный), а для меня в некоторых задачах нужно чтобы он быстро работал. IQ4_NL выбрал потому что он на 4Гб меньше, чем тот же UD-Q4_K_XL и дает больше места под kv-кэш, так что получается запустить на полном контексте.
Здравствуйте! Пара вопросов: 1. Есть ли поддержка vision для Qwen3.5? 2. Где вы нашли Radeon AI PRO R9700 за $500? Полез смотреть, везде цена раза в 3 больше.
Сейчас нет, но такие периоды были в моей жизни. Если жить на берегу Средиземного моря, питаться морепродуктами и свежими фруктами-овощами, тогда о дефиците микроэлементов можно не париться конечно. А так, проще выпить таблетку.
Содержание цинка в белокочанной капусте — 0,4 мг на 100 г. Процент суточной потребности в цинке — 3%. Среднесуточная потребность в цинке — 12 мг. В обычных сырых яблоках (на 100 г) содержание цинка очень низкое, ≈ 0,04 мг цинка на 100 г яблок с кожурой по данным USDA и других источников.
При недостатке цинка в рационе могут появляться такие основные признаки и эффекты:
Основные симптомы:
усиленная восприимчивость к инфекциям и частые простуды (иммунитет ослаблен)
Здоровых не бывает. Есть недообследованные ))). И потом, что вы имеете ввиду под минимально разнообразной едой? Картофель и макароны с сосисками - подходят под ваши критерии?
Еда, это не только калории, но и набор витаминов, микроэлементов. Если пища "пустая", то организм будет требовать еще. Не потому что мало калорий, а из-за дефицита веществ, необходимых для нормального функционирования. По своему опыту - пока пью витамины на постоянной основе, могу спокойно проходить мимо холодильника, набитого вкусняшками, делаю перерывы в 14-16 часов между приемами пищи. Как перестаю, аж трясет, надо что-то съесть.
V100 32GB SXM2 около 65к можно найти у китайцев.
А зачем? За такие деньги уже можно нормальный GPU взять. RTX PRO 5000 или, если надо именно много vram - доску nv-link и четыре V100 32Gb. Это 100% будет быстрее чем мак работать. В маке памяти много, но не настолько она быстрая.
Вы все правильно написали, в общем случае так и есть, но у меня тут свои причины именно так настроить. Во-первых VRAM не 24Гб а 22. Во вторых мне нужен vision модуль именно в vram потому что при офлоаде он начинает работать на cpu и это очень медленно в моем случае (CPU старый и медленный), а для меня в некоторых задачах нужно чтобы он быстро работал. IQ4_NL выбрал потому что он на 4Гб меньше, чем тот же UD-Q4_K_XL и дает больше места под kv-кэш, так что получается запустить на полном контексте.
Так может сделать контекст побольше? А то 32К контекст на агентских задачах, это не серьезно.
С полным контекстом на 2080 Ti 22Gb VRAM (65 t/s на пустом контексте):
С половинным контекстом на 4080 16 VRAM, отключен модуль vision (120 t/s):
Тут трейдоф - это скорость заполнения - из-за маленького батча она ниже.
зы. Кстати по поводу vision - какой же он днищенский у Gemma и какой божественный у Qwen, тут даже сравнивать нечего.
Да, я тоже удивился таким результатам. Я уже несколько дней тестирую на кодинге - очень хорошо себя показывает.
Лопата.
Потому что это не шутка
Чтобы такого не было надо локально запускать.
Интересно было бы попробовать эту штуку на Obliterated моделях. Думаю, после их редакции, эта версия показалась бы няшной и кавайной )))
@SLY_G предлагаю сгенерировать следующую новость:
«Большой взрыв ИИ»: из-за искусственного интеллекта читатели Хабра перегружены сгенерированными новостями, которые никто не вычитывает
Здравствуйте! Пара вопросов:
1. Есть ли поддержка vision для Qwen3.5?
2. Где вы нашли Radeon AI PRO R9700 за $500? Полез смотреть, везде цена раза в 3 больше.
Здравствуйте. Ссылка на репозиторий не работает.
Tencent, это та контора, которая великий китайский файрволл обслуживает? Или я путаю?
Я даже начал его настраивать. А потом подумал: "Чтобы что?" и бросил эту затею )))
Сейчас нет, но такие периоды были в моей жизни. Если жить на берегу Средиземного моря, питаться морепродуктами и свежими фруктами-овощами, тогда о дефиците микроэлементов можно не париться конечно. А так, проще выпить таблетку.
Содержание цинка в белокочанной капусте — 0,4 мг на 100 г. Процент суточной потребности в цинке — 3%. Среднесуточная потребность в цинке — 12 мг.
В обычных сырых яблоках (на 100 г) содержание цинка очень низкое, ≈ 0,04 мг цинка на 100 г яблок с кожурой по данным USDA и других источников.
При недостатке цинка в рационе могут появляться такие основные признаки и эффекты:
Основные симптомы:
усиленная восприимчивость к инфекциям и частые простуды (иммунитет ослаблен)
плохое заживление ран и порезов
выпадение волос, тонкие волосы
сухая кожа, дерматиты, высыпания
ухудшение вкуса и обоняния
усталость, снижение энергии
потеря аппетита, снижение веса
у детей — замедление роста и развития
Здоровых не бывает. Есть недообследованные ))). И потом, что вы имеете ввиду под минимально разнообразной едой? Картофель и макароны с сосисками - подходят под ваши критерии?
Еда, это не только калории, но и набор витаминов, микроэлементов. Если пища "пустая", то организм будет требовать еще. Не потому что мало калорий, а из-за дефицита веществ, необходимых для нормального функционирования. По своему опыту - пока пью витамины на постоянной основе, могу спокойно проходить мимо холодильника, набитого вкусняшками, делаю перерывы в 14-16 часов между приемами пищи. Как перестаю, аж трясет, надо что-то съесть.
Альтману просто надо продавать свою балалайку, он ради этого готов любую дичь втирать.
ИИндусы ))