Расходимся, столько слов и 30 токенов на Квин, смешно , у меня не хватает немного оперативной памяти, 16 Гб для запуска не на домашнем компе, пишет 144 нужно 128 доступно.. 27 токенов в секунду даёт 30 б модель... Которая если и отличается, то можно компенсировать простом, или количеством запросов.. и это 12700/128/4т ссд/ 5080... Ценой блин в 250 к.. рублей блин. Это в 10 раз меньше маков...
Сожмите модель qwen, ибо самая недоступная модель хочет 144.5 гигабайта памяти.. сожмите ее пожалуйста до 120... Чтобы она в оперативную память большенство домашних компов могла влезть.
Расходимся, столько слов и 30 токенов на Квин, смешно , у меня не хватает немного оперативной памяти, 16 Гб для запуска не на домашнем компе, пишет 144 нужно 128 доступно.. 27 токенов в секунду даёт 30 б модель... Которая если и отличается, то можно компенсировать простом, или количеством запросов.. и это 12700/128/4т ссд/ 5080... Ценой блин в 250 к.. рублей блин. Это в 10 раз меньше маков...
Почему старая карта, времён майнинга должна нормально работать с новым софтом, все зон работает на 5080. 2 минуты на генерации картинки.
Сожмите модель qwen, ибо самая недоступная модель хочет 144.5 гигабайта памяти.. сожмите ее пожалуйста до 120... Чтобы она в оперативную память большенство домашних компов могла влезть.
Раньше эта штука работа вызывалась видеомагнитофон... Очень удобная вещь....
Интересно сравнить flux. Все таки он более востребован для генерации изображения чем сьейбл дифьюжнн..