Если ПК не очень мощный, то можно попробовать koboldcpp — он есть в разных вариациях под разное железо, на гитхабе у автора всё расписано, что под какое лучше. У меня лично i5-13400F, 64 ГБ ОЗУ, RTX3050 8 ГБ, мне этого хватает для комфортного использования KoboldCPP с Q5K_M-квантованными (другие типы квантования тоже будут работать, но либо скорость, либо качество будут хуже) GGUF-моделями размеров 8B, 9B, 13B с Huggingface. Если нужны более крупные и серьёзные модели, то уже нужна видеокарта с куда более объёмной видеопамятью. Не, можно и в ОЗУ, но быстродействие будет ужасным, проверено на 20B-моделях.
У меня на Вайлдберрисе не пропустили отзыв, написав «запрещены отзывы с оскорблениями и нецензурной лексикой», хотя отзыв был написан исключительно культурно и по существу. После обращения в поддержку отзыв опубликовали, они сказали «иногда автоматическая система модерации даёт сбой». А чуть позже я обратил внимание, что часть моего отзыва оказалась заменена на три звёздочки: фраза «батарея на 5000 мА⋅ч может для кого-то оказаться маловатой» превратилась в «батарея на 5000 мА⋅*** для кого-то оказаться маловатой» — судя по всему, местный модерационный бот не допускает того, чтобы буква «ч» в конце одного слова и «мо» в начале другого слова шли подряд.
А этот веб-интерфейс модели и не скачивает, надо самостоятельно скачать (если нужен именно Flux, то скачиваем модель flux1-dev-bnb-nf4-v2.safetensors из профиля разраба этого Forge Webui: lllyasviel на Huggungface), а затем положить в папку webui_forge_cu124_torch24\webui\models\Stable-diffusion.
Если ПК не очень мощный, то можно попробовать koboldcpp — он есть в разных вариациях под разное железо, на гитхабе у автора всё расписано, что под какое лучше. У меня лично i5-13400F, 64 ГБ ОЗУ, RTX3050 8 ГБ, мне этого хватает для комфортного использования KoboldCPP с Q5K_M-квантованными (другие типы квантования тоже будут работать, но либо скорость, либо качество будут хуже) GGUF-моделями размеров 8B, 9B, 13B с Huggingface. Если нужны более крупные и серьёзные модели, то уже нужна видеокарта с куда более объёмной видеопамятью. Не, можно и в ОЗУ, но быстродействие будет ужасным, проверено на 20B-моделях.
У меня на Вайлдберрисе не пропустили отзыв, написав «запрещены отзывы с оскорблениями и нецензурной лексикой», хотя отзыв был написан исключительно культурно и по существу. После обращения в поддержку отзыв опубликовали, они сказали «иногда автоматическая система модерации даёт сбой». А чуть позже я обратил внимание, что часть моего отзыва оказалась заменена на три звёздочки: фраза «батарея на 5000 мА⋅ч может для кого-то оказаться маловатой» превратилась в «батарея на 5000 мА⋅*** для кого-то оказаться маловатой» — судя по всему, местный модерационный бот не допускает того, чтобы буква «ч» в конце одного слова и «мо» в начале другого слова шли подряд.
А этот веб-интерфейс модели и не скачивает, надо самостоятельно скачать (если нужен именно Flux, то скачиваем модель flux1-dev-bnb-nf4-v2.safetensors из профиля разраба этого Forge Webui: lllyasviel на Huggungface), а затем положить в папку webui_forge_cu124_torch24\webui\models\Stable-diffusion.