Список большой, и как я понял, нужно чтобы это работало на фоне, не забирая все ресурсы.
Спасибо за ответ! Хотелось бы, чтобы обе модели помещались в память и не было задержки во время запроса к другой модели. В любом случае, кроме рантайма веб-сервера и сервера ИИ'шек нагрузки на ПК не будет (окромя системных).
flux на gguf запуская через stable-diffusion-webui-forge, stable diffusion в исполнении Illustrious или Pony (модели ищутся на civitai.com), запускаются на stable-diffusion-webui или Qwen Image через ComfyUI.
Я уже чекал некоторые модели, в целом работают достаточно медленно, при моих настройках sd3.5 large gguf около 40 секунд, а Pony на SDXL 09. Мне чисто для демонстрации, так что хотелось бы что-нибудь максимально быстрое, лёгкое и +/- приличное
А кодовый агент хочется максимально жирный. Чисто попробовать во время разработки и все
Слушай, может посоветуешь парочку локальных моделей для меня? Я пока в этой теме не очень шарю, но в диплом засунуть надо. Для этого дела, конечно, пойдет любая, но хотелось бы получить максимальную эффективность.
Мой ПК:
RTX 5070ti 16gb
32 gb ddr5 6400
CPU Ryzen 5 8600g (хз, может пригодится эта информация)
Мне нужны модели для:
Перевода (желательно достаточно лёгкая и быстрая, но чтобы давала неплохие результаты)
Исправление ошибок в тексте, по большей части на русском языке (тоже легкая и быстрая модель)
Модель для программирования (тут можно не мелочиться, скорее для личных нужд, чем для диплома. Хочу пощупать) )
Конечно, это уже не llm, но может посоветуешь какую-нибудь модель для генерации картинок? Очень желательно, чтобы я мог запустить её одновременно с моделью для исправления ошибок в тексте.
Спасибо за ответ! Хотелось бы, чтобы обе модели помещались в память и не было задержки во время запроса к другой модели. В любом случае, кроме рантайма веб-сервера и сервера ИИ'шек нагрузки на ПК не будет (окромя системных).
Я уже чекал некоторые модели, в целом работают достаточно медленно, при моих настройках sd3.5 large gguf около 40 секунд, а Pony на SDXL 09. Мне чисто для демонстрации, так что хотелось бы что-нибудь максимально быстрое, лёгкое и +/- приличное
А кодовый агент хочется максимально жирный. Чисто попробовать во время разработки и все
Слушай, может посоветуешь парочку локальных моделей для меня? Я пока в этой теме не очень шарю, но в диплом засунуть надо. Для этого дела, конечно, пойдет любая, но хотелось бы получить максимальную эффективность.
Мой ПК:
RTX 5070ti 16gb
32 gb ddr5 6400
CPU Ryzen 5 8600g (хз, может пригодится эта информация)
Мне нужны модели для:
Перевода (желательно достаточно лёгкая и быстрая, но чтобы давала неплохие результаты)
Исправление ошибок в тексте, по большей части на русском языке (тоже легкая и быстрая модель)
Модель для программирования (тут можно не мелочиться, скорее для личных нужд, чем для диплома. Хочу пощупать) )
Конечно, это уже не llm, но может посоветуешь какую-нибудь модель для генерации картинок? Очень желательно, чтобы я мог запустить её одновременно с моделью для исправления ошибок в тексте.
Заранее спасибо