Комментарии 5
Дообучил... а где можно пощупать?
Вот же вращенец.
"LLM + RAG решает все вопросы..." тогда зачем так напрягаться?
Интересно было?
Тогда чего не выложил ссылки своих творений?
вроде нигде не писал про амбиции стать АНТРОП1С, зачем мне проблемы с компанией 1с
"скачал NVFP4 Qwen3.8 27B" автор уточните, в тексте всегда упоминается Qwen3.6-27B-Q8. "На 32 gb GPU запустить не получилось OOM """ странно, NVFP4 отлично запускается на 32 gb GPU. На stevelikesrhino/Qwen3.6-27B-Q8-NVFP4-GGUF at main указано, что модель занимает 23.5 gb, тут дело не в ООМ. Странная статья
LoRA адаптер обученный на Qwen3.6 также отлично работает с Qwen3.8 поэтому ошибки в статье нет
по умолчанию в vllm есть параметр который при запуске сверх ~27gb резервирует 95% процентов свободной памяти GPU под кеш, снижение этого параметра на карте с 48gb GPU до 60% процентов давало OOM разбираться не стал
размеры обычно пишу приблизительные 27B обычно приблизительно 27gb в Q8
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Дообучил Qwen3.6 синтаксису 1С и проверил её на случайных вопросах: все результаты не ниже 95 %