Комментарии 3
системный промпт </no think>
Системный промпт тут не поможет — проблема глубже. Токенизатор DeepSeek-R1 при add_generation_prompt=True сам добавляет <think> в конец промпта. Если просто дописать </no think> или любой текст в системный промпт — модель увидит незакрытый тег и всё равно начнёт думать. Нужно проверять что токенизатор уже добавил и корректно закрывать тег до генерации.
DeepSeek-R1-Distill-Qwen-32B - это был экспериментальный файнтюн Qwen2.5-32B, с плохим качеством. Если нужно отключить мышление, то проще взять именно Qwen2.5-32B, где и качество выше и размышление нормально отключается. Но вообще, с тех пор уже вышло 4 поколения новых Qwen моделей, которые и лучше и легче. И удобнее перейти на gguf, там есть и квантование, и размышление отключается 1 строчкой --reasoning off (и ещё несколькими способами).
Если сравнивать именно с Distill-Qwen-32B, то можно посмотреть даже на мелкие Gemma4 E4B или Qwen3.5 4B, которые очень хороши для своего размера.
Вчера вышла качественная Qwen3.6-35B-A3B сделанная на MoE архитектуре, активных параметров всего 3B, модель очень быстрая, а для запуска хватит 4Гб VRAM. Или свежие MoE Gemma4-26B-A4B и Dense Gemma4 31B, которые вышли 2 недели назад.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как отключить reasoning у локального DeepSeek-R1 и не сойти с ума Третий пост из серии про грабли локальных LLM....