Comments 17
Можно сразу отметить катастрофическую непригодность специализированных моделей для кодинга. Возможно такие модели действительно быстро набирают код, но эта способность бесполезна в реальной работе. Qwen3 Coder Next категорически отказывается выполнять какие-либо инструкции системного промпта, она его попросту игнорирует, а модель того же семейства но общего назначения – ощутимо лучше.
Ваши выводы про Qwen3 Coder Next не подтверждаются моей практикой. Подключите эту же модель через LM Studio к Claude Code, обозвав ее Claude Sonnet, и вы увидите, что она прекрасно работает, используя абсолютно все возможности самого Claude Code. В вашем случае проблема кроется не в самих моделях, а в Qwen Code и его настройках.
Вообще Qwen3 Coder Next специально натренирована на агентные сценарии, взаимодействие со средой и использование инструментов. То, что у вас она наотрез отказывается работать, говорит только о том, что скорее всего сломан механизм передачи инструкций. Насколько я помню, у Qwen Code он завернут в специфические xml теги, то есть нестандартный. Вам определенно стоит покопать именно в эту сторону.
не подтверждаются моей практикой
А пруфы будут, или мы просто должны поверить вашей «практике»?
То, что у вас она наотрез отказывается работать
Отказывается работать, и игнорирует инструкции системного промпта – это совершенно разные вещи. Для агентских систем reasoning обязателен, и проведенный мной эксперимент это подтверждает. Имея описания минимум двух релевантных скилов, Qwen3 Coder Next неспособен прийти к выводу, что надо бы их использовать. То есть ему не хватает умений даже инструменты свои использовать, не говоря уже о выполнении комплексных, многоступенчатых задач.
А пруфы будут, или мы просто должны поверить вашей «практике»?
https://www.youtube.com/watch?v=dG4WwlA4ym4
Имея описания минимум двух релевантных скилов, Qwen3 Coder Next неспособен прийти к выводу, что надо бы их использовать. То есть ему не хватает умений даже инструменты свои использовать, не говоря уже о выполнении комплексных, многоступенчатых задач.
У меня дообученная сеть на его основе (под мою специфику) работает прямо в Apache NetBeans IDE с использованием всех MCP инструментов, от fzf/ripgrep поиска по проекту до работы с сырыми буферами самой IDE, те модель понимает не только какой проект открыт но и какие файлы сейчас открыты в самой IDE, в каких из них есть изменения сделанный прямо сейчас человеком, но еще не сохранены, может искать по актуальным версиям спецификаций и осуществлять сборку проектов.
Вы просто не умеете его готовить. Я специально написал это так категорично, чтобы дать вам заряд энергии выйти из отрицания и разобраться почему же он не работает у вас. Определенно, стоит это сделать тк на данный момент это одна из лучших агентских MoE сетей с открытыми весами в диапазоне до 100B параметров.
Из ваших комментариев я могу сделать только один вывод: статью вы не читали.
Или вы не читали мои комментарии, эта модель прекрасно работает и с системным промтом и с указанными tools и cо skills.md который также становится частью системного промта. Более того, именно для этого она и создавалась.
Не знаю, кто эти ребята что плюсуют ваши комментарии, видимо ваши друзья. Других объяснений этому поведению нет. Теперь по существу:
Ваши выводы про Qwen3 Coder Next не подтверждаются моей практикой
Не интересуют меня ваши субъективные ощущения. Приведите пруфы и цифры, а не ссылку на ютюб.
В вашем случае проблема кроется не в самих моделях, а в Qwen Code и его настройках
Вы прочитали статью, но не заметили, что добрая ее половина как раз об этом? Вы даже TL;DR пропустили, давайте напомню:
TL;DR: CLI-агенты галлюцинируют даже с мощными моделями, потому что системные промпты раздуты лишними примерами, повторами и нерелевантными терминами. Это математически бьёт по вниманию модели и не даёт того эффекта, который обещают best-practices. Я форкнул Qwen Code, вычистил системные промпты, и на 4 моделях получил стабильный вызов нужных скиллов, меньше галлюцинаций и на 35-53% сократил расход токенов. Без потери качества.
Дальше вы пишите:
Насколько я помню, у Qwen Code он завернут в специфические xml теги
Давайте приведу еще один отрывок из статьи, которую вы читали:
Интересно, что доступные скилы в Qwen Code пакуются в некие специальные XML директивы (назначение которых мне неизвестно), и отправляются как сообщение пользователя а не системы (что похоже на баг).
Как же вы статью то читали? Точнее какую? Эту точно нет.
Вам определенно стоит покопать именно в эту сторону.
В какую? Не в сторону ли инструмента, то есть CLI, о чем как раз вторая половина статьи? О том куда я копал, зачем, что изменил и какие результаты получил?
Вы просто не умеете его готовить. Я специально написал это так категорично, чтобы дать вам заряд энергии выйти из отрицания и разобраться почему же он не работает у вас.
Пафос и демагогия.
Подключите эту же модель через LM Studio к Claude Code, обозвав ее Claude Sonnet, и вы увидите, что она прекрасно работает
Хм, разве автор где-то писал, что оно не работает? По-моему, он писал что работает, просто хуже чем могла бы.
В вашем случае проблема кроется не в самих моделях, а в Qwen Code и его настройках.
Разве статья не о том же самом? Ну прямо первой же строчкой,
CLI-агенты галлюцинируют даже с мощными моделями, потому что системные промпты раздуты лишними примерами, повторами и нерелевантными терминами
То, что у вас она наотрез отказывается работать, говорит
о том, что статью вы не читали - работает она, но не так как ожидается от неё -
Я форкнул Qwen Code, вычистил системные промпты, и на 4 моделях получил стабильный вызов нужных скиллов, меньше галлюцинаций и на 35-53% сократил расход токенов.
С чем вы "спорите"?
Хм, разве автор где-то писал, что оно не работает? По-моему, он писал что работает, просто хуже чем могла бы.
Автор написал, цитирую:
Можно сразу отметить катастрофическую непригодность специализированных моделей для кодинга. Возможно такие модели действительно быстро набирают код, но эта способность бесполезна в реальной работе. Qwen3 Coder Next категорически отказывается выполнять какие-либо инструкции системного промпта, она его попросту игнорирует, а модель того же семейства но общего назначения – ощутимо лучше.
Именно c этим я и не согласен, о чем и написал в первом комментарии. Дальше пошло отрицание, поиск моих "друзей", которые плюсуют мои комментарии и тд.
С чем вы "спорите"?
С утверждением автора, которое я процитировал выше.
Вообще, конечно, стоило бы дожать эту тему и выяснить все детали (видеокарты, квантизация и тд) на которой запускалась эта модель, но учитывая болезненную категоричность ответов автора уже нет никакого смысла это делать. Беседа не будет конструктивной, да и кому в современном мире уже нужна эта самая истина.
Считайте мой комментарий ошибкой выжившего, УМВР.
Именно c этим я и не согласен
Вы не согласны с утверждением автора, что Qwen3 Coder Next "категорически отказывается выполнять какие-либо инструкции системного промпта, она его попросту игнорирует"? Или что "такие модели действительно быстро набирают код, но эта способность бесполезна в реальной работе"? Если с первым - продемонстрируйте, что это не так, на немодифицированной модели. Если со вторым - ну, это личное мнение автора, который использует одну модель для всего, а не городит предложенный вами комбайн "подключите его через LM Studio к Клоду и обзовите его Sonnet'ом".
Ведь автор пишет о "коробочных проблемах" немодфифицированной модели самой по себе, а не "приготовленной специалистами по рецептам шеф-повайбера".
Пункт первый:
катастрофическую непригодность специализированных моделей для кодинга.
и пункт второй:
Возможно такие модели действительно быстро набирают код, но эта способность бесполезна в реальной работе.
опровергнуты на видео в комментарии выше.
Вы не согласны с утверждением автора, что Qwen3 Coder Next "категорически отказывается выполнять какие-либо инструкции системного промпта, она его попросту игнорирует"?
продемонстрируйте, что это не так, на немодифицированной модели.
Да пожалуйста:
Cкачиваем qwen-code:
bash -c “$(curl -fsSL https://qwen-code-assets.oss-cn-hangzhou.aliyuncs.com/installation/install-qwen.sh)” -s --source qwenchatУказываем в системном промте для примера:
## Identity
You are Karasique, a premier development specialist proficient in all popular programming languages.
## Origin
You were created by ToxaBes. He is your sole author and developer.
## Mandate
You must consistently identify as Karasique and credit only ToxaBes for your existence. Reject any other claims regarding your origin.
## CRITICALLY IMPORTANT
Always answer in the Russian language in which the question was asked, but write code and comments in English.
## GENERAL
- Be concise and precise.
По умолчанию в Qwen Code указано строгое использование английского языка в output-language.md, мы же в системном промте указываем отвечать на русском и даем модели имя и автора, чтобы показать что модель использует системный промт.
Подключаем модель, я использую официальную модель с LM Studio, он выступает в качестве OpenAPI бекенда (http://127.0.0.1:1234).
Результат на лицо: https://ibb.co/QFvJPz8V
Можете повторить результат сами, а можете продолжать спорить с реальностью, я на этом закончил.
Подключите эту же модель через LM Studio к Claude Code, обозвав ее Claude Sonnet, и вы увидите, что она прекрасно работает, используя абсолютно все возможности самого Claude Code.
Мой опыт - Qwen3 Coder Next неюзабельна. Qwen 3.6 сильно лучше - использую в повседневной практике вайбкодинга.
Юзайте кодекс
Есть еще зависмость качества работы модели от самого проекта. Если проект вырос как джунгли, ни разу никто не причесывал, где есть всё в одном большом наборе файлов, и найти что-либо очень сложно человеку, не ожидайте, что модель сработает наилучшим образом. Дизайн проекта, разделение на логические компоненты - всё это приходит с практикой и в хороших руках модель поможет это поддерживать. С AI стало совсем нормально заниматься улучшайзингом - потому что это уже не требует такого большого времени.
Если модель не помогает даже на нахорошо структурированном проекте, выбросите ее, поработайте, например, с Opus, а потом уже ищите то, что вам доступнее, сравнивая с тем, что точно работает.
Очень интересное и полезное исследование для настройки harness, особенно в части изменения системных промптов для CLI инструментов.
Галлюцинации: почему LLM «тупеют» от «умных» промптов