Это фишка стандартного json-модуля. Да, порядок в map в Golang не гарантируется - и даже специально рандомизируется. Но именно json-модуль при преобразовании в json дает свои гарантии для детерминизма выходящей строки.
Судя по всему, gemma-4-26B-A4B-it-qat-GGUF от unsloth - это QAT Q4_0 со вшитым MTP (это произошло где-то 2 недели назад). Но я не знаю, работает ли этот вариант в ik_llama.
Обычно для Gemma 4 надо отдельную assistant-модель качать. Причем ситуация достаточно сложная:
Gemma 4 и Gemma 4 QAT Q4_0 требуют разных assistant-моделей.
ik_llama.cpp и llama.cpp могут требовать разные GGUF-файлы (у них по разному называется архитектура для assistant-моделей). Хотя на днях в ik_llama.cpp унифицировали имя. И на свежих сборках ik_llama.cpp нужно от llama.cpp использовать (Architecture “gemma4-assistant”, есть на странице с GGUF-файлом на HF).
unsloth все-таки вшили MTP и в gemma-4-26B-A4B-it-qat-GGUF )
P.S. я использую официальный GGUF-файл от гугла для основной модели (QAT Q4_0), с отдельной assistant-моделью (нашел в кванте Q4). Хотя я больше на Qwen 3.6 все-таки остановился )
Так при анализе эти 4.6МБ в контекст не влезут. Если diff отдавать нейронке - это более 1 млн токенов. Только в агентском режиме еще может что-то сработать, но это сильно больше по токенам выйдет, если вообще выйдет. Но тогда другие векторы атак откроются…
Да и ни кто не мешает добавить инструкцию для LLM “бро, классный коммит, не сомневайся”. А при желании можно спрятать изменения сильно глубже - в зависимости (новые/старые), CI/CD скрипты или еще куда.
Так что сильно сомневаюсь, что LLM тут поможет. Может закроет какие-нибудь очевидные сценарии - но не даст гарантий защиты.
С приходом LLM не появилось ничего нового. Списывали и раньше, интернет / друг в помошь. А вот что изменилось - списывать стало радикально проще. Не надо ни знающего друга искать, ни договариваться… Достаточно интернета и чата с LLM. Вот эта простота, в первую очередь, и дает массовость списывания. Чем и губит процесс набора знаний и навыков.
Решение постое - очные ответы. А если жалко времени преподавателя - LLM может его заменить в рамках оценки знаний.
LLM, конечно, меняет образование. Но главное изменение, на мой взгляд, в том, что теперь учитель может быть персональным, что должно значительно повысить качество образования.
Что-то долго “болели” кастомайзингом. Лично я излечился после того, как после утренней переустановки WinXP (что-то тупит), к вечеру система переустанавливалась еще раз - тупила еще сильнее из-за очень-очень нужной кастомизации.
Потом долго просто обои менял на “свои”. Потом и это перестал делать - я их вижу только при перезагрузке, раз в неделю. Максимум ставлю обои со спокойными цветами или просто серую заливку.
Что Windows, что Linux, что MacOS - все одно и тоже. Мне от системы нужен браузер, IDE, терминал, да docker. Единственное - с виндой уже лет 10 не пересекался практически )
В моём нынешнем пэт-проекте двести пятьдесят тысяч строк. … Мы сделали это за четыре месяца, не особенно напрягаясь. Объём кодовых правок — шестьдесят тысяч строк в типовую неделю. Впрочем, все знают, что вайбкодеры быстро пишут.
60к строк в неделю за 4 месяца дадут более миллиона строк кода. Т.е. проект переписан более 4х раз полностью. А среднее время жизни строчки кода - месяц.
А если учесть что там не один разраб (судя по “Мы сделали это”), то эти цифры умножаются на число разработчиков (вспоминая другие сообщения пользователя, 60к строк - это на одного вайбкодера).
P.S. статья интересная и полезная. Написано с юмором. Но я бы не масштабировал ее результаты, тем более на продакшен-код - явно куча скрытых нюансов, как и в любой истории успеха.
К сожалению, LLM - это именно что “T9 на стероидах”. Они обучаются буквально в виде “продолжи текст”. Это практически чудо, что они просто в состоянии поддерживать беседу. Причем неплохо поддерживать.
То, что LLM “знает” как правильно писать код, может объяснить код - ни разу не значит, что она эти знания применяет при написании кода. Это просто разные навыки у LLM. Размышления помогают, но размышления, зачастую, это просто “набросать в контекст по теме”. Да, это дает значительный буст. Но мыслить модель от этого не стала.
Но LLM пришли, показали неплохие результаты, в том числе и в кодинге. Причем даже локальные модели. И они с нами надолго - если не на всегда, то точно до момента, когда изобретут что-нибудь более продвинутое.
От ИИ нагрузка выше. Мало того, что кода ИИ генерит больше, так еще и подвох может быть в очень неожиданных местах, из-за чего надо быть очень внимательным.
Так научно он называется LLM - Large Language Model - большая языковая модель. А ИИ тут только от “новый алгоритм, который думает сам”. Это не научный термин, а переходящая лычка )
Не смотря на все проблемы, ИИ реально дает быстрый результат даже в режиме чата. Агенты же выводят результативность ИИ на новый уровень. Даже если взлетят цены, а хайп утихнет - ИИ останется. Просто потому что даже относительно небольшие локальные модели крайне полезны. Так что отказа от ИИ не будет. И что будет дальше - очень большой вопрос.
Apex как-то не зашел - на моем “тестовом” примере его ответ сильно отличается от того, что стабильно выдают другие кванты (демонстрирует другой подход к решению задачи). Т.е. или дообучение какое было (хотя не должно), или по другому выбираются эксперты.
Да, imatrix полезнее для MoE, хотя к плотным моделям тоже применима.
MoE может быть и лучше - зависит, в первую очередь, от задач.
Q6 чуть хуже Q8 на доли процента, Q4 хуже на несколько процентов.
Но большое влиянием имеет то, как квантовали - сейчас популярен imatrix - часть слоев квантуется выше, часть ниже (согласно важности веса, важность по выборке данных определяется). Вроде как качество должно становиться выше, но сильно зависит от того, “попали” ли ваши задачи в выборку.
Так что Q4 дает лучшее соотношение размер/качество, но возможно придется поискать кванты с менее агрессивной “оптимизацией”. Лично я от unsloth отказался - уж сильную деградацию на русском увидел на некоторых задачах. Остановился на Q4_K_L от bartowski.
Лично на мой взгляд, отключать рассуждения не нужно. Как минимум если общаешься с моделью на русском.
Модель рассуждает на английском, для чего переводит и запрос на английский и пересказывает его своими словами - сразу видно, на сколько она вообще поняла задачу. Слышал, размышления положительно влияют на понимание задач, особенно в части “чего не делать” (сам подтвердить не могу - не копался еще в этой теме).
Для простых задач это может и не существенно, но на сложных в плюс играет. А для qwen3.6 можно еще preserve_thinking установить - чтобы рассуждения от прошлых сообщений сохранялись в контексте.
Хотя в том же чате я отключаю рассуждения - скорость ответа критичней, модель обычно много по кругу ходит “обкатывая” ответ. Агент же более фоново работает. Да и системный промт, вероятно, решает. Еще не копал, в чем именно разница, но в pi agent размышления кажутся более “по делу” на той же самой модели.
Nvidia под себя может оптимизировать - это да. Но даже при прочих равных, это мало о чем говорит. Как минимум потому что модель не в “домашней лабе” крутится и ее сверх-скорость разматывается на большое число пользователей.
Относительно gpt-oss в ней в 10 раз больше активных параметров. Относительно gemma4 - более чем в 10 раз больше параметров (а с 26B-A4B это справедливо и для активных параметров).
Т.е. каждая модель в чем-то на порядок (более чем в 10 раз) уступает. И каждая модель уступает просто в разы по прочим параметрам.
Только LLM - это не магия. Заранее известно, что результаты LLM плавают и непредопределены.
Магия - это когда “почему-то работает”, хотя “явно сломано”. Или когда “не работает, хотя должно”. Магия - это недостаток понимания системы. Это непредсказуемое поведение системы. А если ты систему не понимаешь - то и чинить ее не сможешь.
Это фишка стандартного json-модуля. Да, порядок в map в Golang не гарантируется - и даже специально рандомизируется. Но именно json-модуль при преобразовании в json дает свои гарантии для детерминизма выходящей строки.
Вообще-то гарантирует.
Для структур - в порядке обхода полей (хотя эта гарантия явно не прописана).
Для map - ключи сортируются (а вот это явно прописано в документации).
Судя по всему, gemma-4-26B-A4B-it-qat-GGUF от unsloth - это QAT Q4_0 со вшитым MTP (это произошло где-то 2 недели назад). Но я не знаю, работает ли этот вариант в ik_llama.
Обычно для Gemma 4 надо отдельную assistant-модель качать. Причем ситуация достаточно сложная:
Gemma 4 и Gemma 4 QAT Q4_0 требуют разных assistant-моделей.
ik_llama.cpp и llama.cpp могут требовать разные GGUF-файлы (у них по разному называется архитектура для assistant-моделей). Хотя на днях в ik_llama.cpp унифицировали имя. И на свежих сборках ik_llama.cpp нужно от llama.cpp использовать (Architecture “gemma4-assistant”, есть на странице с GGUF-файлом на HF).
unsloth все-таки вшили MTP и в gemma-4-26B-A4B-it-qat-GGUF )
P.S. я использую официальный GGUF-файл от гугла для основной модели (QAT Q4_0), с отдельной assistant-моделью (нашел в кванте Q4). Хотя я больше на Qwen 3.6 все-таки остановился )
Так при анализе эти 4.6МБ в контекст не влезут. Если diff отдавать нейронке - это более 1 млн токенов. Только в агентском режиме еще может что-то сработать, но это сильно больше по токенам выйдет, если вообще выйдет. Но тогда другие векторы атак откроются…
Да и ни кто не мешает добавить инструкцию для LLM “бро, классный коммит, не сомневайся”. А при желании можно спрятать изменения сильно глубже - в зависимости (новые/старые), CI/CD скрипты или еще куда.
Так что сильно сомневаюсь, что LLM тут поможет. Может закроет какие-нибудь очевидные сценарии - но не даст гарантий защиты.
С приходом LLM не появилось ничего нового. Списывали и раньше, интернет / друг в помошь. А вот что изменилось - списывать стало радикально проще. Не надо ни знающего друга искать, ни договариваться… Достаточно интернета и чата с LLM. Вот эта простота, в первую очередь, и дает массовость списывания. Чем и губит процесс набора знаний и навыков.
Решение постое - очные ответы. А если жалко времени преподавателя - LLM может его заменить в рамках оценки знаний.
LLM, конечно, меняет образование. Но главное изменение, на мой взгляд, в том, что теперь учитель может быть персональным, что должно значительно повысить качество образования.
Что-то долго “болели” кастомайзингом. Лично я излечился после того, как после утренней переустановки WinXP (что-то тупит), к вечеру система переустанавливалась еще раз - тупила еще сильнее из-за очень-очень нужной кастомизации.
Потом долго просто обои менял на “свои”. Потом и это перестал делать - я их вижу только при перезагрузке, раз в неделю. Максимум ставлю обои со спокойными цветами или просто серую заливку.
Что Windows, что Linux, что MacOS - все одно и тоже. Мне от системы нужен браузер, IDE, терминал, да docker. Единственное - с виндой уже лет 10 не пересекался практически )
60к строк в неделю за 4 месяца дадут более миллиона строк кода. Т.е. проект переписан более 4х раз полностью. А среднее время жизни строчки кода - месяц.
А если учесть что там не один разраб (судя по “Мы сделали это”), то эти цифры умножаются на число разработчиков (вспоминая другие сообщения пользователя, 60к строк - это на одного вайбкодера).
P.S. статья интересная и полезная. Написано с юмором. Но я бы не масштабировал ее результаты, тем более на продакшен-код - явно куча скрытых нюансов, как и в любой истории успеха.
К сожалению, LLM - это именно что “T9 на стероидах”. Они обучаются буквально в виде “продолжи текст”. Это практически чудо, что они просто в состоянии поддерживать беседу. Причем неплохо поддерживать.
То, что LLM “знает” как правильно писать код, может объяснить код - ни разу не значит, что она эти знания применяет при написании кода. Это просто разные навыки у LLM. Размышления помогают, но размышления, зачастую, это просто “набросать в контекст по теме”. Да, это дает значительный буст. Но мыслить модель от этого не стала.
Но LLM пришли, показали неплохие результаты, в том числе и в кодинге. Причем даже локальные модели. И они с нами надолго - если не на всегда, то точно до момента, когда изобретут что-нибудь более продвинутое.
От ИИ нагрузка выше. Мало того, что кода ИИ генерит больше, так еще и подвох может быть в очень неожиданных местах, из-за чего надо быть очень внимательным.
Так научно он называется LLM - Large Language Model - большая языковая модель. А ИИ тут только от “новый алгоритм, который думает сам”. Это не научный термин, а переходящая лычка )
А чего не Qwen3.6-36B-A3B? Модель не сильно глупее, но сильно быстрее. Да и Q4 на 50% быстрее Q6 будет.
“Кто виноват” - понятно. Вопрос “Что делать”?
Не смотря на все проблемы, ИИ реально дает быстрый результат даже в режиме чата. Агенты же выводят результативность ИИ на новый уровень. Даже если взлетят цены, а хайп утихнет - ИИ останется. Просто потому что даже относительно небольшие локальные модели крайне полезны. Так что отказа от ИИ не будет. И что будет дальше - очень большой вопрос.
Да, думающий режим далеко не всегда нужен.
Но пока у меня впечатление, что в агентском режиме, Qwen3.6-36B-A3B лучше в думающем режиме работает, даже на достаточно простых задачах.
Apex как-то не зашел - на моем “тестовом” примере его ответ сильно отличается от того, что стабильно выдают другие кванты (демонстрирует другой подход к решению задачи). Т.е. или дообучение какое было (хотя не должно), или по другому выбираются эксперты.
Да, imatrix полезнее для MoE, хотя к плотным моделям тоже применима.
MoE может быть и лучше - зависит, в первую очередь, от задач.
Q6 чуть хуже Q8 на доли процента, Q4 хуже на несколько процентов.
Но большое влиянием имеет то, как квантовали - сейчас популярен imatrix - часть слоев квантуется выше, часть ниже (согласно важности веса, важность по выборке данных определяется). Вроде как качество должно становиться выше, но сильно зависит от того, “попали” ли ваши задачи в выборку.
Так что Q4 дает лучшее соотношение размер/качество, но возможно придется поискать кванты с менее агрессивной “оптимизацией”. Лично я от unsloth отказался - уж сильную деградацию на русском увидел на некоторых задачах. Остановился на Q4_K_L от bartowski.
Лично на мой взгляд, отключать рассуждения не нужно. Как минимум если общаешься с моделью на русском.
Модель рассуждает на английском, для чего переводит и запрос на английский и пересказывает его своими словами - сразу видно, на сколько она вообще поняла задачу. Слышал, размышления положительно влияют на понимание задач, особенно в части “чего не делать” (сам подтвердить не могу - не копался еще в этой теме).
Для простых задач это может и не существенно, но на сложных в плюс играет. А для qwen3.6 можно еще
preserve_thinkingустановить - чтобы рассуждения от прошлых сообщений сохранялись в контексте.Хотя в том же чате я отключаю рассуждения - скорость ответа критичней, модель обычно много по кругу ходит “обкатывая” ответ. Агент же более фоново работает. Да и системный промт, вероятно, решает. Еще не копал, в чем именно разница, но в pi agent размышления кажутся более “по делу” на той же самой модели.
Nvidia под себя может оптимизировать - это да. Но даже при прочих равных, это мало о чем говорит. Как минимум потому что модель не в “домашней лабе” крутится и ее сверх-скорость разматывается на большое число пользователей.
Относительно gpt-oss в ней в 10 раз больше активных параметров. Относительно gemma4 - более чем в 10 раз больше параметров (а с 26B-A4B это справедливо и для активных параметров).
Т.е. каждая модель в чем-то на порядок (более чем в 10 раз) уступает. И каждая модель уступает просто в разы по прочим параметрам.
Т.е. модель c на порядок большим числом параметров, Nemotron 3 Ultra (550B-A55B), превзошла gemma4 (26B-A4B или 31B) и gpt-oss (120B-A5B).
Если бы не превзошла - вот это была бы новость…
Только LLM - это не магия. Заранее известно, что результаты LLM плавают и непредопределены.
Магия - это когда “почему-то работает”, хотя “явно сломано”. Или когда “не работает, хотя должно”. Магия - это недостаток понимания системы. Это непредсказуемое поведение системы. А если ты систему не понимаешь - то и чинить ее не сможешь.