Обновить

Комментарии 6

Для триллиона параметров результаты что-то не очень впечатляющие

Потому что, это MoE, а MoE это не про качество, а про снижение расходов в 10-20 на обучение и инференс.

Смесь экспертов - это когда 128 экспертов по 5B, каждый хорошо знает свою область, а общий роутер распределяет запросы по этим экспертам мудро и правильно, и на каждый токен вызывает 4 эксперта, которые лучше всего ответят на поставленную задачу. В идеале модель быстрая, но умная, а запустить можно даже на CPU.

Проблемы которые тут возникают:

  • роутер плохо обучен и некачественно распределяет запросы, распределяет запросы не по 128 экспертам, а лишь по 20

  • сами эксперты плохо изолированы, много экспертов знают одно и тоже, впустую расходуются параметры

  • размер одного эксперта слишком мал для комплексной оценки всего запроса, но просто увеличивая размер, один эксперт захватывает на себя всё обучение

Получается ситуация, когда общий размер модели очень большой, но она наполнена либо дублирующими связями, либо часть экспертов просто не используется. Роутер очень сложно обучить, из-за этого сложно изолированно обучить экспертов. Пример с Llama4 хорошо это демонстрирует, где 109B-MoE не мог конкурировать даже с dense 27B, а 402B с трудом дотягивал до 70B.

И поэтому так мало файнтюнов MoE моделей, их сложно дообучать, чтобы получалось хорошо, а вот файнтюны dense-моделей до сих пор выходят, например, отличные свежие Hermes-4-405B и Hermers-4-70B, и файнтюны плотных моделей Mistral Large 123B и Command-A 111B - все они хороши, но запустить локально их уже намного сложнее.

Зато MoE модели позволяют намного быстрее обучать и экспериментировать. Эта модель на 1T как раз такой эксперимент.

И поэтому так мало файнтюнов MoE моделей, их сложно дообучать

В каком месте их мало? Gpt-oss-20b https://huggingface.co/openai/gpt-oss-20b MoE модель на 20b параметров, 308 файнтюнов.

Gemma3-12b https://huggingface.co/google/gemma-3-12b-it, dense модель, почти в 2 раза меньше размер, очень популярная в свое время, многие считают, что ничуть не хуже 27b модели, вышла почти на пол года раньше, а всего 107 файнтюнов.

Так-то почти все современные модели - MoE, какраз из-за легкости обучения, DeepSeek R1 так сильно нашумел и обвалил рынки потому что его дообучение с v3 стоило копейки, по сравнению с тем как OpenAI рассказывал как все супер дорого.

В каком месте их мало? Gpt-oss-20b https://huggingface.co/openai/gpt-oss-20b MoE модель на 20b параметров, 308 файнтюнов.

Достаточно зайти в эти 308 файтюнов и посмотреть, что в 99% случаях это учебные проекты, ещё парочка попыток снять цензуру, что обычно снижает и качество, и ничего, чем можно пользоваться, вместо оригинальной модели.

Речь про файнтюны, которыми можно пользоваться на уровне или лучше оригинала, либо в целом, либо в каких-то сферах, не обязательно уровня Hermes (Nouns Research) или Nemotron (Nvidia), но грубо говоря, те файнтюны на которые делают gguf, которые заслуживают хоть какого-то внимания.

Файнтюном Hermes-4-405B до сих пор пользуюсь, когда мне нужен максимально связный ответ по всему контексту. И мне известен только 1 файнтюн MoE модели, который на голову превосходит оригинал и которым многие пользовались - это WizardLM-2, но Microsoft распустила ту команду, часть из них ушла делать свои MoE модели в Tencent-Hunyuan.

И мне известен только 1 файнтюн MoE модели, который на голову превосходит оригинал и которым многие пользовались

DeepSeek R1 - файнтюн DeepSeek V3 сделаный за копейки, разработчики выпустили бумагу где об этом подробно рассказали.

Ну и после того как Qwen3 разделили модели на Instruct и Reasoning, есть шансы, что ризонинг это файнтюн инструкта. Хотя, может и базовой, которую они не показывают.

До 70b он и не дотягивает, llama 4 проигрывает 3.3 70b почти во всём

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации