Mixture-of-Experts: архитектура, которая спасает LLM от их собственного аппетита
Долгое время большие языковые модели строились по принципу «больше — лучше». Топовые компании гнались за количеством параметров, не считаясь с затратами. Но когда счета за обучение GPT-4 превысили $100 миллионов, а инференс начал требовать промышленных масштабов энергии, стало ясно: «грубая сила» больше не работает. Индустрии срочно понадобился способ разорвать связку «умнее = дороже».
И решением стала архитектура Mixture-of-Experts (MoE). Суть метода проста: перестать «думать» всей нейросетью над каждой задачей и научить модель активировать ресурсы выборочно. Такое выборочное использование вычислений позволяет наращивать число параметров, не превращая модель в прожорливого монстра.
Причем эта идея не новая. Google экспериментировал с ней ещё в 2017-м, потом была пара академических проектов, а дальше технология благополучно канула в небытие. Трансформеры вроде GPT захватили рынок, и про MoE все дружно забыли. Но в последние пару лет MoE резко вернулась: Mixtral и Mistral 3, DeepSeek, DBRX, Qwen, Kimi K2 Thinking. И список громких релизов пополняется чуть ли не ежемесячно.
Давайте разбираться, что стоит за этим возвращением и действительно ли МоЕ станет решением всех проблем.
