Gemma 4 31B: адаптер для «глубоких» раздумий в стиле Opus 4.6
Вышел экспериментальный QLoRA-адаптер для модели Gemma 4 31B. Его цель — привить нейросети логику рассуждений в стиле Opus, не забивая веса лишним информационным мусором.
Разработчики из kai-os взяли базовую google/gemma-4-31B-it и обучили её на очищенной выборке датасета Opus-4.6-Reasoning. Никаких следов агентов или сторонних инструкций. Только чистая математика и код.
Технический стек:
Квантование: 4-bit NF4.
Вычисления: BF16.
Железо: NVIDIA GH200.
Что внутри датасета
Из исходных 2160 строк после фильтрации осталось 2025. Удалили дубликаты, битую разметку и странные промпты. Итоговый баланс: 1899 задач по математике и 126 по программированию. Обучение заняло около часа (3723 секунды) на 2 эпохи.
Нюансы и запуск
Это не самостоятельная модель, а PEFT-адаптер. Чтобы запустить его, понадобится сначала подтянуть базовую версию Gemma 4. Код для загрузки стандартный: используем PeftModel из библиотеки transformers.
Важно разделять цифры. Официальные бенчмарки Google для 31B впечатляют (MMLU-Pro 85.2%, AIME 2026 89.2%), но данные показатели относятся к базовому «инструкту». Текущий адаптер — это инструмент для специфических задач, где требуется выстраивать длинные цепочки рассуждений.
Лицензия остается открытой (Apache 2.0). Проект пригодится тем, кто строит локальных агентов или сложные системы анализа кода, где стандартные ответы кажутся слишком поверхностными.
