Вышла Gemma 3 270M — самая маленькая в семействе открытых моделей Gemma 3, заточенная под узкие задачи и дообучение. Новинка открытая и уже доступна на Hugging Face. Для Gemma 3 270M доступны QAT-чекпойнты, позволяющие уверенно запускать модель в INT4 с минимальной потерей качества — это важно для работы на маломощных устройствах.

При всего 270 миллионах параметров Gemma 3 270M поддерживает 140 языков, словарь в 256 тысяч токенов и контекст до 32 тысяч токенов. INT4-версия модели, будучи запущенной на Google Pixel 9 Pro, израсходовала всего 0,75% батареи за "25 диалогов" (вероятно, речь идет о 25 обменах вопросами и ответами - прим. авт.). Мультимодальная поддержка отсутствует.

В Google отмечают, что Gemma 3 270M вышла на совершенно новый уровень следования инструкциям среди компактных моделей. В компании подчеркивают, что в этом и заключается основная суть модели: перед нами не болтливый чат-бот, а компактный исполнитель инструкций.

Основная сфера применения Gemma 270M — дообучение модели под конкретную задачу, которое в случае этой версии занимает считанные часы. ИИ может заниматься классификацией и структурированием текста, роутингом запросов, извлечением данных и т. д. За счет низкого потребления ресурсов, модель можно встроить в приложение или сайт — в качестве примера показан оффлайновый генератор сказок на ночь. Также можно дообучить целый "оркестр" моделей, где каждая будет заточена под отдельную задачу.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.

Google представила Gemma3 270M — ИИ, который идет даже на смартфоне