Комментарии 40
Ура! Я очень рад тому, что вышла новая Гемма на 12b.
Люблю это семейство моделей. Буду использовать её, когда нет интернета.
есть довольно большая разница между возможностью запускаться на ноутбуке и быть полезной в роботе) нагрузка по быстродействию между первым действием и вторы может состалять 10х. Что означает, запустить можно, а работать нет.
Зависит от задач.
Я сейчас делаю систему с планированием батчей, там даже относительно медленная генерация токенов не помеха (там между батчами ровно сутки в моем приложении).
Роботе? Вы имели ввиду работе? Или реально в роботе? А росе есть уже готовые ноды для прикручивания Gemma?
Плюс часто еще выясняется что все упирается и на скорость и на память, батчинг и деградацию качества при запуске, в итоге все начинает сыпаться.
Очень информативно, на ноутбуке 16 Гб, Гб чего? Харда? ОЗУ? Видео памяти?
На каком процессоре? на какой видео карте? Или это не имеет значение если у меня пентиум 4 и 16 Гб ОЗУ, значит разницы не будет?
del
HDD
да
И Харда, если нет ОЗУ.
И ОЗУ, если нет видеопамяти.
Разница будет, разница всегда есть)
Наверняка имелся ввиду макбук с объединенной памятью. На виндовом ноуте 16 гигов ОЗУ дадут тебе только слайдшоу на процессоре
Очевидно же, что ОЗУ. От процессора зависит скорость обработки, и то не очень сильно, а не возможность запуска.
Вот этот размер я очень ждал.
12b Q8 с MTP будет великолепен для моих задач.
А какие существуют llm которые влазят в 32 гб(ну или впритык в 36) и при этом могут что-то полезное? Очевидно gemma 4 31b из статьи но хотелось бы услышать альтернативы и живой опыт.
если речь про озу а не про vram, то по сути все которые 12-14В и менее
я бы рекомендовал gpt-oss-20В но имхо очень медленно будет работать
Как по мне gpt oss 20b – наихудший выбор. Запускал я это "чудо" – на "привет" начал размышлять текстом (то есть без предварительного токена а-ля <think>). Сначала сносно, но через пару предложений пошли смешанные языки, куча "а..... Но.......", потом и вовсе "fkgogod($lflgog". Мне кажется это из-за старой архитектуры, но сути не меняет.
Так gpt-oss20b разве ещё актуальна? Ей же уже почти год. По моим тестам она уступала даже старому qwen3.5 35b.
А какие существуют llm которые влазят в 32 гб(ну или впритык в 36) и при этом могут что-то полезное?
Вот тут я показывал опыт работы с Qwen3.6-35B-A3B, включая UD-Q2_K_XL и REAP урезание до 28B. Если памяти мало, то REAP интересная технология вырезания наименее активных экспертов, которые не нужны для определённых задач, и можно создать более компактную модель. И рядом про как ускорить без потерь за счет MTP.

Много, что, но пока для серьезной работы бесполезно но поиграться можно.
Установите ли студио, там прямо в интерфейсе есть список моделей и он покажет можно на конкретно вашем компьютере запустить или нет.
С учётом квантизации просто - миллиард параметров - примерно гигабайт памяти.
Далеко не всегда. Локальные модели становятся всё умнее – с qwen3 сложно было даже диалог вести, а вон qw[en/opus] 3.5 тебе спокойно напишет какой нибудь загрузчик на ассемблере.
И с весами прогад – какая нибудь "Youtu-VL-4B-Instruct-Q8_0" весит 6Гб (а это ещё и не полные веса). Зачастую модели весят в 1.5-2 раза больше количества параметров в млрд.
В общем целом, именно для работы с текстом на русском в ограниченном объеме памяти пока лучше Геммы ничего не нашел, у меня Gemma 4 E2B на 6 гигах видеопамяти отлично справляется с расшифровкой телефонных разговоров. Ну те сам разговор транскрибирован виспером, а Гемма делает выжимку. Прям на удивление очень мало галлюцинаций даже при том, что исходник от виспера часто с приколами.
Qwen-ы новые влезают. Пишут что-то среднее между коммерческим Haiku и Sonnet.
А к Cline (Continue, Kilo Code) агентом её приделать можно?
Запустить можно и на калькуляторе. Вопрос в том как оно работать будет. 1 токен в сек?
отдельные энкодеры: они сначала переводят изображение или аудио в понятный модели вид и только потом передают дальше. Эти блоки добавляют задержку и расходуют память
Дополнительные слои для этой же задачи тоже добавляют задержку и расходуют память, но очевидно меньше
аудиоэнкодер убрали совсем. Звук при этом не превращается в текст — модель переводит его в такой же набор чисел, каким внутри себя описывает слова, и обрабатывает наравне с текстом.
Если кто не понял эту формулировку (как сначала я, несколько раз перечитал) это значит, что модель преобразует звук сразу в токены, в такие же токены, в какие преобразуется текст.
Но здесь лучше уточнить в карточке модели.
Шикардос, ждем квантованную от unslosh и с турбоквантом юзаем на потребительнских видухах.
Короче не для программирования
По тестам она почти догоняет модель вдвое крупнее, а на практике, как обычно, забудет контекст на четвертом абзаце и начнет бредить на латыни
Мультимодальность из коробки для 12B это неплохой шаг вперед. Хотя без квантования оно все равно сожрет всю память и вывалится с OOM на первом же тяжелом запросе
Подскажите модель для анализа очищенных и обработанных лог файлов ips и логов правил трафика межсетевых экранов
Как луяше настроить для расштфровки созвонов? Есть инструкция?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ИИ Google Gemma 4 12B запускается на ноутбуке с 16 ГБ и почти догоняет модель вдвое крупнее