Обновить

Комментарии 40

Ура! Я очень рад тому, что вышла новая Гемма на 12b.
Люблю это семейство моделей. Буду использовать её, когда нет интернета.

есть довольно большая разница между возможностью запускаться на ноутбуке и быть полезной в роботе) нагрузка по быстродействию между первым действием и вторы может состалять 10х. Что означает, запустить можно, а работать нет.

Зависит от задач.
Я сейчас делаю систему с планированием батчей, там даже относительно медленная генерация токенов не помеха (там между батчами ровно сутки в моем приложении).

Роботе? Вы имели ввиду работе? Или реально в роботе? А росе есть уже готовые ноды для прикручивания Gemma?

Плюс часто еще выясняется что все упирается и на скорость и на память, батчинг и деградацию качества при запуске, в итоге все начинает сыпаться.

Очень информативно, на ноутбуке 16 Гб, Гб чего? Харда? ОЗУ? Видео памяти?

На каком процессоре? на какой видео карте? Или это не имеет значение если у меня пентиум 4 и 16 Гб ОЗУ, значит разницы не будет?

qwen3.6-27b

Причем тут квен

HDD

да

И Харда, если нет ОЗУ.
И ОЗУ, если нет видеопамяти.

Разница будет, разница всегда есть)

Наверняка имелся ввиду макбук с объединенной памятью. На виндовом ноуте 16 гигов ОЗУ дадут тебе только слайдшоу на процессоре

В современных виндовых ноутах та же общая LPDDR5 с аналогичной или даже большей ПСП чем у М5(без pro).

Очевидно же, что ОЗУ. От процессора зависит скорость обработки, и то не очень сильно, а не возможность запуска.

Вот этот размер я очень ждал.

12b Q8 с MTP будет великолепен для моих задач.

Проверил q8 от unsloth и Бартовски. Путают языки, слабые ответы, зацикливаются. Ждем патчи.

Скорость генерации - q8 30+t/s на 16Gb 5060ti. И это без MTP.

А какие существуют llm которые влазят в 32 гб(ну или впритык в 36) и при этом могут что-то полезное? Очевидно gemma 4 31b из статьи но хотелось бы услышать альтернативы и живой опыт.

если речь про озу а не про vram, то по сути все которые 12-14В и менее

я бы рекомендовал gpt-oss-20В но имхо очень медленно будет работать

Как по мне gpt oss 20b – наихудший выбор. Запускал я это "чудо" – на "привет" начал размышлять текстом (то есть без предварительного токена а-ля <think>). Сначала сносно, но через пару предложений пошли смешанные языки, куча "а..... Но.......", потом и вовсе "fkgogod($lflgog". Мне кажется это из-за старой архитектуры, но сути не меняет.

Так gpt-oss20b разве ещё актуальна? Ей же уже почти год. По моим тестам она уступала даже старому qwen3.5 35b.

А какие существуют llm которые влазят в 32 гб(ну или впритык в 36) и при этом могут что-то полезное?

Вот тут я показывал опыт работы с Qwen3.6-35B-A3B, включая UD-Q2_K_XL и REAP урезание до 28B. Если памяти мало, то REAP интересная технология вырезания наименее активных экспертов, которые не нужны для определённых задач, и можно создать более компактную модель. И рядом про как ускорить без потерь за счет MTP.

REAP как агент доработала код майнкрайфта в браузере, добавила новые блоки с алмазами и создала постройку
REAP как агент доработала код майнкрайфта в браузере, добавила новые блоки с алмазами и создала постройку

Много, что, но пока для серьезной работы бесполезно но поиграться можно.

Установите ли студио, там прямо в интерфейсе есть список моделей и он покажет можно на конкретно вашем компьютере запустить или нет.

С учётом квантизации просто - миллиард параметров - примерно гигабайт памяти.

Далеко не всегда. Локальные модели становятся всё умнее – с qwen3 сложно было даже диалог вести, а вон qw[en/opus] 3.5 тебе спокойно напишет какой нибудь загрузчик на ассемблере.

И с весами прогад – какая нибудь "Youtu-VL-4B-Instruct-Q8_0" весит 6Гб (а это ещё и не полные веса). Зачастую модели весят в 1.5-2 раза больше количества параметров в млрд.

В общем целом, именно для работы с текстом на русском в ограниченном объеме памяти пока лучше Геммы ничего не нашел, у меня Gemma 4 E2B на 6 гигах видеопамяти отлично справляется с расшифровкой телефонных разговоров. Ну те сам разговор транскрибирован виспером, а Гемма делает выжимку. Прям на удивление очень мало галлюцинаций даже при том, что исходник от виспера часто с приколами.

Qwen-ы новые влезают. Пишут что-то среднее между коммерческим Haiku и Sonnet.

А к Cline (Continue, Kilo Code) агентом её приделать можно?

все что угодно можно приделать к чему угодно, если у них end-point'ы существуют. Выше названные как минимум поддерживают ollama из меню, но лучше настроить свой llama.cpp сервер.

Запустить можно и на калькуляторе. Вопрос в том как оно работать будет. 1 токен в сек?

Если квантануть в 4 бита и закинуть на нормальный проц с быстрой памятью, то токенов 5-7 выжмет. Читать можно, но для потоковой генерации уже некомфортно

отдельные энкодеры: они сначала переводят изображение или аудио в понятный модели вид и только потом передают дальше. Эти блоки добавляют задержку и расходуют память

Дополнительные слои для этой же задачи тоже добавляют задержку и расходуют память, но очевидно меньше

аудиоэнкодер убрали совсем. Звук при этом не превращается в текст — модель переводит его в такой же набор чисел, каким внутри себя описывает слова, и обрабатывает наравне с текстом.

Если кто не понял эту формулировку (как сначала я, несколько раз перечитал) это значит, что модель преобразует звук сразу в токены, в такие же токены, в какие преобразуется текст.

Но здесь лучше уточнить в карточке модели.

Шикардос, ждем квантованную от unslosh и с турбоквантом юзаем на потребительнских видухах.

а она уже есть, 7гб vram и как раз остается под жирный kv с turboquant

Короче не для программирования

По тестам она почти догоняет модель вдвое крупнее, а на практике, как обычно, забудет контекст на четвертом абзаце и начнет бредить на латыни

Мультимодальность из коробки для 12B это неплохой шаг вперед. Хотя без квантования оно все равно сожрет всю память и вывалится с OOM на первом же тяжелом запросе

Сейчас мультмодальные модели это почти база.

Хотя если речь идёт об аудио и видео, а не только об изображениях – да, для малого числа параметров это неплохо.

Там gemma3 уже нормально хавала фото.

Подскажите модель для анализа очищенных и обработанных лог файлов ips и логов правил трафика межсетевых экранов

Как луяше настроить для расштфровки созвонов? Есть инструкция?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации