Granite 4: IBM представила линейку маленьких, но шустрых LLM

[achekalin]

А вот эти маленькие модели, они вообще могут связаны текст выдавать или они строго для логических задач?

[Lev3250]

Текст, что они генерируют, по уровню связности и наполненности смыслом - что-то среднее между ответами Siri и Пескова. То есть неюзабельно вообще.

[TomskDiver]

Могут. По крайней мере Small (32B/9B активных)  это уже не маленькая модель.

Придумай рассказ примерно на 100 слов о том как я провёл лето.

Лето прошло незабываемо. Я провёл большую часть времени на пляже, позагорал, плавал в море и играл в песок. Вечерами устраивал барбекю с друзьями и гулял по набережной. Однажды отправился в поездку за город, где нашёл спокойное место для чтения книг и наслаждения природой. Также занялся новым хобби - фотографией, фиксируя красоту летних дней. Возвращаясь домой, я почувствовал себя счастливым и отдохнувшим после этого замечательного лета.

Попробуйте сами например тут: https://huggingface.co/spaces/akhaliq/granite-4.0-h-small

[Bonstor]

Модели с 20+ млрд параметров уже почти всегда применимы для повседневного использования. Если у вас Mac на M-чипе с большим объемом ОЗУ(20+gb) или мощный ПК — такие модели, как Qwen 3 30B или GPT-OSS20B, работают быстро и с достаточно высоким качеством для решения типовых задач: вспомнить флаги команд, дописать письмо, сделать простенький скрипт на питоне или адаптировать рецепт под то, что есть в холодильнике.

Рекомендую попробовать тем более через LM studio все буквально в пару кликов делается.

(текс выше шутки ради написан gpt-oss20b, в качетве примера. Так что пробуйте сами)

[Bonstor]

GPT-OSS20B это буквально мини модель от openai, так что не думаю что она работает заметно хуже чем мини модель от openai

[oldmold]

granite4:small - не такая и маленькая по сравнению с другими локальными моделями.

Для сравнения:

gpt-oss:120b - 65 GB

gpt-oss:20b - 13 GB

qwen3:8b - 5.2 GB

granite4:small - 19 GB

так что granite4:small должна быть точно не слабее gpt-oss:20b в генерации текстов. По крайней мере, на первый взгляд, я не заметил чего-то из ряда вон вылетающего.

А вот granite4:micro - 2.1 GB - действительно малышка. Но и она сгенерировала вполне нормальный текст. (Дай бог, чтобы так формулировала свои мысли половина выпускников школ.)

На вопрос: Describe the basic block diagram of LLM.

она выдала читабельную диаграму. И далее, чтобы не загружать пост, только первый абзац:

granite4:micro - "This block diagram represents the high-level structure of an LLM system. The input preprocessing module takes raw text as input and performs various tasks such as tokenization, POS tagging, NER, and lemmatization/stemming to prepare the data for further processing".

А потом по просьбе перевела:

"Это блочная диаграмма представляет собой высокоуровневую структуру системы LLM. Модуль предварительной обработки принимает на вход непрерывный текст и выполняет различные задачи, такие как разделение на токены, определение частей речи (POS), идентификация сущностей-эмблем и лематизация/склеивание для подготовки данных к дальнейшей обработке".

Можете сравнить с переводчиком от Гугла. :)