Comments 9
А вот эти маленькие модели, они вообще могут связаны текст выдавать или они строго для логических задач?
Текст, что они генерируют, по уровню связности и наполненности смыслом - что-то среднее между ответами Siri и Пескова. То есть неюзабельно вообще.
Могут. По крайней мере Small (32B/9B активных) это уже не маленькая модель.
Придумай рассказ примерно на 100 слов о том как я провёл лето.
Лето прошло незабываемо. Я провёл большую часть времени на пляже, позагорал, плавал в море и играл в песок. Вечерами устраивал барбекю с друзьями и гулял по набережной. Однажды отправился в поездку за город, где нашёл спокойное место для чтения книг и наслаждения природой. Также занялся новым хобби - фотографией, фиксируя красоту летних дней. Возвращаясь домой, я почувствовал себя счастливым и отдохнувшим после этого замечательного лета.
Попробуйте сами например тут: https://huggingface.co/spaces/akhaliq/granite-4.0-h-small
Модели с 20+ млрд параметров уже почти всегда применимы для повседневного использования. Если у вас Mac на M-чипе с большим объемом ОЗУ(20+gb) или мощный ПК — такие модели, как Qwen 3 30B или GPT-OSS20B, работают быстро и с достаточно высоким качеством для решения типовых задач: вспомнить флаги команд, дописать письмо, сделать простенький скрипт на питоне или адаптировать рецепт под то, что есть в холодильнике.
Рекомендую попробовать тем более через LM studio все буквально в пару кликов делается.
(текс выше шутки ради написан gpt-oss20b, в качетве примера. Так что пробуйте сами)
granite4:small - не такая и маленькая по сравнению с другими локальными моделями.
Для сравнения:
gpt-oss:120b - 65 GB
gpt-oss:20b - 13 GB
qwen3:8b - 5.2 GB
granite4:small - 19 GB
так что granite4:small должна быть точно не слабее gpt-oss:20b в генерации текстов. По крайней мере, на первый взгляд, я не заметил чего-то из ряда вон вылетающего.
А вот granite4:micro - 2.1 GB - действительно малышка. Но и она сгенерировала вполне нормальный текст. (Дай бог, чтобы так формулировала свои мысли половина выпускников школ.)
На вопрос: Describe the basic block diagram of LLM.
она выдала читабельную диаграму. И далее, чтобы не загружать пост, только первый абзац:
granite4:micro - "This block diagram represents the high-level structure of an LLM system. The input preprocessing module takes raw text as input and performs various tasks such as tokenization, POS tagging, NER, and lemmatization/stemming to prepare the data for further processing".
А потом по просьбе перевела:
"Это блочная диаграмма представляет собой высокоуровневую структуру системы LLM. Модуль предварительной обработки принимает на вход непрерывный текст и выполняет различные задачи, такие как разделение на токены, определение частей речи (POS), идентификация сущностей-эмблем и лематизация/склеивание для подготовки данных к дальнейшей обработке".
Можете сравнить с переводчиком от Гугла. :)
Granite 4: IBM представила линейку маленьких, но шустрых LLM