Pull to refresh

Comments 9

Спасибо, добавил в материал!

Что удивительно -- это не "убрать 2 слоя менеджеров". Впрочем, это способ сократить еще в 40 раз

Хотите сказать что Gemma 9b будет нормально работать не на 10гб памяти а меньше чем на 2? Звучит абсолютно нереалистично.

imatrix делает что-то похоже, но конечно не за бесплатно, экономия в памяти выливается в очень сильных требованиях в ЦПУ и ГПУ.

Отличная новость. Вот бы удалось досжимать языковые модели до размеров бытового накопителя при сохранении качества работы, чтобы можно было запускать условную Алису и прочее в оффлайне.

Запустить локально модель уровня Алисы не проблема уже довольно давно, запускают даже на макбуках.

Sign up to leave a comment.

Other news