Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила

[CitizenOfDreams]

Модель способна нормально отвечать на простые вопросы, но ошибаться в математике, терять последовательность рассуждений или переставать выполнять сложные инструкции.

"Дейзи, Дейзи..."

[Pand5461]

Если речь о 2-битном квантовании Qwen3.8 27B, то почему не взять сразу Ternary Bonsai 2? Она как будто должна быть лучше, чем просто квантование, т.к. включает сжатие весов + какое-то дообучение, чтобы снизить эффект от сжатия.

[MAXH0]

Категорически плюсую ВСЕ подобные разработки. Почему? Потому, что считаю, что нынешний аукцион невиданной щедрости не на долго. А именно когда США и Китай бодаются за лидерство. Даже более... Пока Китай демпингует в попытке лопнуть фондовый пузырь AI в США. А потом модели могут закрыться.
Поэтому всё, что позволяет "хоть тушкой, хоть чучелком" но запустить модель КОТОРУЮ КОНТРОЛИРУЕШЬ ТЫ локально, за приемлемую цену, жизненно необходимо. Это цена свободы.

[mosinnik]

зачем тестировать непойми как соотносящуюся с вашей 3.8-27б по факту предпредыдущего поколения 3.5, да еще и тупую на 2б? Раз вы планируете развивать проект и хотите, чтобы ваше решение выглядело хоть както убедительно, то что вам мешает арендовать нормальные гпу и выдать корректное сравнение исходной модели и вашего кванта? А пока эта активность только ради статей хабре, которые выглядят как нейрослоп с целью прогрева