Стартап PrismML представил Bonsai 27B — сжатые версии открытой модели Qwen3.6-27B, младшая из которых стала первой нейросетью такого класса, которая помещается в память смартфона. Веса выложены на Hugging Face под лицензией Apache 2.0, а в демонстрациях PrismML модель работает прямо на iPhone 17 Pro Max — рассуждает, вызывает инструменты и разбирает скриншоты без единого обращения к облаку.

В стандартной 16-битной точности Qwen3.6-27B занимает около 54 ГБ, и даже приличная 4-битная сборка весит порядка 18 ГБ — слишком много не только для телефона, но и для большинства ноутбуков. PrismML выпустила два варианта: троичный (для ноутбуков и недорогих видеокарт), где каждый вес принимает одно из трех значений {-1, 0, +1} и модель ужимается до 5,9 ГБ, и двоичный (экстремальное сжатие для смартфонов) — только {-1, +1}, 3,9 ГБ и 1,125 бита на вес. Точность спасают общие FP16-множители: один масштабный коэффициент на каждую группу из 128 весов. Причем низкобитное представление применено ко всей языковой сети целиком — эмбеддингам, вниманию, MLP-слоям и выходному слою (LM head), без "островков" повышенной точности (они спасают качество, но раздувают реальный размер, поэтому у моделей с "2 битами" в названии на деле выходит в среднем 2,8 бита на вес).

Несмотря на то, что iPhone 17 Pro Max оснащен 12 ГБ памяти, одному приложению в iOS выделяется не более 6 ГБ — и в этот бюджет должна влезть не только модель, но и растущий с контекстом KV-кэш вместе с активациями. Ни одна обычная сборка 27-миллиардной модели даже не приближается к этой планке — а двоичная Bonsai 27B со своими 3,9 ГБ проходит, и у нее еще остается место для работы.

PrismML прогнала обе версии через 15 бенчмарков в шести категориях, причем в thinking-режиме, где модель рассуждает в полную силу. По данным компании, троичная версия сохраняет 95% от уровня исходной модели, двоичная — 90%. Просадка при этом неравномерная:

  • математика (GSM8K, MATH-500, AIME) почти не пострадала: 95,3 балла у оригинала против 93,4 и 91,7 у сжатых версий;

  • программирование просело умеренно: с 88,7 до 86,0 и 81,9;

  • сильнее всего досталось агентным задачам и вызову инструментов (BFCL v3, TauBench): с 80,0 до 74,0 у тернарной и до 66,0 у бинарной — и это заметный удар именно по тому сценарию, под который PrismML позиционирует модель.

Сама по себе квантизация модели — метод не новый. Однако обычные методы часто "ломаются" ниже 4 бит. PrismML показывает на примере обычной 2-битной сборки того же Qwen: она держится на коротких тестах знаний вроде MMLU, но проваливается там, где нужны длинные цепочки рассуждений — до 57,5 балла на AIME26 и 56,4 на LiveCodeBench. При поверхностном тесте это можно и не заметить — а затем модель подведет в сложном сценарии. Bonsai хорошо выглядит именно в долгих бенчмарках, занимая в два с половиной раза меньше памяти (3,9 ГБ против 9,4).

При этом сжатые версии сохранили полный набор возможностей оригинала: мультимодальность (визуальный энкодер — vision tower — поставляется отдельно, в 4 битах), контекст в 262 тысячи токенов и поддержку спекулятивного декодирования. Платить за это приходится скоростью: на iPhone 17 Pro Max двоичная версия разгоняется лишь до 11 токенов в секунду — ниже порога, при котором диалог ощущается комфортным.

Также ругают сырой релиз: LM Studio и Unsloth на старте формат не поддерживали, троичная версия пока частично требует фирменных форков llama.cpp, для Apple-устройств нужен форк MLX от самой компании, а на Hacker News один из пользователей жаловался, что модель отвечает ему строкой восклицательных знаков. Правда у него был Android, который пока официально не поддерживается.

Но релиз все равно знаковый. Смартфон — устройство, на котором пользователь хранит огромное количество персональной информации, которую далеко не всегда хочется отдавать в облако. Плюс локальная модель пригодится при проблемах со связью или в роуминге. CEO PrismML Бабак Хассиби рассказал CNBC, что технологию компании уже оценивает Apple — но охарактеризовал переговоры как очень ранние. Это может быть маркетинговым хайпом, но известно, что Apple вкладывает большие ресурсы в исследование моделей, которые пойдут на ее мобильных устройствах.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.