Обновить

Комментарии 1

ММмммм.

Даже и не знаю с чего тут начать.

Хотелось бы конкретных цифр по префилу.

Во первых обычно у 27B префил более медленный, а во вторых - он сильно деградирует по мере накопления контекста. То есть например та же страта может вогнать в себя 256к токенов практически стабильно на скорости например 2к. В то время как 27B приближаясь к 128к уже может потерять ПОЛОВИНУ скорости префила. Какая скорость будет когда она дойдет до 256к?

Вторая особенность похожая на первую

Скорость генерации 27B по мере генерации - так же падает. Да, по началу она может выдать нормальную цифру, но опять же при ближе к 128к контекста скорость генерации будет разительно отличаться от того что было на холодном прогоне.

У страты же стабильность генерации не сильно зависит от уровня текущего контекста, а больше от других вещей.

Давайте еще о важнейших особенностях qwen flash next

  • умнее по количеству знаний чем та же 27B

  • Имеет настройки размышления - которые по умолчанию выкручены на максимум "xhight"

  • Имеет более современную архитектуру

Но что реально самое главное в qwen flash next? Это производительность на Ватт. При моих замерах и на моем железе - qwen flash next потребляет примерно в 2 раза меньше энергии при том же ТПС.

И В этом нет никаких чудес, ведь активных параметров у страты значительно меньше.

Если резюмировать - статья полнейшая параша.

Кто писал эти выводы? Таролог?

Совет для 27B типа "Локальный AI-агент должен работать постоянно." - это что бы холодными осенними вечерами ваша 4090 грела ваше лицо приятным инфракрасным излучением?

А "Компьютер одновременно используется для других задач." - каких задач? В винампе музыку можно проигрывать при работающей страте?

Я бы даже под дулом пистолета не стал связываться с тем, кто это распространяет. Это не информация, это просто какой то мусор.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации