Обновить

Banana Pi анонсировала одноплатник BPI-SM10 с AI-производительностью в 60 TOPS

Время на прочтение1 мин
Охват и читатели11K
Всего голосов 3: ↑2 и ↓1+3
Комментарии6

Комментарии 6

Я заинтригован! Потому что мой комп на базе Ryzen AI 9 HX370 выдаёт лишь токенов 5 в сек на моделях класса 30b в 4х битном квантовании...

Может просто надо запускать на llama.cpp с RocM? Просто 5 токенов это скорее всего чисто проц, без видеоядра

А мой ryzen ai max 395 128gb выдаёт 10-12 токенов на qwen3 coder next 80B Q8 весом 84 гига))) Только вот контекст способен съесть десятки гигабайт и приходится стартовать q6, когда важен контекст.

Турбоквант не пробовал собирать под свою платформу? Мне с 5080 очень помогает

В оригинальной новости пишут про MoE модели 30B-A3B. Это важное уточнение.

А что по софту там? Терафлопсы — это клёво, а утилизировать их чем можно будет?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации