Comments 22
Крутяк, к home assistant прикручу. А есть железки адаптированные для TTS моделей? или всё так же на GPU пускать?
Спасибо, добрый человек, поизучаю. А вот силеро модельку интересно можно запустить или нет?
Как я понял, всё, что на ней запускается, должно быть предварительно доработано именно под это железо.
Думаю, умельцы доработают всё что только можно в ближайшие год-два под неё. Потому что это 120-долларовая альтернатива видеокарте за 300...500 долл.
а разве не лучше взять старую rx580 за 100$ ? так же 8гб вопрос только в скорости реальных моделей, ну правда к rx580 нужен ещё и весь пк но наверняка можно собрать что то на старых железках, главное gpu что бы полностью вмещал модель
6 терафлопсов у rx580 против 40 тераопсов у этой штуки (что соответствует от 20 до 40 терафлопсам, в зависимости от алгоритма)
У хайла этого ещё и потребление 2.5 ватта, что для постоянно включенной машины немаловажно.
звучит слишком хорошо, если можно будет объединить 2 таких штуки или чип в ней заменить, что бы было 16гб, можно было бы запускать большие модели типо gpt-oss 20b но звучит слишком хорошо))
Сложно получится. У малины один PCIe 2.0 x1. У хайла PCIe 3.0 x4. В принципе надо какую-то плату PCIe-расширителя подбирать (и они есть) которая бы одним концом к пишке подключалась бы, для загрузки моделей и, собственно, общения с ними. А там на плате устройства могли бы общаться друг с другом напрямую, без участия пишки. С видеокартами так делают. А с хайлом этим - во-первых непонятно может ли он в такой режим, а во-вторых неочевидно, что овчина стоит выделки с его производительностью. Если скорость неважна и хочется попробовать, то можно просто на процессоре пишки крутить модель: https://byteshape.com/blogs/Qwen3-30B-A3B-Instruct-2507/ или можно использовать 7B модели.. Но для такого и пишку не надо.
ИМХО, ни разу не альтернатива. 1,5 млрд параметров это мало. Это очень слабые модели. Видеокарта за 300 долларов, условно RTX 3060-12 покажет совсем другой уровень.
По каким интерфейсам такие штуки связываются с CPU малинки?
А если использовать квантование, возможен ли запуск моделей Gemma-3-4b-it, или, может быть, какой-либо Phi 2.5?
А почему бы не 32 Гб хотя бы?
"Она построена на базе ИИ-ускорителя Hailo-10H (40 TOPS) и оснащена 8 ГБ встроенной оперативной памяти для инференса моделей.". На уровне RTX 2060 (51 TOPS), к примеру RTX 5060 TI - 757 TOPS (Gemma3 12B работает локально со скоростью 50 токенов в секунду), RTX 5090 - 3356 TOPS. Так что всё это шалости
Весьма вещь в себе. В основном заточена проигрывать свои собственные примеры. Шаг в сторону - и танцы с бубнами чтобы заставить хоть что-то хоть как-то заработать. И только под одной версией ОС. Лучше взять Джетсон и не мучить задницу. На Джетсоне такая же КУДА, как и на любой нвидии, всё работает, что работает на настольной платформе, на той же ОС.
не совсем по теме, но вопрос похоже связный
вкратце, у меня есть старенький ноутбук Lenovo. Ну как старенький - ему пять лет. Одна из моделей Lenovo, которая в момент покупки была gen1. Модель Lenovo до сих пор выпускается, в том же корпусе и так далее, но сейчас она уже gen13.
Так вот, моя машинка уже то там сломается то здесь, то разъёмы ей перепаяют, то клавиатуру. Но ещё CPU что-то шалят.
В общем задумался я взять новый взамен старого. Так вот у нового помимо прочих улучшений есть ещё и нейромодуль какой-то.
Поглядел я по другим современным компам - нейромодуль многие ставят. А вот софт для них я пока не вижу. Кто знает, чем этот нейромодуль можно загрузить, а главное - на Linux?
Raspberry Pi представила AI HAT+ 2 — модуль для локального запуска генеративных моделей