Raspberry Pi представила AI HAT+ 2 — модуль для локального запуска генеративных моделей

[horon]

Крутяк, к home assistant прикручу. А есть железки адаптированные для TTS моделей? или всё так же на GPU пускать?

[avshkol]

Вот же вроде: https://github.com/hailo-ai/hailo-apps/blob/main/hailo_apps/python/gen_ai_apps/voice_assistant/README.md

[horon]

Спасибо, добрый человек, поизучаю. А вот силеро модельку интересно можно запустить или нет?

[avshkol]

Как я понял, всё, что на ней запускается, должно быть предварительно доработано именно под это железо.

Думаю, умельцы доработают всё что только можно в ближайшие год-два под неё. Потому что это 120-долларовая альтернатива видеокарте за 300...500 долл.

[jarkevithwlad]

а разве не лучше взять старую rx580 за 100$ ? так же 8гб вопрос только в скорости реальных моделей, ну правда к rx580 нужен ещё и весь пк но наверняка можно собрать что то на старых железках, главное gpu что бы полностью вмещал модель

[avshkol]

6 терафлопсов у rx580 против 40 тераопсов у этой штуки (что соответствует от 20 до 40 терафлопсам, в зависимости от алгоритма)

[kostoms]

У хайла этого ещё и потребление 2.5 ватта, что для постоянно включенной машины немаловажно.

[Areso]

ИМХО, ни разу не альтернатива. 1,5 млрд параметров это мало. Это очень слабые модели. Видеокарта за 300 долларов, условно RTX 3060-12 покажет совсем другой уровень.

[kostoms]

7 миллиардов параметров там поместится свободно, для маленьких контекстов может и больше, так же можно заоффлоадить часть слоёв модели на CPU

[KivApple]

По каким интерфейсам такие штуки связываются с CPU малинки?

[JerryI]

Судя по всему через LVDS линии, которые юзаются для камеры. Должно быть шустро

[kostoms]

PCIe 2.0 x1 на проприетарном разъёме..

[Animkeee]

А если использовать квантование, возможен ли запуск моделей Gemma-3-4b-it, или, может быть, какой-либо Phi 2.5?

[achekalin]

А почему бы не 32 Гб хотя бы?

[Bardakan]

потому что память нынче дорогая, а они и так уже повышали цены

[Vitrion]

"Она построена на базе ИИ-ускорителя Hailo-10H (40 TOPS) и оснащена 8 ГБ встроенной оперативной памяти для инференса моделей.". На уровне RTX 2060 (51 TOPS), к примеру RTX 5060 TI - 757 TOPS (Gemma3 12B работает локально со скоростью 50 токенов в секунду), RTX 5090 - 3356 TOPS. Так что всё это шалости

[ZanZy]

Весьма вещь в себе. В основном заточена проигрывать свои собственные примеры. Шаг в сторону - и танцы с бубнами чтобы заставить хоть что-то хоть как-то заработать. И только под одной версией ОС. Лучше взять Джетсон и не мучить задницу. На Джетсоне такая же КУДА, как и на любой нвидии, всё работает, что работает на настольной платформе, на той же ОС.