Почему большинство AI-агентов плохо работают на Raspberry Pi (и как я попытался это исправить)

[IsupovEvgenii]

Добавлю сюда ссылку на проект, если кому-то захочется посмотреть или попробовать:

https://github.com/evgenii-engineer/openLight

Сейчас это lightweight AI агент для Raspberry Pi с Telegram-интерфейсом.
Буду рад любому фидбеку.

[renakdup]

Так вот почему мой умный чайник до сих пор не научился варить кофе - ему просто RAM не хватает! А я-то думал это производитель жадный :D

[IsupovEvgenii]

Хахаха

[Timmek]

❌ Grafana + VMagent? Неееет

✅ целая LLM? Да!!!

[IsupovEvgenii]

Согласен, для метрик это был бы оверкилл

Но у меня задача была не про мониторинг, а про управление:

например, добавить пользователя в Matrix, дернуть сервис, сделать простые админские действия

И тут LLM выступает скорее как "интерфейс", а не как основная логика

То есть она убирает слой жёстких команд и делает всё чуть более гибким

[Elaugaste]

Это слишком странный кейс для того чтобы применять llm. Куда разумнее сделать бекенд для выполнения нужных вам операций и интерфейс к нему.

[IsupovEvgenii]

Backend там и так есть.

Вопрос не в «сделать API», а в том, как к нему обращаться.

LLM здесь это не магия, а просто более гибкий интерфейс вместо набора жёстких команд.

[Elaugaste]

Речь о том что этот "более гибкий интерфейс", мягко говоря ненадежен, и неоправданно много ресурсов кушает. По этому маневр мягко говоря странный.

Можно организовать ci\cd для заливки обновлений бекенда на малину, и при помощи LLM досыпать фиксированные функции которые будут надежно вызываться и при этом толком не требовать ресурсов.

[IsupovEvgenii]

Это как раз тот вариант, который ты описал:

фиксированные действия + LLM как слой над ними

Вопрос только в том, делать ли этот слой через кнопки/CLI или через свободный текст.

[IsupovEvgenii]

Добавлю сюда ссылку на проект, если кому-то захочется посмотреть или попробовать:

https://github.com/evgenii-engineer/openLight

Сейчас это lightweight AI агент для Raspberry Pi с Telegram-интерфейсом.
Буду рад любому фидбеку.

[sav13]

А голосового ассистента для HA осилит?
Чтобы какую-то логику разговорную прикрутить

[IsupovEvgenii]

Идея прям классная 🙂

Осилит, если держать фокус на управлении, а не на “болталке”

Как голосовой интерфейс к HA, ок  

Как полноценный разговорный ассистент, Pi уже начнёт задыхаться