Google LiteRT-LM — новый фреймворк для офлайн-запуска LLM на Android, Chrome и даже Raspberry Pi

[JBFW]

Вопрос в системных требованиях

Raspberry это здорово, но какая особо польза, если оно будет на простые вопросы по пол-часа отвечать?

[PavelBelyaev]

Ну если они его в часах используют, то наверное должно хватить, только не думаю что оно будет умным как chat gpt, что-то узко направленное наверное

[snuk182]

Будет отвечать, который сейчас час, как бабушкины часы сорокалетней давности.

[RomanKryvolapov]

Новый но не новый, при помощи обычного LiteRT также можно запускать LLM, но сложней, LiteRT-LM это просто достройка к LiteRT чтобы писать меньше кода для запуска, например не добавлять вручную токенизатор. На GPU смартфона llm отлично и очень просто запускаются при помощи Mediapipe, а на NPU в LiteRT и LiteRT-LM можно запускать только Gemma3-1B которая ни для чего не годится, по крайней мере я не видел нигде информации о том, что запускается что то еще. Еще в июле добавился в их программу альфа доступа, попробовал и решил отложить, пока не появятся преимущества перед Mediapipe и другими решениями и пока они не запилят запуск на NPU нормальных моделей, а этого думаю не случиться, так как для NPU есть много ограничений и он изначально не рассчитан на запуск LLM.

[freeExec]

На сpu там и другая, 4Гб модель, запускается.

[thethee]

офлайн агента

LiteRT-LM — фреймворк

Так агента или фреймворк?

[Qwertcoser]

Фреймворк)

[Nik_Otin]

Большие языковые модели с 4к параметрами? Что-то на уровне Алисы или Маруси, если не хуже. Хз для чего это может пригодиться. Разве что для роботов, которые клиентам отвечают и этих клиентов раздражают своей тупизной.