Комментарии 6
Вопрос в системных требованиях
Raspberry это здорово, но какая особо польза, если оно будет на простые вопросы по пол-часа отвечать?
офлайн агента
LiteRT-LM — фреймворк
Так агента или фреймворк?
Большие языковые модели с 4к параметрами? Что-то на уровне Алисы или Маруси, если не хуже. Хз для чего это может пригодиться. Разве что для роботов, которые клиентам отвечают и этих клиентов раздражают своей тупизной.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Google LiteRT-LM — новый фреймворк для офлайн-запуска LLM на Android, Chrome и даже Raspberry Pi