Локальные LLM на iPhone: память, Core ML, MLX и ограничения

[nutrifit]

Хороший разбор. И мне кажется, что главный вопрос при внедрении LLM на устройство должен возникать ещё до выбора Core ML или MLX где то на этапе постановки задачи. Думаю что разработчику важно поговорить с продуктовой командой и вместе оценивать действительно ли локальная модель нужна, какие компромиссы по памяти, батарее, скорости и сложности поддержки команда готова принять.

На практике довольно часто желание «давайте запустим нейронку прямо на телефоне» появляется скорее из-за хайпа вокруг AI, а не из реальной потребности пользователя. Я сам часто такие предложения слышал. И да во многих сценариях дешевле, быстрее и надёжнее использовать серверную модель.

Было дело что я внедрял лмку для распознования лабораторных анализов. И в подобных случаях, где есть чувствительные данные, требования к приватности, офлайн-работа или минимальная задержка, локальные модели действительно становятся оправданным решением.

Ты тут прав, что обычно гибридный подход выглядит наиболее практичным... надо не пытаться превратить смартфон в дата-центр), а грамотно разделить задачи между устройством и облаком