Если, что-то не нашли статье, чего ожидали - напишите в коммент. Без проблем допишу, отвечу. 🙏 Записывать минус, который уже оставлен, в рейтинг или карму без коммента не позволяет понять чего не хватило.
У каждой компании есть как и плюсы и минусы и ещё долгая гонка впереди. Так сейчас акционеры apple, недовольные затянувшимся анонсом обновления siri, подали в суд на компанию
RAM, да, это видимо первое главное ограничение, особенно при запуске больших LLM моделей. Например, Gemma 3B в зависимости от E2B/E4B требует от 3–5+ ГБ
На мобильных GPU LLM редко эффективно работает, если это не NPU. У Xiaomi 13T Pro есть чип Dimensity 9200+ с NPU, так что должно быть и вправду лучше. Но даже для него модель может работать дольше, чем хотелось бы, поскольку модели не всегда адаптирована под это железо.
У меня прироста от gpu особо не было, но знатно тормозило все остальное.
Справедливо! Это, скорее, “неплохо для телефона”, чем “разрыв всего”. Но для вечерней болтовни с ИИ где-нибудь на природе с палатками или чтобы поупражняться с иностранными языками, когда нет интернета — самое оно
Если, что-то не нашли статье, чего ожидали - напишите в коммент. Без проблем допишу, отвечу. 🙏 Записывать минус, который уже оставлен, в рейтинг или карму без коммента не позволяет понять чего не хватило.
Рад помочь!
Полный текст отчёта здесь:
У каждой компании есть как и плюсы и минусы и ещё долгая гонка впереди. Так сейчас акционеры apple, недовольные затянувшимся анонсом обновления siri, подали в суд на компанию
RAM, да, это видимо первое главное ограничение, особенно при запуске больших LLM моделей.
Например, Gemma 3B в зависимости от E2B/E4B требует от 3–5+ ГБ
На мобильных GPU LLM редко эффективно работает, если это не NPU.
У Xiaomi 13T Pro есть чип Dimensity 9200+ с NPU, так что должно быть и вправду лучше. Но даже для него модель может работать дольше, чем хотелось бы, поскольку модели не всегда адаптирована под это железо.
У меня прироста от gpu особо не было, но знатно тормозило все остальное.
Да, локальный запуск ≠ полная изоляция. К сожалению, всё что попадает в наш телефон когда-нибудь может быть использовано против нас
Да, но теперь эта возможность стала ещё на шажок ближе к людям
🫶 Спасибо! Надеюсь, этот восторг заразителен!😄
Справедливо! Это, скорее, “неплохо для телефона”, чем “разрыв всего”. Но для вечерней болтовни с ИИ где-нибудь на природе с палатками или чтобы поупражняться с иностранными языками, когда нет интернета — самое оно