Comments 19
Ждем выпадающей плашки перед выполнением запроса "подключите павербанк".
которое позволяет запускать ИИ-модели прямо на смартфоне, без интернета
Так Apple ещё год назад свой такой выкатиа. Кривенький, но выкатиа. Гугл тут лишь догоняет.
Ну и главное, почему нет сосулей в списке покупок?
Сосисы, сосули, греча.
Модель: Gemma-3n-E2B-it-int4 (3.1 ГБ)
Качество: на уровне deepseek R1 или OpenAI 4o, но без облака. Неплохо.
Нууу, я бы не стал так смело заявлять, что дистиллированная модель на 2B параметров выдает результат сравнимый с OpenAI 4o.
Модель: Gemma-3n-E2B-it-int4 (3.1 ГБ)
Качество: на уровне deepseek R1 или OpenAI 4o, но без облака. Неплохо.
Не смешите. На уровне с gpt3.5-turbo ещё может быть с натяжкой, но никак не R1, а тем более 4о
upd. Да и о полной приватности я бы заявлять не стал. То что вы запускаете модель локально, ещё не говорит о том, что ваши данные, например, не уходят Гуглу через это самое приложение
p. s.
Пользуясь сервисами Google, Вы доверяете нам свою личную информацию
Не взлетела Gemma-3n-E2B-it-int4 на смартфоне с Helio G85 (2x2.0 GHz Cortex-A75 & 6x1.8 GHz Cortex-A55) и Mali-G52 MC2 1.0 GHz. Объем оперативной памяти: 4 Gb.
Закидываю фотку в Ask image, прошу рассказать, что на ней. Пыжится, вешает смарт, думает, но ничего не выдает. Пробовал обсчитывать как на CPU, так и на GPU
UPD: удалось добиться хоть какого-то шевеления в AI chat, с CPU. Но речь не об "экране текста в минуту", а об "одном слове в 10-15 секунд". Видно, это для топового железа забава...
Даааа, для меня это главное открытие года и одно из двух трёх наверное за всю жизнь, наравне с возможностью эмулировать Винду и спокойно запускать даже киберпанк на смартфонах! Узнал из поста розеткед в телеге. Но, есть ещё оказывается Pocket Pal, там и моделек больше, и история чатов есть, безумие! Но интерфейс не такой красивый канеш) Так что лайк за пост, я хз почему все не орут чайкой, повторюсь но способность локально запустить в кармане - один из величайших восторгов эвар для меня, каждый день пока пребываю в шоке!
Как я понимаю основное ограничение это объём RAM на смарте ? Ну и через GPU должно работать быстрее. . Телефон xiaomi 13t pro. А какая модель умнее Gemma-3n-E4B-it-int4 или Gemma-3n-E2B-it-int4/
На CPU Gemma-3n-E4B-it-int4 Запускается и работает это конечно не личный ИИ но все же.
На СPU 1 токен в среднем 0,57 token/c decode 5.01
На GPU 1 токен в среднем 1,07 token/c decode 6.07
Для увеличения скорости выдачи токенов нужен аппаратный акселератор ИИ и очень быстрая память ?
RAM, да, это видимо первое главное ограничение, особенно при запуске больших LLM моделей.
Например, Gemma 3B в зависимости от E2B/E4B требует от 3–5+ ГБ
На мобильных GPU LLM редко эффективно работает, если это не NPU.
У Xiaomi 13T Pro есть чип Dimensity 9200+ с NPU, так что должно быть и вправду лучше. Но даже для него модель может работать дольше, чем хотелось бы, поскольку модели не всегда адаптирована под это железо.
У меня прироста от gpu особо не было, но знатно тормозило все остальное.
на pixel 7 pro xl модель Gemma-3n-E4B-it-int4 запустилась на CPU
Google AI Edge Gallery: локальный ИИ прямо на смартфоне — без облака, без интернета