Комментарии 46
Ещё пару лет и модели топы 2025 в карман станут влезать. С одной стороны память наконец подешевеет, с другой стороны модели оптимизируют. Во всяком случае, хочется в это верить.
В 2030 году в среднем серийном телефоне будет аналог гпт 3,5.
С двух сторон - телефоны и специальные процессоры растут и модели становятся эффективнее. Пример - форд т имел двигатель 4 цилиндра почти 3 литра. Мощность 22 лошадки (это я по памяти).
Это повлияет на жизнь.
Кроме того - модель для телефонов но, на компе тоже пойдет.
аналог 3.5 уже влазит в телефон
не так шустро как хотелось и телефон греется как тостер, но на моем oneplus 13 модель на 20гб влазит в память и нормально шебуршит. Может просто по фотке распознать что происходит, перевести текст и тд. Если же как чат то вообще огонь-огненный, режим рассуждений пока что кривой, но с отключенными рассуждениями довольно хорошо отвечает как раз по ощущением как GPT 3.5
а мелкие модели вообще летают, кака-то оптимизированная под чаты кроха на 3гб может буквально в реальном времени тебе отвечать
Gemma 4 с Vision и Reasoning работает в iPhone 15 pro которому скоро 3 года. Работает достаточно быстро и вполне себе на русском.
Vision и Reasoning это даже уже не GPT 3.5.
Не знаю, зачем мне аналог гпт 3.5 на телефоне в 2030. По тем годам это будет уже страшный динозавр
очередной AI Slop
Скоро смартфону, не нужен будет человек :)
вести с полей - загрузил на ноуте, ЛМ студио, видеокарта встройка - скорость 37 токенов в сек.
ответила на русском.
Загрузил 8-ми битную MLX версию на M3 Max, так же через LM Studio, без каких либо оптимизаций. Результат - 109 tok/sec. С качеством ещё предстоит более детально разобраться, но с тестовым Epoll сервером на Go c подробным описанием и пояснением каждого шага LLM справилась достойно.
Вот надо тебе мне на больную мозоль наступать, что я не тот ноутбук купил....
Памяти у вас сколько?
Попробуйте
Там загрузка оптимизированных и Crack моделей + оптимизации.
Если тоже еще и с навороченным Harness то https://osaurus.ai
а какие задачи пользователи могут хотеть выполнять с такой слабой моделью на смартфоне? кто целевая аудитория? я могу предположить, что системы слежения и анализа информации пользователя, могут этим пользоваться, что бы делать первичный ресурсоемкий анализ на стороне пользователя, и отсылать интересное на сервер... но пользователю это зачем?
Я думаю первопроходцы пока лишь прощупывают интерес. Будет отклик, будут дальнейшие оптимизации ИИ под возможности смартфона и новые мобильные процессоры.
Edge gallery от гугл уже умеет голосом создавать встречи в календаре с выключенным инетом. Добавят других тулов, будет ещё больше возможностей
Когда первый человек взял в руки первую горящую ветку, ему сказали:
А какой толк от этой ветки, смотри солнце светит ярко!
я прекрасно понимаю пользу от ИИ, вопрос какую пользу принесет универсальная модель от запуска именно на смартфоне. Это нереально медленно, для любого полезного использования нужна скорость выше на порядок
какую пользу принесет универсальная модель от запуска именно на смартфоне
ИИ в оффлайн режиме в портативном девайсе, который можно засунуть в карман. (сценариев применения несчетное множество от синхроперевода до распознавания грибов в лесу).
Это нереально медленно
Сейчас медленно, а через 5-10 лет будет достаточно быстрым.
Кроме того, необходимость и спрос запускать прожерливые ИИ системы в компактном девайсе подстегнет производителей аккумуляторов и чипов (память, цпу, гпу, и др.) еще больше развивать свои решения.
Я бы не доверял моделям такого уровня свою жизнь (про грибы).
На их сайте для тестов https://playground.liquid.ai/ есть больше моделек, VL 450M совсем слабая, выдумывает содержимое изображения, скорее всего подойдет только как классификатор (nudity распознает), VL 1.6B по лучше, описывает происходящее на изображении не плохо, но с текстами происходит фигня, как минимум сразу табличку давать не рекомендую, уже с 20-ого числа начинает выдумывать,.. но в принципе, как часть пайплайна, может быть даже имеет смысл.
Текстовые модели совсем мусор, несут чушь чуть более чем полностью, моделька LFM2-24B-A2B выглядит по лучше, но все так же далека от идеала.
p.s. не проходит тест на задачку на мытье машины, даже если все ей разжевать, даже не исправляется
Скрытый текст
мне нужно помыть мою машину, стоит у дома, автомойка находится в 100 метрах от дома, мне лучше пойти пешком без машины или поехать на этой машине?
Тут речь про маленькие модели типа 8б. На некоторых телефонах уже есть npu. В удивитесь но они легко могут вычислять быстрее процессоров, при потреблении в несколько ватт. Если сейчас это в основном пиксель и ван плюс, то уже скоро будет везде и фотки обрабатывать и агентов запускать
"Даже на смартфоне" это такое маркетинговое сравнение. А запустить в приватном облаке это уже интересно...
Локальная википедия/переводчик как минимум
Тебе модель пояснит много что и подскажет то, что даже не знал ранее. Качество спорное, но я думаю застряв в лесу без интернета будешь рад любой инфе как не бродить кругами по лесу, как получить питьевую воду и съедобно ли это растение.
Опять-таки есть процент на ошибку и галлюцинации, но в ситуациях когда хуже не будет это маст-хев. С тем же переводом по картинке тебе в целом плевать на точность, тебе нужно получить информацию с текста на другом языке и нейронка с этим справится идеально, может даже подсказав что т от себя.
В прошлом году, когда модели начали программировать сносно, я написал для себя приложение-компаньон для базы учёта денег.
Базу учета денег я веду уже лет 20 в 1С, постоянно для себя ее дописываю.
Теперь у меня более полугода основной ввод - телефон. Делаю скрин, оправляю в приложение, оно распознаёт текст, сумму и по статистике подбирает счёт, статью, контрагента. По ощущениям точность порядка 70% - повторяющиеся траты всегда точно, а вот новые почти всегда мимо. Но это куда проще и быстрее, чем разносить вручную.
Вот я задумался, если к распознавалке прикрутить ИИ - точность вырастет. Да, это все баловство и экономит считанные секунды в день, но лично мне приятно, и лично я начну экспериментировать с использованием ИИ для себя именно с этой задачи, а дальше посмотрим.
Новость перечитайте три раза.
Речь в первую очередь про модель для АГЕНТСКО использования.
А не для 4ласс ческого "чатботтинга".
Модель заточена на понимание и вызов инструментов (программ и функций устройства).
Очень грубо:
"мы ездили на выходных туда-то сделали много фоток. Перенеси все фотки за субботу и воскресенье в отдельный альбом".
Открой браузер и исследуй новости на моем любимом новостном ресурсе и дай сводку.
Эй, дружок, отключи звук.
Эй, дружок, ключи гугл музыку и найди трек.
Эй, дружок, выслушаймой текст и создай word файл с ним в том-то месте.
Эй, дружок, я тебе надиктую мои финансовые показатели, создай сводную таблицу и прогноз в exel.
И так далее.
Конечная цель - автономный ассистент с полным доступом ко всем функциям усустройства.
Кому-то это не надо. А кому-то очень)
Какое приложение можно установить на андройд, что бы в нем загружать модели?
PocketPal, MNN Chat и так далее, но как агента не знаю или не разобрался ещё.
Google Edge gallery - топ, там уже и тулы тестируют, про аудио / фото уже молчу даже
Сделал свою обертку на гугловской Ai gallery в честь выхода их Gemma 4. Агентность не прикрутил (идей нет, поэтому велком), но персистентные чаты и rag работают)
А можно спросить "зачем". Что за задачи на телефоне требт мощной быстрой модели, чего нельзя отправить в облако?
Я про целесообразность. Процессор и батарею прямо вот на тупые "ты конечно прав..." рассуждения тратить кажется перебором.
Облако при включенных белых списках превращается в известно что.
Чтобы не отдавать свои промпты неизвестному дяде на входе у LLM облака, например.
это вопрос принципа.
когда говорят что - закроют интернет и не будет никаких ИИ - ответ тут, какие то будут.
также - смотрим прогресс.
буквально к 30 году то что мы используем в облаках сейчас - будет на мобильных устроиствах.
на своем устройстве, без оплаты за облако и за токены,
это кардинально меняет представление о будущем, в разрезе тех кто говорит что вот - тестовый период закончится и токены станут очень дорогими и крышка.
а ведь это может оказаться сири 10 лет спустя, при чем реально полезной. Хотя в пользу на активации в 1b верится слабо, но как знать, надо проверять. На сегодня в mnn из коробки не доступна, потыкал dense 1.2 b модельку, чет пишет, скорость 25-30т/с, что приятно, до автомойки предлагает пройтись пешком.
Типичное воздуханство с попыткой обмануть математику.
Почту почитать, новости собрать в кучу, будильники позаряжать и прочей мелкой дрисней поуправлять хватит, особенно с учётом детерминированных тулов и скиллов, а так же готовыми на блюдечке эмбеддингами.
В ризонинг там будет полный покой.
Жду того момента когда уже сделают модель которая вообще не будет иметь энциклопедических знаний сама по себе (только общие поверхностные знания) но будет рассуждать максимально хорошо и уметь запрашивать знания из внешних подключаемых источников.
...а если не знает и не может получить по запросу будет говорить "не имею соответствующих баз знаний" а не придумывать дичь
Совсем не знать не получится... знаете поговорку - "что бы задать вопрос, нужно знать половину ответа"? Ничего не знающая модель не сможет правильно сформулировать поисковый запрос...
p.s. я иррационально уверен, что облачные проприетарные модели топовых и не очень компаний под капотом имеют не чистую модель, а роутер, который запрос пользователя и рассуждения прогоняет через пайплайн (например с помощью tool call) с поиском в базах данных... если это не так, то это невероятно глупо.
Самому такое делать сложно - это собрать и главное проиндексировать универсальную базу знаний, те кто пилят ИИ ее так или иначе собирать вынуждены.
да, тоже согласен что именно так и нужно!
тогда модель может быть небольшой и быстрой.
и вы не единственный кто так думает.
Jan - есть такой проект, они обучают свою 4Б модель именно под такое применение.
тут нужно будет еще базы сделать
А какой клиент можно использовать на Android? Я слабо разбираюсь, тут формат .safetensors его надо в .gguf переформатировать?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Вышел локальный ИИ-агент для смартфонов: LFM2.5-8B-A1B обходит модели вчетверо больше