Comments 11
Можно просто в прямо Chrome на Android загружать и работать с LLM https://chat.webllm.ai/ надо выбирать модели у которых в конце -q4f32_1-MLC
Модель типа Qwen3-1.7B может работать почти на любом телефоне
Крутая вещь! Спасибо тебе комментатор sergeym69, твоя информация очень ценна и полезна для меня и всех кто прочтёт эту статью
То чувство когда не знаешь куда применить новейшую 24б модельку от мистраля или 32б от квина из-за того что они откровенно туповаты и даже языком владеют не вполне а тут люди пишут тексты и программы модельками размером 4-7б и вроде даже довольны результатом.
Всё жду, когда что-то такое появится в виде библиотеки, чтобы легко интегрировать llm в свое приложение и оно работало локально на устройстве
Вот бы сравнительную таблицу скорости и адекватности ответов, а то глаза разбегаются
Мне в телефоне в игры то играть не хочется из-за маленького экрана и неудобного управления, а люди еще и кодить на нем умудряются, да еще и с помощью LLM на 8b? Я помню, просил chatgpt написать автоматизацию для НА, так он местами в форматировании yaml умудрился накосячить, что уж говорить про эти модельки...
Что-то мне кажется, что запустить их локально можно, но на практике никто этим пользоваться не будет, хотя бы потому что даже если вы написали текст для своего блога, пока были офлайн - вы все равно его не сможете опубликовать, а когда у вас появится связь - будет и доступ к серьезным моделям, которые могут решить задачу быстрее и намного качественнее.
В ваших словах есть доля истины, однако и я не программист, чтобы писать штуки по типу автоматизации - я = дизайнер и моушн-дизайнер - вы можете посмотреть другие мои статьи и что AI мне нужно для создания своеобразных вещей для заказчиков (к примеру: 3D-текст созданный в Blender 3D и имеющий определённую текстуру с помощью ControlNET или оживление фото с помощью Wan 2.1 + замена лиц с помощью Reactor для поздравительной открытки от коллектива завода для директора и т.д.).
Мой максимальный level в программировании = создание кода в zero block на Tilda и использование GSAP в WebFlow.
Насчёт публикации потом с помощью других более мощных моделей - нет вы не правы, когда я езжу в путешествия по России на поезде = я не беру с собой ноут, так как лишняя дорогая техника, поэтому смартфон + компактный стедикам для стабилизации съёмки - это очень мобильная "сборка". Как это работает? Едешь в поезде между Кисловодском и Ессентуками, в 1 городе снял видос, пока ехал = смонтировал в CapCut + написал блог с помощью AI и короткий кликбейтный пост в "Запрещеграм". Приехал в Ессентуки = появился интернет - опубликовал контент. Всё круто😎😉😊
Кстати, что такое "HA"?
А вообще, если говорить про ChatGPT, Claude и другие "большие" модели - это не так работает.
Нейросеть - это не про нажать одну кнопку "Сделать красиво" - это инструмент по типу Photoshop или After Effect. А разве у вас сразу получалось сделать крутой арт в первом и хороший анимированный видос во втором = нет. Я уверен, если бы вы "помучали" чат уточняющими вопросами часа 3-4 вы бы написали вашу автоматизации. Нигде нет мнгновенного результата - это везде труд, а инструмент использования не имеет значения: Photoshop ли это или Forge AI или ComfyUI или ChatGPT. Вообще я заметил, что смешанная технология приносит наилучшие результаты)
Да, они будут запускаться, но вызывать троллинг на телефоне
Может быть троттлинг?
LLM в кармане: запускаю локальные модели на Samsung S24 Ultra через PocketPal — бенчмарки, настройки и туториал