Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 13
Когда на смартфоне 10+ Гб оперативы и половину забрала на себя система, которая весит больше чем Windows, ещё и ИИ там не хватало.
Это очень хорошая новость. Оптимизация по памяти даст огромный буст использованию ИИ во всех сферах.
Попробовал, действительно работает. На английском - слабая, но рабочая модель, на русском - прекрасный генератор шизофазии на грибах и кокаине.
А вы обратили внимание, что ей надо температуру выставлять в 0.05..0.1, top_k=50,top_p=0.1 -- у меня с этими параметрами она выдала вполне связный текст про жидкие сети, правда обозвала их "лидкими" :D
P.S.
Хотя да.. грибочки пошли :)
> Водка жидкая или твёрдая?
Водка — это жидкая напитка. Если говорить о обычной водке (с добавлением сахара, мельканого сахара или других ароматных компонентов), она всё ещё жидкая.
Однако важно понимать контекст:
"Вода" (например, чистая или солнечная) — это черная/солнечная вода, которая не содержит сахара.
"Водка" — это сладкая напитка (сахар, молоко, фрукты и т.д.), которую часто называют "водкой", хотя технически это напиток.
Итог: Если вы имеете в виду сладкую напитка, то да — водка — жидкая. Если речь о чистой воде без сахара, тоже жидкая. 🍹✨
Думающую не пробовал, а вот её Instruct собрать - прямо агонь! Там у них очень хороший оркестр выходит.
А можно подробнее?
Прошу прощения, комментарий с телефона набирал - "собрать" - это "собрат" :)
В общем, если про Instruct-версию, то для 1.2B она, на удивление неплохо, понимает, что от неё хотят, ей не срывает крышу от повторяющихся блоков (типа вагона ссылок на страничке), при этом работает с высокой скоростью.
В итоге получается скоростной и довольно интеллектуальный саммаризатор для чтения интернет-страничек, ленты чата и прочего мусора - сильно лучше и стабильнее, чем Qwen3B по всем параметрам, кроме русского. Русский понимает хорошо, а выдаёт на четвёрочку. Но если вывод идёт потом обратно в LLM, то это как-то вообще без разницы. Зато 320-380 ток/с на 3090.
Плюс, при таком размере легче дообучать, в т.ч. на тот же русский.
А про оркестр - LFM сделала несколько мелких моделей, там и аудио и видео и всякое. Они их позиционируют для мобильных приложений, но в сегодняшней реальности их можно напихать в 3060 все одновременно. И получится туповатый, но деятельный локальный комбайн с низкой задержкой. А это уже уровень обычного игрового ноута.
подписался на канал "сбежавшая нейросеть" очень интересные статьи, спасибо
Мне кажется, для демонстрации преимущества архитектуры следовало бы учить хотя бы 8B: очень сложно что-то сравнивать на размерах, которые для большинства задач из коробки неюзабельны, разве что под fine-tuning.
Может научат ещё, LFM2 есть в 8B: https://huggingface.co/LiquidAI/LFM2-8B-A1B
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Выходцы из MIT создали рассуждающий ИИ для смартфонов — он занимает всего 720 МБ