Комментарии 21
😈🤗
В олламу можно конвертнуть?
Уже конвертнули - https://ollama.com/library/deepseek-r1
Скоро эти нейронки начнут работать на смартфонах таким темпом👍
Они уже работают в новых айфонах и самсунгах (может ещё где-то, но не следил)
Разве там не серверные ?
Последние модели телефонов имеют ускорители для локальных моделей. Не уровня 1о, конечно
Но вопрос не в том, что имеют ускорители, а в том, что большая часть обработки вроде северная пока.
Говорю как юзер пикселя
На айфоне есть MLC Chat, пользуюсь уже около года еще до выхода последнего айфона с продвинутым процом работало. Все модели полностью локальные, загружаются только сами веса.
А как это работает в новых пикселях? Я как раз присматриваюсь к ним. Как увидел что в девятом три гига оперативки зарезервировано под ии - принял это как аргумент за восьмой, потому что памяти пользователю остаётся столько же, а умещать полезную модель в три гига кажется ещё не научились. Или какие-то этапы обработки запроса правда разумно выполнять локально?
NPU в телефонах года с 2018го, а то и раньше появился
И батареи будет хватать на целых 4 часа.
Вот до 100 гигов и было бы совсем идеально,
Исследователи из Unsloth сжали DeepSeek R1 на 80% от оригинального размера