Хабр Курсы для бэкендеров
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Бэкенд доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 21
Просто потому, что она не позволяет ни выбрать путь, куда устанавливать, ни путь, куда складывать скачанные модели. Все сваливается на диск C:\.
На всякий пожарный: теперь есть родная Llama для Windows - там есть настройки, куда сваливать модели. Прям в интерфейсе.
https://www.comss.ru/page.php?id=22437
а есть линк на официальный сорц этого поделия?
в целом идея выглядит как вроде и норм, а вроде и зачем оно вообще надо. нужно сравнить.
почему я думаю именно так? если уже юзать цпп, то зачем вообще апплеуха поверх, если ллама отдаёт локальный ендпоинт и свою вебморду.
надо смотреть по факту, что просто жрёт меньше ресурсов, таба стоковой лламы в браузере или эта апплеуха.
я почему что уверен что там опять электрон или webview2, что вызывает edge. получится что сам процесс вроде бы и не жрёт, но рядом с ним десяток edge процессов суммарно на две сотни метров. и тогда уже не понятно why would i need that если браузер типа брейва с одной табой или в режиме pwa будет есть те же двести метров
strata ista coder или iq3 gsq rco 27b от ista в студио.
в 16врамы модель, кв кеша 130к на квене вполне реально. гугли читай. кейворды дал.
если совсем изголятся то может как то сможешь фитнуть arex-2 от baijin, по бенчам это почти глм флеш.
и да, у вас скиттлс потёк в ласт трех обзацах жидким и слопом.
по факту 16гб это не минимальный минимум, а комфортный минимум на котором можно работать. просто рантайм и выбор моделей не оптимизировать.
А как вы считаете что лучше для личного локального использования: 16Гб видеокарта или 64Гб коробочка AMD Strix Halo? Коробочка безусловно дороже, но там и памяти больше, и это готовое изделие - не требуется модернизировать комп и ставить современную 10/11 винду которая меня раздражает, но если бы можно было для 5060Ti или аналогичной amd поставить драйвер на win7, то вот прямо сейчас купил бы - забавно, наверное это самая необычная причина отказа от покупки современной видеокарты, которую вы встречали:)
На AMD Strix Halo наверное можно поставить линукс без gui (что освободит ещё немного памяти для ИИ), и общаться с ней чисто по сети. С другой стороны все пишут что она медленнее. Насколько? Неужели настолько, что работать невозможно? Ну и конечно стоит в 3 раза дороже:( С учетом того что для меня это в любом случае чисто развлечение, жаба душит, ведь почти все можно делать и онлайн бесплатно.
так зачем винда если вы её не хотите? юзайте все с линукса, вам же проще будет по всех смыслах, изначально цпп и любой харнесс пишутся под никсы. в винду это попадает в виде прекомпилед бинарников для цпп, и рантайма bun для любого харнесса с tui. а на никсах вам это не нужно все.
И у 11 винды и у линукса есть свои достоинства и недостатки. Винда более привычна (вся куча портабельных программ, которая у меня за много лет накопилась, гарантированно запустится; нативная работа с ntfs, включая всякие ads). Зато линукс не устанавливает обновления без согласия юзера, не сливает телеметрию, его можно настроить на более олдскульный вид (к примеру chicago95), ну и более нативная работа с ИИ. Вообще идея - поставить wine и погонять хотя-бы основной софт, вдруг получится.
Для плотных моделей, которые помещаются в память обоих устройств, скорость генерации на Strix Halo будет примерно в 3,5–4,5 раза ниже, чем на RTX 5070 Ti, потому что упирается в пропускную способность памяти (210–230 ГБ/с против ~800+ ГБ/с).
Но это только для моделей, которые влезают в 16 ГБ VRAM с учётом KV-кэша. Если плотная модель больше 16 ГБ, то на TX 5070 Ti уйдёт в оффлоад и станет кратно медленнее.
Для чата ~20 ток/с на Strix Halo 9B Q8 — приемлемо. Для агента — уже для терпеливых.
Главный плюс Strix Halo — большой объём унифицированной памяти, который позволяет запускать крупные MoE. У MoE скорость зависит от активных параметров, а не от общего числа, поэтому большая MoE с небольшим числом активных экспертов может работать на Strix Halo с приемлемой скоростью, тогда как в 16 ГБ RTX 5070 Ti она просто не поместится.
что ты несёшь? зайди в поиск и напиши ncpumoe и нажми ентер. а потом поищи experts cache или hot experts cache.
мое модель отлично оффлоадится в рам. и если выгружать условно не 20 первых экспертов из 40, а выгружать только наиболее редко используемые, то все отлично работает.
или как ты думаешь люди запускали 35б моё квен год назад на 8гб врам и получали почти 20тса?
и да твой комментарий написала нейронка. особенно палевно на приемлемо и для терпеливый.
На практике выбор почти всегда падает на модель поменьше, но с быстрым откликом, никто в здравом уме не станет ждать по полминуты ответ локального ассистента на простую правку метода
С коробочкой на 64 гигабайта получится запустить тяжелые MoE, которые на десктопной карте просто не влезут в память. Но генерация длинных ответов будет идти медленно из-за пропускной способности шины.
Вообще конечно тут надо отталкиваться от реального сценария использования сетки. Для автодополнения кода в IDE задержка критична, там нужна мгновенная реакция от видеокарты. А вот для вдумчивого анализа больших логов или документации объем памяти важнее скорости
коробка на 64гб юни памяти, конкурирует не с 16гб гпу, а с 16гб гпу + количество озу имеющиеся на машине. и в случае автора это 16 + 32.
так что сравнение должно идти по 64гб юни памяти и 48гб памяти, где одна треть в разы быстрее и две трети в разы медленнее.
на практике выйдет следующая картина на мое: генерация токенов на варианте с гпу будет зависеть не от шины, а от того сколько экспертов остаётся в озу, чем их меньше тем больше скорость. а в коробке вы упираетесь в шину.
мне ещё интересно что есть из так называемых тяжёлых моё моделей, что не влезет в 16 32 сетапа, кроме квен флеша. но кажется он и в коробку то прямо впритык зайдёт?
Мой Strix Halo выдает около 90 ток/с при работе qwen3.6-35B-A3B -Q4M+mtp с контекстом 256К. Отлично работает по плану, разработанному КлодКодом. Клод всё время хвалит qwen!))
Незнаю, как по мне, в статье все не верно, и собраны все шишки что возможны, и железо собрано криво с неправильными выводами, и модели какое-то барахло.
1) 3060 отлично работает и хватает на многое.
2) промашка с объёмом системной памяти, тут чем больше тем лучше, а 32гб это вообще минимум с чего можно стартовать, но лучше 48 и выше
3) локальные модели это ornith-1.5 9b минимум, далее гемма 4 26b, qwen 3.8 27b квантованная.
Все работают не ниже чем 15т.с нужно просто нормально настроить параметры в той же lm studio, но лучше всего qwen3.8-flash-next через strata она дает 45т/c.
А еще интересна разница между 16Гб картами NVIDIA и AMD для локального ИИ. Все-же разница в цене там существенная. Раньше писали что прямо обязательно нужна cuda, но так ли это сейчас?
5% разницы в токеногенерации в пользу куды.
Я люблю комфорт и деньги экономить:) Мне главное чтобы без шаманства и головной боли со всякими настройками и подбором софта, а там хоть 5 хоть 50% - пофиг:)
Тогда лучше облачные.
Есть хорошие бесплатные варианты (DeepSeek, например). Есть умеренно платные (Алиса Плюс за Р200 или ChatGPT за $20 в месяц). Если взять стоимость оборудования, прибавить стоимость электричества, то окупаемость своего комплекта составит так много лет, что морально оно устареет гораздо раньше.
И с настройками возиться не нужно - все доступно из браузера под любимой ОС.
вулкан используется в лламе как дефолт если не установлена куда, даже если это нвидиа карта. и вулкан работает и на красной и на зелёной карте, и под любой осью.
другое дело если вы юзаете nvfp кванты. тогда вам к нвидиа.
"""В статьях обычно пишут: «Для старта ставьте Ollama…» Поверил, поставил и сразу снес. Просто потому, что она не позволяет ни выбрать путь, куда устанавливать, ни путь, куда складывать скачанные модели. Все сваливается на диск C: """, читайте нормальные статьи, ollama отлично работает в другим диском
Если нет задачи таскать ноут по коворкингам, обычный системник в углу на линуксе без GUI вышел бы заметно дешевле. И проблем со сном по шине PCI-e там бы не возникло вовсе
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Локальная ИИшница: рецепт приготовления