Comments 43
С этими p102-100 невезуха какая то с драйверами. Знакомый купил ее для майнинга - еще когда там какой-то выхлоп был, перепрошитая она была на 10gb. А он только под линуксом работает. Полгода он дрова под нее подбирал - не завелась. Я взял у него на время - поставил под вин10, и даже мелкая llm какая то запустилась. То есть реальные 10gb там были и скорость неплохая такая. Отдал я ему обратно эту карту. Прошло три года. Он мне и говорит - а забирай, может что сделаешь с ней. Ну я ее воткнул, систему с нуля (вин10) накатил, давай искать дрова, нашел целую кучу дров но половина не подходят, половина ставятся и даже карту видят, но cuda не пахает, приложухи ее не видят. Столько танцев с бубном было, и без толку. Вот и вопрос - три года назад то у меня она завелась на этом же компе...
Завидую людям которые в этом разбираются и у которых хватает сил и нервов на все эти танцы с бубнами))
Я вот думаю имеет ли смысл купить RTX 4060 Ti (16 GB VRAM) - ее мне советуют сразу все чатботы, с учетом ограничений по бюджету и далеко не новой конфигурации компа (которая впрочем меня устраивает во всём, кроме отсутствия возможности экспериментов с локальными нейросетями).
Не претендую на мега опыт, просто решил поделиться. Я люблю поиграть в различные игры, и тут попалась мне игрушка на llm. Что то типа динамически генерируемой визуальной навеллы. Так вот, моя 5070 ti тянет ее, но не достаточно быстро. На gemma 4 31 уже памяти не хватает. Так я отрыл у себя старенькую 2070 super и воткнул рядом с 5070 ti. Терерь работает вполне нормально, но контекста хочется побольше. Отрыл на брахолке Radeon VII, поставил. Теперь 32 гб памяти общей и работает вроде хорошо (около 14 т.с. но еще обстоятельно не тестил, только поставил). Единственное, для игры пока не смог использовать. Там двишок выбирает для генерации картинок карту с большим объемом памяти, потому переключается на radeon. А она в этом слабовата.
Вот... с одной стороны интересно, а с другой покупать недешевую и строго говоря не самую новую вещь ради неполноценной работы не хочется. Пока бесплатных нейронок вроде хватает (почти). И очевидный критерий здесь - работа локально должна быть объективно лучше (ну хотя-бы не хуже). А что-то мне кажется что она вряд ли будет лучше. Хотя не знаю.. было бы интересно ознакомиться не только с количеством токенов в секунду, но и с их качеством - одинаковый промпт и сравнение результатов локальных нейронок и бесплатных чатботов.
Еще аспект - а что, если захочется вместо компа ноутбук, куда я воткну эту карту? Сейчас вроде появляются концепты, когда карточка, память и процессор на одном чипе, и по идее такая штучка была бы в самый раз - коробочка с отдельным питанием, которую можно подключить куда угодно. Но когда еще они станут мейнстримом, и сколько будут стоить???
Я для себя разнес генерацию и собственно работу (игры). LLM крутятся на отдельном компе. Сам себе провайдер. Можно взять старый ноут, поставить на него Lm Studio, у них завезли интересную фичу - lm link, по сути студия делает вид что это ты у себя на компе (слабом) нейронки большие загружаешь и с ними работаешь. Ну а так и без этого - типовые api, которые можно прокинуть хоть в игру хоть в vs code, куда угодно. Обновился, рестартанул, а сервер крутится постоянно, есть-кушать не просит, ну единственное ограничение у него пока только одна карта 3060, много генерации на cpu переносится, но если поиграться с настройками - 7ток\сек удавалось получать из свежей gemma4-26b. Не знаю кому как, а мне хватает. И поспрошать, и программы пописать, и развлечься, что же до программ, это такая возможность отложенного кодинга, через питонический скрипт накидал ей задач и оно потом гудит и выдает на-гора в полностью автоматическом режиме.
А ту p102-100 я вообще специально под whisper хотел ну и ace-step, TTS всякие, где врама много не нужно, отдельный сервер. И тут такая беда.
Качество LLM можно оценить запустив три gemma на обычном пк или ноутбуке. 4b 12b и та, что в статье 26b должны пойти но любом пк с 32 гб озу (или 16 гб озу+ видеокарта).
С чего это будет не хуже? Локальные модели LLM, которые можно запустить на домашних ПК, сильно отстают от тех, которые хостятся на мощных серверах. Нужно минимум гигабайт 300 видеопамяти, чтобы хотя бы сравниться с уровнем DeepSeek.
Не встречал сборок, где работают сразу amd и nvidia. а какая материнка у вас? на третьем слоте сколько там линий PCI-e?
Чем больше памяти тем лучше. 4060 ничего особо не даст.
на сайте https://whatmodelscanirun.com/ можно вбить любую GPU. сразу покажет какие модели с какой скоростью будут работать. при разных контекстах
Через cpu-moe вполне заведется qwen3.6-35b. Даже около 50 т/с наверное получите. Но время первого токена будет большим - то есть всякие opencode будут болью, а чатики приемлимо. Добавка еще видеокарты, чтобы модель влезала добавит т/с слегка (у меня с 60 до 80 выросло, после добавки к 5060 ти 16гб серверной tesla 10 16 гб), но время первого токена упадет на порядок и больше.
Но на 16гб уже gpt-oss-20b влезает. Какие у васзадачи к ии?
Так того же ChatGPT и спроси! :)
Считается в 4 поколении , можно брать 4080 и 4090 в остальных с обрезкой псп несколько переусердствовали. Да и 16гб не слишком много, мысль взять две таких и даунклокнуть по гпу не тронув видеопамять была бы ближе, следующий осмысленный шаг V100 SXM2 на переходнике pcie с сжо , имхо.
А сколько это чудо электричества потребляет? Не дешевле будет подписку купить?
Хм... А это работает на видеокартах с одинаковым объёмом видеопамяти?.. Или можно "найти в ящике" пачку карт с разным объёмом (ну ладно, не будем микшировать Nvidia и AMD) и задействовать их все? Нюансы по настройке есть какие-нибудь?
Три p106-100 по 6 гб дают на gemma 26b 18-20 т/с
Две p106-100 и одна p104-100 на 8 гб дают те же 18-20т/с
3×106+ 1×104 дают тоже 18-20 т/с но контекст можно использовать большой.
Это мои результаты на майнинговой материнке. На игровых материнках результат будет лучше.
Сделайте замер ttft (time to first token) и скорости обработки промпта. Как только вся модель уйдет на gpu выигрышь будет значительным.
У меня даже на оптимизированном под cpu/gpu форке ik_llama.cpp разница в ttft сейчас в 2 раза, а скорость обработки промпта в 3 раза. До оптимизаций была до 5-10 раз (надо отметить, что за последние два месяца явно серьезно в архитектуре cpu/gpu поработали что в ikllama, что в llama).
Да, я в курсе. У меня на 1×p106 время обрвботки запроса около 90 секунд. А когда модель полностью умещается в видеокарты становится 1,5 сек.
90 с это что-то запредельное. Судя по всему начинает играть роль скорость cpu и, очень вероятно, крайне низкая скорость pci-e (я конкретно про вашу вк не помню, но на майнинговых обычно pcie 1 и всего лишь x1, в лучшем случае x4. Кстати на части майнинговых карт получается сделать x16 элементарными доработками.
Кстати, тем более надо смотреть в сторону ik_llama.cpp. Там как раз максимальная оптимизация именно по обмену cpu/gpu.
Конкретно в моем случае проще купить игровую материнку, чтобы поднять скорость генерации с 20 до 40 примерно.
Но в более крупных LLM от 50В параметров
оптимизация пригодится наверное.
Ну не сильно верьте тому, что вам гугловский ии показал (если уж совсем честно - тут полная ерунда написана). ik_llama вполне стабильный форк. У меня пока небольшие проблемы были только с моделями apex, но там как раз очень не стандартное квантование. И с 610 драйвером nvidia на моей системе глюков хватило, но и классическая llama с ним не подружилась (думаю и надстройки над llama, такие как ollama и lmstudio тоже имели бы проблемы). Все стандратные модели как раз неплохо пашут.
Еще дополню. Игровая материнка вас совсем не спасет:
Вы ограничены шиной майнинговых видеокарт. Это всего лишь древний pcie 1. И линий в лучшем случае 4 от видеокарты. Потенциально можно количество линий увеличить, распаяв их, но pcie v1 останется.
На игровых материнках ограничено количество линий pcie. Их просто в игровом процессоре 20 штук всего обычно.
Как вариант можно смотреть серверные решения или решения для рабочих станций. Но это реально дорого или компромисс, как у меня - lga2011v3+xeon (я взял asus x99a-a + xeon 2690v4, линий pcieот процессора много, но pcie все равно не сильно современный). Хотя такой компромисс под майнинговые вк с апгрейженной шиной вполне вариант. В любом случае вряд ли прирост будет с 20 до 40 т/с, если 30 т/с - это уже очень круто будет.
Там в третьей сслке cmp50+cmp90 подключено к игровой материнке и дают 55 т/с . Некоторые малеринки позволяют третью майнинговую gpu воткнуть. Еще парочку можно подключить через переходники к м2 как во второй ссылке.
Рабочие станции тоже прикольно. Но qwen122b они все равно нк потянут на майнинговых картах. А для qwen35b достаточно игровой материнки
Ну там тест gpt-oss. И в то же время низкие цифры на маленьких моделях. Я все-таки про qwen3.6. Впрочем там тоже нет цифр ttft. Я читал ту статью и общее впечатление - часто странное поведение в плане производительности. Я все равно не понимаю вашей надежды на игровую материнку. Вы pcie распаяли?
Не распаивал. У меня ж майнинговая материнка. Там одна линия на каждый слот. Нет смысла карты распаивать.
Нужно конечно побольше примеров работы майнинговах видеокарт в игровых материнках. Пока только одну статью эту статью на хабре видел. Если еще попадется-скину сюда.
Игровые материнки бывают х16+х8+х1+х1
Х16+х8+х4+х1 линий pci-e
В статье видимо материнка первого типа. Там только 2 майнинговые gpu нормально работают. Третья gpu начинает тормозить всю систему из-за низкой скорости передачи данных по х1
Только в реальности начинается упор в количество реальных линий pcie в процессоре. Типично это 20-24 для десктоп процессора. Часть сразу уходит в чипсет и nvme ssd. соответственно х16+х8 в реальности работают как х8+х8, а иногда как х8+х4. Уход на серверные решения дает сразу больше линий pcie: даже у моего старинного 2690v4 их уже 40 штук, то есть вполне рабочая схема x16+x16 или x16+x8+x8 (бюджет если что у меня получился 12000 рублей процессор+мать, хоть и б/у, но приличная asus x99a-ii). А у более серьезных-современных серверных процессоров и 64 линии бывает легко. Помимо этого на более современных серверных решениях потенциально появляется возможность сделать tensor-split не layer, а graph (в layer у нас обработка размазанной по вк модели идет последовательно, а в graph параллельно)
Вот пример еще сборки на майнинговых картах с более 1 линии pci-e на материнке. Результат qwen35b 28-40т/с.
https://youtu.be/G9CxvVsr6Bw?si=fMSXcIg2XzJSCcCv
3×106+ 1×104 дают тоже 18-20 т/с но контекст можно использовать большой.
А "оно" как-то "искаропки" автоматичести раскладывает по видеокартам с учётом разного объёма видеопамяти, или просто распределяет так, как будто у всех карт видеопамяти как у самой маленькой из них?..
И/или нужно как-то тюнить запуск, чтобы занимал на каждой карте память по-разному исходя из её количества там?
Хм. И все-таки какая цена, просто чтобы самому не искать?
Хотел еще добавить что у меня на 3070 8 гб gemma4 до 30 т/с выдает. Часть соответственно тоже ложится на озу, проц довольно мощный, может поэтому быстрее чем у вас... И обратил внимание что если разогнать озу то и токенов больше (что логично)
И еще кое-что. Рекомендую все же llamacpp. Я могу скинуть свои параметры запуска, если интересно. Думаю будет у вас быстрее работать. Важный параметр cmoe насколько я помню. Экспериментировал с ними и это раьотало отлично. При том что контекст в 65к
Майнинговые материнки на авито продаются от 500р. Конкретно как у меня от 1500р. За 3-4 т можно с процем. ОЗУ минимум 8 гб еще 1000руб.
Блок питания+корпус 2-10т руб.
Видеокарты по 1000-2000 руб.
Итого в 15 тыс можно уложиться. У меня подороже вышло. Я года три назад все покупал. Цены выше были.
У меня 20т/с ограничение из-за майнинговой материнки. В третьей ссылке из статьи две майнинговые карты дают 50т/с на игровой материнке в gemma26b
Посмотрите ik_llama.cpp. Специально оптимизированный под moe и гибридные архитектуры cpu/gpu форк llama.cpp. Реально заметный прирост.
Ещё одно достоинство форка - меньше тратит память. У меня получалось оставить 17 слоев экспертов на cpu и kv-кэш 262144 запихать в 16гб (кэш естественно со сжатием q8_0).
Когда буду загружать qwen122b или gpt120b обязательно попробую. Сейчас нравится использовать не оптимизированные, но удобные приложения.
На самом деле того стоит. Навайбкодить каким-нибудь дипсиком скрипт, который будет llama.cpp настраивать недолго.
Плюс есть уже готовые web-интерфейсы для удобного управления llama.cpp. Я не пользуюсь, у меня сейчас самодельный интерактивный скрипт на питоне позволяющий быстро настроить и запустить модель через llama/ik_llama. Как отлажу (остались некоторые баги), наверное статью выпущу
Тут способ ускорения майнинговых карт cmp50 cmp70 и cmp90, подключенных по одной линии pci-e с 24 до 55 т/с https://youtu.be/1wMfvz7Lvzg?si=2G-K6uI-Mv8zjpnT
Модели с MoE-экспертами ломают парадигму GPU-маньяков. Покажу и свою PC-ьку для замера.
У меня на Xeon E3-1225v5 32 Gb DDR4 2133 RAM (двухканал) в максимальном качестве от Qwen3.6-35B-A3B-APEX-MTP-I-Balanced выдает 10 токенов на старте и 25 токенов промт... Чисто на процессоре через llama-server... Для промта до 32000 юзабельно вполне, к концу падает до 4.5 токенов генерации... Но токен токену рознь, и у меня токены дают примерно в 1.7 раза больше профита на токен из за модели с предугадыванием. Поэтому 4.5 токена моих это как 7.5 токенов обычных. Эта модель, заметно умнее стандартной Q8 от Unsloth, и быстрее, и что интересно немного меньше размером... Почитайте об авторе.
И на кой хрен я должен покупать топовую карту на 12 гигов ценой в 3 таких десятилетних начального уровня сервера, чтобы повысить скорость с вполне юзабельных для CPU 10 до жалких (по меркам вложений в GPU) 20-25 токенов? Подождем когда еще оптимизируют, год-полтора, и возможно что уже на 20 летних компах летать начнет. LLM наконец то пошли по пути экономии ресурсов и выжимания максимума из железа, а не бездумного расширения пузыря... И это только только начались такие подвижки, и Qwen3.6-35B-A3B как истинный заслуженный хит тому подтверждение. Есть и gemma-4-26B-A4B и некоторые другие MoE, так что процесс пошел.
В крайнем случае можно вложиться в недорогую старую карточку RX5xx серии, ровесницу сервера, на 4-6 гига, куда влезуют все эксперты этой модели, и получить х1.5-1.6 прирост за четверть цены сервера. Чтобы кардинально получить кратный прирост >100 токенов, нужна карточка от 32Гб чтобы запихнуть туда всю модель, а не 8-12-16-24 Гб, а это уже космос для обычного юзера...
Запускаем LLM локально на майнинг ферме из 4 GPU