Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Железо и гаджеты доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 171
После быстрого поиска в этих ваших eBay и Авито у меня сложилось впечатление, что речь там идет про 350-500 долларов, но уж никак не 150-200
На ozon от 10к ₽
Я на таобао брал, есть плюс минус по такой же цене на озоне и вб
Чат ГПТ говорит что Tesla P40 24 Gb вроде как нормальный вариант для старого сервера Интел (два Xeon 5600 2х6 ядер + 110 ГБ DDR3). Или есть лучше варианты? Цена довольно бюджетная
Расскажите как на таобао покупать пжлста
10к стоят 16 гигвые версии, за 32 гб цена будет в районе 50к
да, 40к на таобао. но нужно охлаждение и SXM2 адаптер на PCIe
про охлаждение я не просто так написал. там 300 Вт дури, это или большая воздушная система охлаждения (типа как у RTX4090, шумная и нужна медная площадка-переходник под крепление на рамку GPU) или водянка на 300 Вт. Если две карты - две водянки или кастомная.
ну и блок питания нужен киловатт+ (два Xeon 5600 2х6 ядер тоже прожорливые)
Модели развиваются очень быстро. Сегодня вы можете запускать квен 3.8, а завтра какой-нибудь квен 4.0 будет выдавать полтокена в минуту. И стенд становится бесполезным, а карты - никому не нужными
Не думаю.
Скорее оптимизируют большие модели для запуска на домашних GPU (смотрите квантование LLM)
Для MoE моделей уже сделали:
квантование квантованием, а всякие flash attention на старых поколениях не поддерживаются... ну и будет идти условно как с Doom - на тесте на беременность запускаем, но в здравом уме кто так будет играть? тоже засматривался на p100, v100, но как будто в переплату за 5060 вложено как раз то время, что тратится на налаживание охлада и нервы вокруг этого всего. Не считаете?
в любом случае спасибо за опыт, было интересно
На v100 даже без flash attention всё очень неплохо работает.
Казалось бы уже прошла четверть 21 века, компьютеры, технологии, нейросети, хабр - авангард it-прогресса, а на деле всё то же сборище мифов древней греции, передаваемое из уст в уста. Ну вот же: раз, два. Дальше искать стало лень, а уверен есть ещё. Видеокарта это хардварный универсальный вычислитель, а все алгоритмы находятся в софте, как он написан так и будет считать. Устареть может только его вычислительная мощность, форм-фактор и всё. Во все эти легенды о неподдерживаемых квантованиях и прочих сугубо софтверных вещах я больше не верю, если не доказано ссылками что это так на самом деле. Впредь, пожалуйста подтверждайте утверждения, не превращая их в городские легенды.
Вольта физически не поддерживает аппаратное асинхронное копирование данных в shared memory (cp.async), которое появилось только в Ampere. Из-за этого все подобные порты под CC 7.0 - не более чем эмуляция с диким оверхедом по памяти. как я изначально сказал:
будет идти условно как с Doom - на тесте на беременность запускаем, но в здравом уме кто так будет играть?
вот спеки Ampere и Volta, или ссылки автора архитектур для вас не доказательства?
https://images.nvidia.com/content/volta-architecture/pdf/volta-architecture-whitepaper.pdf
Во все эти легенды о неподдерживаемых квантованиях
А пассаж про "неподдерживаемые квантования" вы вообще сами придумали и сами же бросились опровергать. Я ничего подобного не утверждал. без дословного цитирования такие выпады не несут достаточно объективности чтобы считаться серьёзными.
p.s. ваша вторая ссылка есть просто инструкция к первой, так что, сдаётся мне, не лень дальше искать было, а гипотеза просто резко обрела границы =)
пассаж про "неподдерживаемые квантования" вы вообще сами придумали
Не я, а другие адепты легенд, когда я задавал вопрос именно про V100 в смежной теме. И там же указано что другие кванты жрут х2 по памяти, что не подтвердилось при общении с владельцем такой карты.
5060 маловато будет и по объему VRAM и по шине данных.
я смотрел RTX5070Ti.
так вот, одна V100 на 32 Гб будет выгоднее, чем RTX5070Ti в плане работы с моделями типа qwen 3.8-27b и gemma 4 26b. Они полностью помещаются в VRAM (у RTX5070Ti чуть не хватает, нужно vram offloading делать, это снижает скорость работы.
Производительность и вычисления (FP32): RTX 5070 Ti достигает показателя 43,9 Тфлопс, что примерно в 2,8 раза превышает производительность V100 (15,7 Тфлопс).
По цене одна V100 на 32 Гб стоит примерно в три раза дешевле RTX5070Ti.
Вот тут есть жирный плюс двух V100 - их можно спарить в мост NVLink. там есть нюансы работы именно с NVLink, но в целом современные LLM и провайдеры умеют распределять VRAM. У RTX 40хх/50хх такую фичу выпилили
По поводу 5060. У 5060 3840 CUDA ядер, 120 тензорных ядер, всего 8 Гб VRAM, под совсем слабые и Flash модели) У Tesla V100 5120 CUDA ядер, 640 тензорных ядер, 16 Гб VRAM. Вполне нормально работают Qwen 3 (14B), Phi-4 (14B), Gemma 3 (12B). Про мост NVLink на пару Tesla V100 я уже говорил выше - это штатная функция. По цене - 5060 стоит как 4-5 штук Tesla V100. Если рассматривать 5060ti то разница еще ощутимее. Я для себя решил собирать сервер именно на Tesla V100, сначала две с NVLink, потом можно еще докупить и поставить.
спасибо! пища для размышлений
Вполне нормально работают Qwen 3 (14B), Phi-4 (14B), Gemma 3 (12B).
Контекст
Живу в тёплом климате (дневная температура всё еще под 30). Решил поиграться с нейронками. Киловаттная печка тянет за собой кондей, которые вместе тянут за собой инвертер и батарейку для СЭС. На рабочей станции стоит 3060Ti 8GB половину из которых выедает десктоп. По этому на десктопе нормально работают только совсем игрушечные 2B/4B модели.
Есть достаточно мощный и холодный домашний сервер. Но места в нём совсем мало.
Не совсем ожиданным решением стала ADA2000 16GB которая на 12B/14B моделях работает вполне сносно (в моём понимании), благо вся видеопамять полностью в распоряжении ollama, при этом совершенно холодная, бесшумная и влезла в ултракомпактный корпус (сама карта low profile). Суммарное потребление сервера выходит порядка 150Вт в пике. А т.к. кроме карты я не покупал абсолютно ничего, то вышло достаточно бюджетно.
хотя есть и минусы.
это потребляемая мощность (5060 вдвое меньше "жрет"), у 5060 сильно свежее архитектура (тензорные ядра 5th Gen with FP4/FP8), хотя не все очевидно, например, у V100 есть поддержка вычислений FP16/FP32).
вот потому и спрашиваю собственно, мне тоже совсем не все очевидно. вроде 5060 это архитектура на годы вперед, сегодня вот такую штуку показали - https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf грубо говоря стоит ждать новых способов квантования, с другой стороны отдавать x3-x4 за потребительскую карту ради только архитектуры-новизны и ещё и с низкой пропускной способностью... когда v100 p100 есть бу даже с гарантией прямо с цодов, nvlink, огромная п/с и огромная память.
в общем потому ваш материал важен не просто как "я сделал, и у меня действительно получилось", а потому что он реальная инструкция + реальный опыт, и есть над чем подумать, и есть пошагово что делать в случае выбора для себя этого варианта
p.s. я про Ti изначально говорил, всё интересное от 16 гб само собой, но сути это шибко по вопросам архитектур не меняет, для тех кто будет перечитывать топик позже
вроде 5060 это архитектура на годы вперед, сегодня вот такую штуку показали
я боюсь сейчас будут еще и еще дорожать, а бытовые карты "ужмут" с узкой шиной (как раньше было с шинами 64 и 128 бит) и медленной VRAM на 8 Гб.
Остальное оставят под ИИ с резким разрывом в цене.
Уже и сейчас такой разрыв в цене заметен на карты с 24 Гб VRAM
100%, туда и движемся.
вы меня заинтересовали. наверное есть смысл взять 5060 (лучше 5060 Ti) и сравнить с V100. вот прямо на одних и тех же моделях.
Учитывая, что я хотел в сервер помимо пары V100 поставить еще что-то, то вполне нормальный вариант. Модель будет загружаться в V100, а сами вычисления распределяться
было бы очень интересно почитать, если есть возможность. я буквально последние два месяца мечусь и не решаюсь что-то конкретное взять просто из за всех вышеизложенных мной сомнений - новое но дорого, или старое но крутое. хочется всех зайцев и не по цене однушки в подмосковье, конечно же, но выбирать приходиться из того что есть =)
ага, на p40 счас qwen 3.6 moe - 45-60 токенов, а и на 3.8 я перепрыгнуть не могу там совсем печальные 12-20 вроде.
Это не совсем так работает). Модели развиваются, да. Но развиваются они в основном посредством качественных изменений микро-архитектуры и поднятия "интеллектуальной плотности", то есть достижения эквивалентного результата с меньшими затратами на инференс.
Вот только не понимаю, почему за пустой кусок текстолита хотят 10 тыс.
Очевидно- есть спрос на модули SXM2, будет спрос и на текстолит-адаптеры.
Причем пару месяцев назад видел их по 700₽ а щас эти же уже под 5к+
Раз есть спрос, то надо провести реверс инжиниринг, заказать в том же Китае и продавать самому по 10к (если будут брать)
там многослойный кусок текстолита, международная доставка-страховка и 40% комиссии маркетплейса.
При этом современную материнку можно купить дешевле в которой всё тоже самое только кратно больше (кроме, разве что, комиссии).
всё тоже самое только кратно больше (кроме, разве что, комиссии)
Ничего подобного. В производстве материальных объектов есть куча нюансов из-за которых цена единицы сильно зависит от размера серии. Иногда разница достигает нескольких порядков.
Еще большее значение имеет посредник (таможня, доставка, продавец и обход законодательных ограничений) и само собой жадность... потенциальная возможность продавать дороже в 10 раз на выбранном рынке неиспользованной долго не остается.
Ничего подобного.
Чего ничего? В чем противоречие с моими словами?
сильно зависит от размера серии.
Ну есть майнинговые материнки тоже небольших тиражей. И они стоят дешевле 100 баксов при том что текстолита там больше чем в обычных раза в три.
Ну есть майнинговые материнки тоже небольших тиражей. И они стоят дешевле 100 баксов при том что текстолита там больше чем в обычных раза в три.
Я думаю во времена бума на майнинг они стоили сильно дороже. Но в 2026 это очень специфичное железо т.к. в основном там PCI-E x1(в лучшем случае x4) и слотов под оперативку, как правило тоже мало. Поэтому среди ИИ энтузиастов эти материнки не в почете.
Спасибо, интересно про такое почитать. Хоть у меня уже есть «домовой», но хочется помощнее и подешевле по цене для экспериментов. Хотелось бы более детальнее про железо (всё, включая водянку) и про ПО (сборки из исходников). Можно серию статей про поэтапную сборку системы для домашнего применения.
есть мысль взять еще одну V100 для тестов с eGPU адаптером.
вот такая приблуда есть с USB4, по идее должно работать. Если драйверы получится корректно настроить.
На Хабре были в мае-июне статьи про V100 с подробностями сборки, работы. Например
https://habr.com/ru/articles/1041610/
https://habr.com/ru/articles/1030918/
https://habr.com/ru/articles/1039198/
Пусть статья не несет новизны, но свежие комментарии почитать интересно. Лично меня больше интересует что можно делать на локальных LLM, они же тупые, единственное преимущество это приватность и возможность пощупать расцензурированные модели.
Вот кстати на комментарии обратил внимание. Вроде недавно 16 сентября была точно такая же статья про CMP https://habr.com/ru/articles/1082724/ а комментарии отличаются будто часть пользователей не видела статьи. К слову я тоже держу в компьютере майнинговую карту, но для графического\видео софта с ИИ.
актуальная тема. сами тоже думаем сделать небольшую сборку для офиса и выбираем. Заранее спасибо за более подробную про железо и софт. По вашему сценарию работы - какие задачи, сколько пользователей одновременно работает, как часто требуется вмешательство/контроль после запуска в рабочем режиме постоянного использования ?
мне интересно локальное обучение (условно чертежи-спецификации подсунуть, V100 умеет в обучение), и потом генерировать новое с соблюдением секъюрности.
работать можно из консоли - ресурсов от процессора требует не так много, в основном грузится в VRAM сама модель.
По поводу контроля - смотря какие задачи. У меня не все получается, например, локальная генерация в Blender слабовата (делает, но упрощенно), более простые задачи делает нормально. Можно подключить тот же автокад через LISP, либо другой CAD с поддержкой MСP
А неттопы на Ryzen AI Max+ 395 не более перспективные в этом плане?
Присоединяюсь к вопросу. У меня лично к покупке какого-бы то ни было б/у какое-то неприятие, а тут покупка достаточно дорогого б/у, да еще и возня с нестандартными драйверами, охлаждением и прочим. А коробочка Ryzen AI - все-же потенциально приобретение на будущее. Еще из плюсов - она портативна (буквально портативнее ноутбука) и вполне может быть использована просто как обычный ПК, а не только для ИИ. Из минусов - все говорят что нужна CUDA, и еще скорость доступа к памяти ниже. Про CUDA - ну я не знаю, почему этот вопрос до сих пор не решили, тем более сейчас в эпоху вайбкодинга. Как по мне так Тьюринг-полноты вычислителя должно быть достаточно, остальное - вопросы скорости работы. И вот тут вроде как действительно может быть медленнее чем видеокарта. Но наверное нужны отзывы от реальных владельцев, лучше них никто не скажет.
Немного упрощая, с LLM всё упирается в память. Объём определяет какую модель вы в принципе сможете запустить. А пропускная способность памяти определяет скорость работы.
Примеры:
RTX 5090: 32GB, 1800GB/s
Ryzen AI Max+ 395: 128GB, 250GB/s
Mac M3 Ultra: 512GB, 800GB/s
NVidia H200: 140GB, 4800GB/s
Здесь можно заметить что Ryzen AI Max+ очень медленный по сравнению с другими вариантами. Запустить на нём можно много чего, но оно будет еле ползать.
Ну и стоимость примерно растёт как O(объём*скорость).
Ещё есть интересный момент с тем как разработчики моделей принимают решение о том какого размера будет модель. Я думаю что они отталкиваются от целевого железа, на котором эту модель предполагается запускать. Qwen 27B не просто так имеет такой размер. Она в наиболее популярном квантовании Q4 как раз хорошо помещается в очень распространённый среди энтузиастов 32GB GPU, потому что это потолок, который можно получить на 1 GPU потребительского сегмента. Имея нестандартное количество памяти, может так получиться, что для вас просто нет подходящей модели, они будут или слишком маленькие, или наоборот слишком большие.
Ryzen AI работает весьма неспешно, но вполне приемлемо для личного использования. Gemma4-26 q8 дает инференс около 40 т/с. Его основной плюс - это возможность держать в памяти одновременно несколько моделей. CUDA нет, работает Vulcan.
Еще Intel Arc B60 (24Gb) - скорость примерно сопоставима с Ryzen AI. Но тихая и холодная.
Нет, там очень низкая скорость на всем, кроме МоЕшек.
Другой вопрос, что большинство современных моделей, то вариации moe
Конечно разница по скорости примерно в 3.5 раза в пользу V100. Зато не нужно ограничивать себя заквантованными моделями и остается хороший запас на контекст. Или, как сказали выше, можно параллельно запускать несколько моделей. И, что не мало важно, рабочая станция на Strix Halo потребляет 230 Ватт максимум.
У меня всего-лишь 370 ai, 64гб памяти, но не думаю что разница будет существенной с 395ым. Все очень упирается в медленный ddr5 и тот же qwen3.8 27b я еле-еле вытягиваю 15т/с и ниже по мере наполнения контекста. А свежих moe моделей нет.
Как-то немного, но минимально приемлимо. Это с mtp?
А moe-вариант qwen3.6-35b какую скорость показывает?
на 395 память в два раза быстрее, точнее каналов в два раза больше, разница была бы в 30 т/с. Добавляем MTP, получаем до 40-50т/с и контекст в 200к для мультиагентов. Уже не так плохо.
Не будет там таких цифр. Там на 60к уже меньше 20 т\с, на 200к оно вообще будет всю ночь думать - проверено на практике.
https://www.reddit.com/r/StrixHalo/comments/1vwm4p3/qwen38_27b_new_record_on_strix_halo_52_tokens_per/
за что купил, за то продал.
тестовое оно все
Для чата 15 т/с нормальный результат, я так быстро не читаю. Ну а для кодинга 27b/35b модели подходят не всем. Например, я попросил qwen3.8 35b написать FIFO на Verilog с заданными параметрами. Агент написал синтезируемый код и тестбенч, самостоятельно установил Icarus Verilog и несколько раз выполнил симуляцию, попутно внося изменения в проект, но в итоговом коде была пара фатальных багов, связанных с граничными условиями, из-за чего результат нельзя использовать без доработки.
При этом, Qwen 3.8 MAX смог сделать это в один промпт и к полученному коду я не смог придраться. Но это всего лишь обыкновенное синхронное FIFO, на более сложных задачах сыпятся даже флагманские модели
но в итоговом коде была пара фатальных багов, связанных с граничными условиями, из-за чего результат нельзя использовать без доработки.
а вы граничные условия в задаче указывали? По уму вы пропустили этап - тестирование, модель вполне должна разобраться со своей ошибкой самостоятельно.
p.s. для открытой! 27b модели выполнить такую задачу вообще то подвиг
Для FIFO граничные условия это вполне очевидные ситуации вроде чтения из пустого, запись в полное и т.д. Младшая модель это понимала, судя по рассуждениям, но наделала ошибок. Тестирование модель выполняла тоже сама, но в какой-то момент я понял, что мне проще самому всё исправить, т.к. казалось, что рассуждения ходят по кругу.
В любом случае, согласен, результаты впечатляют. Для каких-то рутинных, типовых задач это можно вполне успешно применять.
фактически весь devops на нее можно повесить, не уверен как она с конфигурацией специфичного железа, но linux/windows настроить/проставить софт она может без проблем, все что делают обычно эникеи и админы (мелкие скрипты автоматизации, службы, настройки, контроль зависимостей, поиск неисправностей в конфигах).
У меня AMD Ryzen AI 9 HX 470 c 96 Gb RAM и я вполне себе доволен 15-18 т/с в Qwen3.8-Flash-Next. Сама модель сейчас в топе и с лимитами клода стала у меня основным рабочим инструментом. Цена за все 1500 евро была полгода назад, очень доволен, что взял
Они были перспективны год назад, но год назад под них не было моделей. Сейчас модели есть под 200gb железо, это уже ryzen 495, но ценник не гуманный, выйдут вот-вот.
по неттопам - могу сравнить работу NPU от Ryzen и Intel.
пока предварительно - там разные задачи. NPU для экономии ресурсов и для работы в фоне с простыми задачами (например, фильтры в фотошопе при пакетной ИИ-обработке).
а тут все таки более серьезные вопросы)
Долго думал, стоит ли брать v100 в модификации корпуса rtx5090 - такие в среднем продают за 62 тысячи рублей. Взял. Никто не пишет прошумящие дроссели, они шумят практически у всех. По окладу нет проблем, но в api не можешь регулировать скорость вентиляторов - есть "ручной" спрятан за платой и можно крутить :) - шум в закрытом корпусе на уровне 35-40 дбм. Сейчас интересно смотрится PG199 - типа аналог A100 но только на 32гб, пишут что они стояли в автопилотах Теслы и обладают такой же скоростью как оригинальные A100 - но я не проверял, только видел, цены в среднем от 140 до 200 тысяч, в зависимости от наглости продавца - не рискнул.
По V100 в нагрузке, такая картина
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.178.04 Driver Version: 580.178.04 CUDA Version: 13.0 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 Tesla V100-SXM2-32GB Off | 00000000:03:00.0 Off | 0 |
| N/A 54C P0 248W / 300W | 31245MiB / 32768MiB | 96% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 2166 C ...local/lib/ollama/llama-server 31242MiB |
+-----------------------------------------------------------------------------------------+Делать даунвольт до 260 не рекомендую, ollama будто зависает и перезапускают модель в случаях когда используется более половины памяти, если выделено 300 ватт, то таких проблем не наблюдал. Облачные V100 кстати показывают 250 ватт - соответственно по моим тестам в долгую показывают результат qwen3.8:27b 20-22 t\s против локальной v100 28-30 t\s. Брать или нет, смотрите сами, также стоит подсчитать затраченное электричество - в зависимости от использования 20 долларовая подписка в определенных случаях будет смотреться привлекательнее.
2080 22Гб не рассматривали?
Я рассматривал. Одна такая вк не очень интересный вариант - 27b и 35b варианты qwen лезут только в экстремальных квантованиях и с ограничением контекста.
Очень интересный вариант две 2080 с мостиком nvlink. Получаем и прирост скорости относительно v100 32gb и нормальный cuda и работающий flash attention и нормальный охлад и запас памяти ощутимый для более точных квантований. Правда с драйверами есть нюансы, но вроде нормально решаемые.
прирост скорости относительно v100 32gb
Всё-таки они быстрее?
У меня варианты: купить V100 32 на PCI, или городить на 2 карты 2080, новый БП и всё такое.
Одна - дохловатая, но не убогая. Две просто - также дохловатые. Две с nvlink и отстроенной на tensor parallelizm системой - быстрые. Цифры получаются по тестам уровня 3090.
У меня сейчас в паре с 5060ти стоит tesla t10 - вариант 2080ти для geforce now - подрезана шина памяти до 256 бит, урезан тдп до 150 ватт, но памяти штатно 16 гб. На ии-задачах где-то на 10-15% медленнее 5060ти. Думаю 2080ти 22 гб должна показывать скорость на уровне 5060ти.
Нет. Смотрел именно в 32 гб, чтобы уместить. Купил только после того как погонял в облаке и посмотрел цены на аренду, очень сильно растут.
А можно информацию по префилу? Генерация это хорошо. Но она обычно в агентном режиме в сессии занимает буквально 1%, поэтому всегда более интересна скорость префила если в модель отправить контекста около 200к токенов
Хм, то есть всё это дело с четырьмя картами можно запихать в иммерсионную жидкость и помогать отапливать дом? А такие “домашние ИИ фермы” ещё в пулы не объединяются, чтобы напрокат мощности сдавать?
Анализируя кучу статей на Хабре по теме такой сборки и пытая Гемини гугла вопросами, пришёл к выводу, что сборка на v100 изжила своё из-за малой производительности для современных моделей и большой жадности перепродаванов всей обвязки на которой нужно поднимать эту сборку.
2 RTX 3090 по рентабельности и возможностям смотрятся куда более перспективнее. На них можно хотя бы обучать некоторые модели.
В какой-то другой статье высказали правильный на мой взгляд вывод: решения на tesla v100 - как входной билет на базе простых текстовых моделей. То есть, купил, попробовал, через 2 года выбросил, ибо запросы моделей и пользователей растут, а железо не молодеет.
Только 2 3090 сейчас стоят 240 тыс. Несколько месяцев назад когда стоили в 2 раза меньше то да.
по деньгам лучше 4x 5060ti 16gb (или более старые БУ 4060ti 16gb), они в разы дешевле но потребуют серверную материнку (у китайцев готовую железку под atx блок питания можно найти за 100-130т.р.)
p.s. кстати для маленьких моделей типа qwen3.8-27b широкая шина pcie не так уж и нужна, даже 1x более чем достаточно, если веса полностью в памяти и использовать layer разделение (хотя я пользуюсь tensor для 2x gpu и железки утилизируются на 100%, т.е. скорости pcie 4 хватает), а значит можно и десктопные материнки использовать.
по деньгам лучше 4x 5060ti 16gb
ни 50хх серия, ни 40хх серия не умеют объединяться мостом NVLink.
тут нужно смотреть что то уровня 3090 на 24 Gb VRAM, пару с мостом NVLink
Для LLM не нужен nvlink. Но шина на 5060 слишком убогая, чтобы всерьез рассматривать ее вместо v100
Через PCI-E будут объединяться. Надо чтобы MB поддерживала
Через PCI-E будут объединяться
там скорость обмена данных несколько ниже, чем NVLink
Медленнее, и что? У меня две RTX3090 вообще в PCIE v3.0 воткнуты, но это не мешает им в режиме tensor для максимально качественной квантованной модели qwen3.8-27b-q8_k_xl выдавать 1500 (550 при использованном контексте >220k) токен/сек промпт процессинга и 75 токен/сек генерации (50 токен/сек при использованном контексте >220k)
В правильно сконфигурированной локальной среде для ллм карты (почти) не обмениваются данными (0-10% прироста скорости). Карты делят между собой слои (--split-mode layer) и пересылают друг-другу activation tensor, а не перетасовывают слои между собой - это было бы неюзабельно. Исключение - какие-то комичные конфигурации типа двух карточек на одном x4 или что-то вроде того.
Для vllm/slang и прочих "вас много я одна" картина может меняться, но это не кейс для домашнего использования.
Конкретно 3090 могут быть исключением (130-170% от tensor вместо split), но с 3090 сами знаете какая ситуация, а более простые карты (серверная некрота с авито) nvlink не раскроют, поэтому тут не "карта уровня 3090 против аналогов", а "3090 против аналогов".
То есть, купил, попробовал, через 2 года выбросил, ибо запросы моделей и пользователей растут, а железо не молодеет.
ну не выбросил, а перепродал дальше, на вырученные деньги купил что то свежее.
2 RTX 3090
мне показывает цены 100+ за одну. А тут пара. Еще и комп соответствующий (БП, охлаждение). там тысяч 300 на круг.
с V100 можно уложиться в 100 тысяч.
на V100 тоже можно обучение делать
Не уложитесь вы в 100т. Одна 32гб стоит от 50тс (мифические 40 я не нашел), две - от 100. Прибавьте сюда затраты на охлад, а это пр-хорошему должны быть сжо + БП на 1000вт минимум. А если берёте 16гб версии, то там надо и материнку серверную докупать, чтобы минимум 3 штуки поставить. Если брать только 2 по 16гб, в этом смысла мало, туда влезут только модели либо с агрессивным квантованием, либо с маленьким контекстом (а для некоторых и то и другое придется делать). По моим опытным наблюдениям, 40гб - это минимум. Хотя в общем и целом, v100 все равно дешевле выйдут. Но тут вы не закладываете потенциальную поломку, карты все же старички, плюс их в хвост и гриву несколько лет жарили. Так что тут все сильно неоднозначно.
Насчет "жарили" это вечный спор. Есть мнение, что те которые жарятся, работают при постоянной температуре и не испытывают нагрузок термического расширения и сжатия точек пайки, как бытовые видеокарты.
Например мнение тут: Почему происходит отвал чипа на самом деле https://habr.com/ru/articles/371635/
А ещё не маловажная особенность свинца в том, что припои с его содержанием пластичны, но не текучи — небольшие механические напряжения приложенные к паяному соединению не приводят к растрескиванию или «съезду», а ведь механические напряжения будут всегда (кстати как давно у вас кристалл процессора отваливался от подложки?) проблема в том что подложка нагревается относительно равномерно, а вот плата к которой она припаяна нет — из-за этого плату начинает «пучить»
А у меня зато бесшумно. :)
На полке стоят 3 Dell Precision с NVIDIA RTX A5000, 16 GB и ещё несколько с RTX A2000, 4 GB.
Распознавание речи, генерации речи, Routing для домашнего AI Assistant, OCR, работает прекрасно на локальных машинах.
А остальные AI задачи через вызовы на Groq, OpenAI, Anthropic и китайских AI API хостеров.
тут выше писали, что альтернативой такому ПК может стать подписка за $20.
Спасибо за очевидность.
Активных подписок на AI API Services у меня свыше 10, но есть задачи на моделях, хостинг для которых онлайн найти сложно.
Не далее как сейчас тестирую классификацию документов на модели, которая экономит время и деньги, но пока не предлагается AI API провайдерами.
Кстати, и этот ответ надиктовал на локальном Whisper с последующей постобработкой другой моделью форматирования русскоязычного текста, потому что Whisper на русском языке зачастую лажает.
Да. Тема занятная. Но надо учитывать важный фактор — технологическое устаревание и прекращение поддержки этих карточек индустрией и софтом. Развиваются новые технологии в железе. Они используются в библиотеках и фреймворках, на которых строятся новые модели. Эти карточки не поддерживают новые технологии. Соответственно, постепенно поддержка этих старых карточек уходит из софта. Через лет 5 новые модели уже просто нельзя будет запустить на этих устаревших карточках. Либо можно будет, но с лютыми костылями и просадками в производительности. Но в итоге, со временем, и костыли перестанут работать. Поддержка этих видеокарт уходит и их популярность падает.
Эти видеокарты имеют смысл если вам не надо будет использовать самые последние модели. Помните про это.
Поддержка V* и P* прекратилась этим летом, последние драйвера 585, куда 13. Так что видеокарты ещё актуальны при цене 10-50 т.р.. Одна 3090 стоит дороже чем сборка на V100, а предлагает только 24 гб.
Существующий софт отлично работает на этих gpu, так что V100/P100 можно использовать как обычную видеокарту, а монитор подключить к материнке.
У V100 существовали две основные версии: PCIe и SXM2. Для домашней сборки логичнее смотреть именно на SXM2.
И чем это лучше заводской PCIe версии? Нужно возиться с недешёвыми адаптерами которые могут порезать шину. Сборка оказывается дороже чем монолитная карта. В чём же преимущество, если в итоге всё равно весь этот колхоз вставляется в тот же PCIe разъём?
Что-то у вас низкая скорость генерации, видимо без MTP запускаете?. У меня сервер тоже на 2-х V100 16Гб, с моделью qwen3.8 27b в квантовании Q5_K_M получается около 50 т/с (при генерации кода до 60 доходит). Обработка промпта в районе 600-700 т/с, вполне терпимо.
Вообще, очень доволен этими картами, даже заказал еще одну. Единственный минус - охлаждение. Я брал с турбинами сразу в напечатанных корпусах, под нагрузкой они шумят как самолет. Пришлось турбинки подключить через регуляторы напряжения XL4015E и уменьшить power limit карт до 150 Вт. В планах поменять на водяное охлаждение, чтобы избавиться от шума вообще.
А ведь помимо nVidia c CUDA есть ещё Radeon с Vulkan. И карточки, например, mi50 instinct на 16 и 32 ГБ или даже BC-250 со всеми разблокированными (ну, кому как повезёт) ядрами.
У V100 существовали две основные версии: PCIe и SXM2.
Три версии- забыли упомянуть SXM3- она вместо 12 вольт силового питания требует 48 вольт. Платы-переходники для SXM3 значительно дороже переходников под SXM2.
Я примерно по такой же логике несколько месяцев назад считал локальный сервер под LLM.
Для одного активного пользователя экономика обычно не сходится: API того же DeepSeek слишком дешёвый. Смысл появляется, когда такая машина работает не как персональный ПК, а как общий AI-узел на несколько человек и разные задачи.
Днём код и локальные модели для разработчиков, между запросами OCR, транскрибация, нормализация, ночью несрочные агентные задачи и пакетная обработка. Поставил задачу в очередь и лёг спать.
Как пример Ryzen AI Max+ 395 интересен сочетанием 128 ГБ общей памяти и 100–150 Вт потребления. За два года 24/7 это примерно 1,8-2,6 МВт/ч, тогда как старый сервер на 2-4 V100 легко съест 17-26 МВт/ч (за 2 года).
То есть только электричество такого V100-сервера за два года порядка 150-210 тыс. ₽ при 8 ₽/кВт/ч (за 2 года). А если ещё покупать сам сервер, карты, БП и охлаждение, по совокупным затратам уже можно приблизиться к двум современным машинам на Ryzen AI Max+ 395.
Поэтому старые Tesla имеют смысл прежде всего тогда, когда их практически бесплатно отдали из ДЦ вместе с инфраструктурой. Если всё покупать и собирать с нуля, компактная современная машина, расшаренная на несколько пользователей и задач, выглядит рациональнее.
Облачный API при этом я бы всё равно оставил для сложных и срочных запросов.
Почему была выбрана ollama? Она очень медленная, попробуйте вместо нее llama.cpp, если хотите бОльшую скорость
Никто не пишет, что покупка Tesla V100 - это лотерея с возможным печальным. Эти карты майнили и работали на серверах в режиме 24\7 по полной загрузке. У многих карт, даже может быть у большинства, уже началась деградация памяти HBM2 - их же не просто так вытаскивают из серверов. Наверняка у многих карт уже есть накопленные ошибки ECC, но ушлые китайцы научились обнулять ошибки ECC и приезжает она покупателю девственно чистой. А после небольших нагрузок появляются ошибки REG ECC и память HBM2 продолжает деградировать. Спросите у продавца проверку и тест карты - он вам покажет статичную картинку обнуленных ошибок. Даже если сейчас нет ошибок, то они появятся через день, неделю, месяц - просто загрузите в нужный момент модель для работы, а она выдаст ошибку. Так что, подумайте, нужен ли вам этот списанный хлам?
спрашивал статистику по V100 32 Гб. Пишут про 20% отказов (то есть каждая пятая умирает у пользователя). У меня есть предположение, что они собирают из дохлых полуживые методом перепайки памяти HBM2. У V100 32 Гб там модули с двух сторон
Как будто новое оборудование не может глючить и умирать на руках у пользователя. Хотя, конечно при этом на новое есть гарантия, да. Но стоит ли за гарантию платить х4 (а то и больше) от цены б/у? Да сдохнет, я лучше вторую такую же куплю, всё равно дешевле выйдет.
Разумеется для прода и тем более mission-critical такой подход неприемлем, но там и нет вопросов о б/у железе и ценники там совсем другие. Всё определяет цель использования.
Я тоже задался подобный вопросом и по итогу пришел к двум AMD RX 7900 XTX, работающих с llama.cpp. К этому я шел постепенно: изначально у меня была одна RX 6900 XT. Ее заменил на 7900 XTX. Показалось мало. Взял платформу для eGPU, подключив к ней 6900 XT через OcuLink (PCIe 4.0 x4). Показалось недостаточно - из-за x4 шины и в целом меньшей производительности у 6900 XTX основная 7900 XTX не могла раскрыть свой потенциал, т.к. ей приходилось ждать пока другая карта закончит свои вычисления. В этом случае приходилось перераспределять слои таким образом, чтобы они размещались преимущественно на 7900 XTX. Мне это тоже не понравилось, потому я взял вторую 7900 XTX. Хоть теперь обе карты были одинаковыми по производительности, но шина x4 давала о себе знать. Начал смотреть в сторону HEDT-процессоров, таких как Threadripper, у которых есть куча линий PCIe. Нашел на вторичке комплект AMD 3970x и мат. плату к нему. Ну и плюс блоки питания на 1.5+ кВт, т.к. видеокарты в исполнении от Sapphire на постоянной могут есть 400-500 Вт, а в пике "доедать" и до 700 Вт.
И вот смотрю я на то, сколько я потратил на всё это, и вижу, что +/- за эту же стоимость можно было взять готовое решение с 4-мя V100 по 32 Гб в sxm2 исполнении на воздушном охлаждении и внешним адаптером на PCIe. Но я пока так и не понял расстраиваться мне или нет. В той же Qwen3.8 с MTP и split-mode=tensor на prefill я получаю до 1200 t/s, на генерацию от 60-80 t/s. при больших контекстах там и до в среднем до 40 падает. Это при том, что карты работают в x16 + x8, т.к. первая карта закрывает собой второй слот с x16. Жду каркас и райзеры, чтобы эти карты разнести и подключить их в режиме x16 + x16.
С другой стороны, 48 Гб видеопамяти - это как-будто ни туда, ни сюда. Большинство моделей, что я вижу, обычно параметрами помещаются в одну видеокарту до 32 Гб, либо кол-во параметров уходит за 100 млрд, а это уже другие масштабы. Остается только радоваться увеличенному контексту да квантованию получше.
крайне интересно.
особенно про eGPU
Я тогда исходил из того, что у меня было под рукой. А под рукой у меня был Intel I9 10-го поколения с его 20 линиями. На мою мат. плату две видеокарты не влезли бы. К тому же, вторая из них работала бы по шине PCIe 3.0 x4 через чипсет. Думаю, было бы совсем грустно. А так я подключил док-станцию по OcuLink через переходник на M2 NVME. По итогу обе карты работали с процом напрямую.
sxm2 исполнении на воздушном охлаждении
в такой бюджет можно и "водянку" заложить.
будет потише))
С другой стороны, 48 Гб видеопамяти - это как-будто ни туда, ни сюда. Большинство моделей, что я вижу, обычно параметрами помещаются в одну видеокарту до 32 Гб, либо кол-во параметров уходит за 100 млрд, а это уже другие масштабы.
все так, только я решил с парой V100 на 16 Гб начать.
48 гигабайт VRAM сейчас - это самый оптимальный размер. Как раз 47 ГБ занимает на 2х картах модель Qwen3.8-27b-q8_k_xl с контекстом 262k, Vision и квантованием кэша q8_0.
Для тех, кто смотрит в сторону V100 и б/у железа, надо отметить, что карты Tesla работают толька на материнках, у которых в BIOS есть опция "Аbove 4G decoding".
Где об этом почитать подробнее?
Исходная ссылка не сохранилась, вроде находил где-то у Nvidia. Но сейчас об этом написано везде, например https://habr.com/ru/articles/984634/
Хорошая статья, спасибо! Но перейти на V100 она меня не сподвигла. Все таки карта старая, и может быть уже скоро уйдет из поддержки. Ну а потребление добивает радужную картинку. 300 ватт это перебор для домашней системы. Сам я изначально имел неплохой комп на АМ5, купленный еще до кризиса. Но в итоге перешел на 1700, именно на этом сокете я нашел материнку (единственную бытовую в линейке!!!) у которой полный набор pcie - 1 шт. 5.0 х16 и 4 шт. 4.0 х4. Один pcie 4.0 блокируется первой видяшкой, и его можно использовать только если все видяшки вынести на отдельное крепление + удлинители. В итоге я вынес 3ю видяшку на удлинитель и получилась отлично продуваемая система - открытый корпус. Итого 3 видяшки 16+16+12 = 44 гб. В основном работаю на 35В моделях. По моще 180+180+170 которые я еще уменьшаю командой до 150 ватт. БП 750 ватт не напрягается. И почти полная тишина при работе...
что за мать-то?
Опечатался про кол-во pcie - их всего 4 шт. (5.0 + 4.0), что дает возможность установки 4 карт на неплохой скорости - если конечно карты ставить на внешний кронштейн (ферму). Мать Асус Z790-P, все остальные модели материнок в этом ценовом диапазоне имели pcie версий 3 или 2, со скоростью x1.(мать брал с авито за 7к) Скорость pcie в основном влияет на префилл, модель быстрей "хавает" контекст, на декод влияние небольшое, если не работать в режиме тензор-параллель. Для 3 ускорителей по моему идеальный вариант - недорого, быстро. Если прижмет, можно и 4й ускоритель поставить, но придется поработать ручками + цена за 4 удлинителя pciе.
И в итоге у вас 3 видеокарты едят 450 Вт, правильно? Тогда как v100 андерволтят до потребления 260 Вт. А если на материнке всего 1 pice слот? Поверьте, я тоже хочу найти оптимум цена/производительность/память/минимум слотов и пока это v100. Как только будет что-то другое или посвежее, я думаю все такое захотят.
Тоже задумывался о своём серваке. У меня уже есть основа на Supermicro H12 SSL-i, AMD Epyc 7542, RAM 128Gb. Прошерстил reddit и Авито, пришёл к выводу, что две 3090 самый лучший вариант. Пока думал, они подорожали за 120К. Платить 120К за б/у с неизвестным прошлым не захотел. TeslaV100, P40, AMD MI50, MI100, ... - всё это уже не стоит вложений на мой взгляд.Пришёл к выводу, что надо вложить сотни тысяч, чтобы получить компромисный (so-so) во многом вариант. Решил, что подожду годик, всё таки должно что-то появиться доступное. А пока пользуюсь провайдерами.
хорошая статья! V100 - интересная карта, но редкая и все таки дорогая. за 100 баксов не найдешь их.
вариант с радеон ми50 тоже довольно интересный. но, требует еще более внимательного отношения к пайторчу, у меня работает на 6.2 версии.
Травоядная графомания нейрослопами. Автор обтекает вопрос скорости и в какой сервер пихать со звукоизоляцией. Ради 30 т/с вся эта возня? При том что дешевый опенроутер выдает 500 т/с в однопоточном режиме. Так возьмите старые 1080ti, 2060 12gb если хотите поиграться.
Ситуация 1: все накупили старья и радуются что буковки выползают на экран со скоростью подвальных БЭСМ
Ситуация 2: сложиться деньгами с друганами, знакомыми, коллегами и взять чтото нормальное в пять раз быстрее
10 руб/кватт 24 часа = 240 руб * 30 = 7200 руб. только на эл-во +- за всратые обрезанные модели которые кажутся какими то умными, хотя и открытые модели тупорылые!
Далее - Префил (prefill) — это самая первая стадия обработки запроса нейросетью, на которой модель читает и токенизирует весь входящий промпт (контекст), а также заполняет кэш (KV-cache) перед тем, как начать пошаговую генерацию ответа.
Соответственно саммаризация и префил на этом железе у вас будет самым слабейшим звеном не считая тупость моделей!
Совет: Например - GLM 5.3Flash подписка стоит ровно 7200 руб +- как свет!!!! 80$ не топчик, но учитывая что там токенов в этой подписке этой модели просто огромное! У меня круглосуточно агнеты впахивают в несколько тредов и хватает!
Ну и она уровня вашей локалки, в чем то получше конечно.
А если вы вместо железа купите подписку сразу на пару лет, то токенов будет на эти года просто завались! И мамка не наругает что дом захламил! )))
🚀 You’ve been invited to join the GLM Coding Plan! Enjoy full support for Claude Code, Cline, and 20+ top coding tools — starting at just $18/month. Subscribe now and grab the limited-time deal! 👉Join now: https://z.ai/subscribe?ic=AWM97LBJHV
10 руб/кватт 24 часа = 240 руб * 30 = 7200 руб. только на эл-во +- за всратые обрезанные модели которые кажутся какими то умными, хотя и открытые модели тупорылые!
да, сравнимо с подпиской.
вполне можно рассматривать в вопросах секьюрности или 18+ генераций
А нейронка будет жрать 24х7? Этож не майнинг.
Если не 24 на 7, то вообще нет смысла! Плюс сервак на холостом то же жрет больше 1000 в месяц просто так, то же можешь подписку купить. Сейчас Сяоми хорошая модель 2.6 вышла и цена 34 юаня в принципе на тесты мне хватило и еще не израсходовалась!!! Максимальный тариф вообще хз как его жечь надо, у меня 5.3 flash за 80 usd только начала доходить на весь лимит в кодинге, а еще сол 6 подешевел и грок 4.7 интересный по цене и сяоми про вроде могет, короче выбор шикарный. Читайте на дзене и в X нас. Работаем постоянно со всеми нейронками! Опыт есть. Локалка на 128 гб стоит 3.8 разные
А если вы вместо железа купите подписку сразу на пару лет, то токенов будет на эти года просто завались! И мамка не наругает что дом захламил! )))
А если завтра отключат интернет? Что вы сделаете с вашими подписками? Да чёрт с ними с подписками, чем вы будете пользоваться дальше, в принципе?
Кстати, может кто подскажет толкового продавца на авито, озоне или али. Как только начинаешь спрашивать у продавцов про ошибки ECC, так сразу все сливаются. Я одному продавцу на авито предложил приехать со своим компом для проверки - тоже слился. Какая то ерунда получается - все хотят продать, но никто не хочет проверки. А как покупать кота в мешке?
Господа за охлаждением к майнерам, я в свое время, хотя и до сих пор купаю асик в тарнсформаторном масле. есть решения и без масла специальные жижи, можно найти в инете их навалом. но масло то что было под руко
У меня получилось установить 2xTesla V100 32gb в отдельный корпус. Подключение к основному системному блоку с помощью кабелей SlimSAS 8i (SFF-8654) к плате Plx8749
Шумит не сильно даже под нагрузкой. Без нагрузки вообще не слышно, частота вентиляторов регулируется динамически.
Всё жду такие статьи с использованием разлоченной майнинговой CMP 170HX.
https://habr.com/ru/news/1060032/
Исследователь Jon Pry утверждает, что сумел обойти многие из упомянутых ограничений, в том числе разблокировал программно урезанную память.
Со своей стороны NVIDIA максимально усложнила задачу любителям модифицировать её продукты. Современные видеокарты защищены покруче, чем тюрьмы для особо опасных преступников
Так они дороже выходят даже при условии 64 GB VRAM, 160к-220к на авито за штуку, за эти деньги можно 3..4 V100 взять и получить 128 GB VRAM и запускать все "домашние" модели на максимальных параметрах и в нативном FP16, а некоторые и в FP32, которые V100 хавают лучше всего.
для V100 сть форк vLLM https://github.com/1CatAI/1Cat-vLLM
и вроде как поизучав и посмотрев видео всякие - оно единственное делает нормально tensor распараллеливание и раскрывает все возможности карты (llama.cpp/LM Studio и другие вроде как проигрывают в этом плане)
В llamacpp, tensor распараллеливание работает хорошо. Можно без vLLM.
Я устанавливал библиотеки nvidia nccl-dev и cuda12.9.
Сам llamacpp собирал командой
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES="70;86" -DGGML_CUDA_F16=ON -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA_FA_ALL_QUANTS=ON -DGGML_BACKEND_DL=ON -DGGML_RPC=ON -DGGML_CUDA_NCCL=ON -DGGML_CPU_ALL_VARIANTS=ON -DGGML_CUDA_FA_QUANTS=allПри запуске с параметром sm=tensor скорость генерации кода ~60-70 t/s
GGML_CUDA_P2P=1 ./llama-server --model /mnt/llm_data1/Qwen3.8-27B/Qwen3.8-27B-UD-Q8_K_XL.gguf --mmproj /mnt/llm_data1/Qwen3.8-27B/mmproj-F16.gguf --host 0.0.0.0 --threads 24 --top-p 0.95 --top-k 20 --temp 1.0 --min-p 0.00 --repeat-penalty 1.0 --ctx-size 262144 --fit off --gpu-layers all --gpu-layers-draft all --no-context-shift --jinja -fa 1 --image-min-tokens 1024 -sm layer -dev cuda0,cuda1 -ts 32,32 --reasoning-preserve --spec-type draft-mtp --spec-draft-n-max 2При запуске с параметром sm=layer скорость примерно 35-45 t/s
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Собираем домашний сервер для LLM дешевле RTX 3090: NVIDIA Tesla V100 SXM2 в 2026 году