Comments 16
Сборка ПК для машинного обучения: выбор между производительностью и бюджетом
Как собрать мощный компьютер для машинного обучения и не разориться? В этой статье я рассказываю о своем опыте выбора комплектующих, включая сравнение RTX 3090 Ti и RTX 4090, баланс между производительностью и стоимостью.
И где тут сравнение кроме цены?
А посравнивать есть что, например
GPU: (1x3090 vs 2x3090) vs 4x4060 (pci-e 4.0 birufcation x4x4x4x) vs 1xRTX8000 (всё бу, разумеется)
CPU: Ryzen vs Tridriper vs core i9 vs пара старых ксеонов
ОЗУ: масса нюансов, начиная от соотношения частоты памяти и шины ryzen (нужно 6000MTh чтобы частота памяти совпала с частотой внутреней шины ryzen и получить сущесвенный прирост производительности),...
NVME - когда важна скорость чтения, например, для быстрой загрузки и смены llm-моделей в GPU, сейчас доступны nvme дающие аж 8ГБ/сек скорость чтения.
Под катом
Странно, что не озвучивается потребляемая мощность видюхи и требования по блоку питания, охлаждению.
ИМХО, лучше брать менее требовательную к блоку питания и охлаждению обычную RTX 3090, у которой энергопотребление (TDP) 350Вт.
RTX 3090 Ti - обгоняет обычную RTX 3090 на какие-то жалкие проценты, которые будут незаметны в обычной жизни (если не "теребонькать на попугаев"), при этом этот обгон не даётся просто так, энергопотребление уже 450Вт.
А значит и сама RTX 3090 Ti дороже, и блок питания возможно понадобится дороже, и корпус понадобится с лучшей продуваемостью, а значит тоже дороже.
И всё это ради того, чтобы эпоха обучения длилась всего лишь на 5% быстрее?
не все так просто. 3090 не-Ti не имеет охлаждения памяти на обратной стороне, так что половина памяти охлаждается "на авось", что не есть гут. У тишки-же модули в 2 раза более емкие, так что на обратной стороне охлаждение вообще не потребовалось.
Выбрав 3090Ti вместо 4090 автор конечно слегка поторопился. Если целью была экономия средств - стоило более тщательно планировать бюджет, если кроме нейро - ничего не интересует, предпочтительнее было все же собрать 4090 в более бюджетной "обвязке", по актуальности она протянет намного дольше 3090, а вместо пафосных ССД и прочих рязаней на максималках можно было сойтись на "и вашим и нашим". А так - сплошные "бренды" с переплатой за понты и вышли "как половина 4090".
Хозяин-барин конечно, но если цена не на последнем месте - нафиг тогда нужны были эти пафосные "би-квайеты" и водянки?
Вобщем сборка вышла больше "кричащая о себе" нежели "способная в дело".
За такие деньги можно было и лучше.
Видеокарта
MSI GeForce RTX 3090 Ti Gaming X Trio 24G 80 000 руб
А это тоже самое?
Чудес не бывает - за такие деньги она приедет или до смерти уработанная и после двух реболлов, или вообще 750ти (а то и что постарше), перешитая, чтобы определяться как что-то другое. И перед покупкой тесты не погоняешь, в отличие от.
Вполне возможно, как и покупка в РФ.
Но из своего опыта ( примерно лет 10 покупаю на алиэ... и алиб... ) могу сказать , что в случаях подделок проверял, выявлял и деньги возвращали во всех случаях, хотя случаев таких было мало.
А как например проверить в данном случае? И то что не перепаянная и не перепрошитая? Есть какой-то надежный алгоритм? Или все визуально проверяется?
Это устройство не покупал. GeForce RTX 3090 Ti — это видеокарта. Подобные устройства проверяются выполнением тестовых задач. Результаты тестов и являются доказательством подделки, либо неисправности.
https://benchmark.best/ru/gamebase.html?gpupage=GeForce_RTX_3090_Ti&gametab=fps
https://gpu.userbenchmark.com/SpeedTest/1818101/NVIDIA-GeForce-RTX-3090-Ti
Хорошо бы чтоб место осталось для второй 3090))) мне кажется рано или поздно захочется вторую поставить)
А как же видюхи заточенные под работу с big data?
Например серия Nvidia Tesla, там 24гб за 15₽
Отлично, ждем продолжения. Интересны настройки и показатели по времени файнтюнинга и инференса разных моделей на таком железе.
Раз тут знатоки собрались - какие есть варианты для еще большей памяти?
На 3090 c 24GB не влезает Flux-dev ибо 22ГБ вместе с остальной обвязкой (текстовые энкодеры и т.п.). Т.е. перед каждой генерации модель с диска заказчивается в память, и только потом быстренько генерит. Из-за такого эффекта с flux1-dev-bnb-nf4 (11ГБ) получается раза в три быстрее (не из-за итераций в секунду, а из-за отсутствия загрузки модели каждый раз).
Есть что-то для AI (LLM, SD) хотя бы на 32ГБ (про профессиональный за $10K+ я в курсе, но нет)?
Я слышал про RTX 4090D с 48GB, 4080 Super с 32GB, но в РФ не видел. И по описаниям там какие-то жуткие перепайки, чуть ли не новое устройство, собранное из кусков других.
One more ПК для Machine Learning по цене RTX4090