Comments 24
Здравствуйте, хотел бы вопрос задать по этой теме. Я еще совсем новичок, возможно, вопрос некорректен.
Я знаю, что существуют удаленные решения. Возможно ли обучить подобное на удаленных решениях и будет это дешевле, если использовать это не так часто, скажем 2-3 в месяц?
в перспективе это будет всегда дороже, чем иметь своё
Другой момент, что при таком профиле нагрузки своя сборка окупится через год-полтора, а денег требует уже сейчас.
Вот, к примеру, один из вариантов с посуточной арендой:
https://selectel.ru/services/gpu/?section=dedicated
Вообще, я вижу как перспективное направление совместное владение серверами в будущем. Как сейчас яхтами и домами выходного дня можно совместно владеть
Мы используем AWS Batch с GPU-серверами. Платим поминутно, тк для задачи создается виртуалка, а потом сразу грохается. Из хорошего: можно параллельно поднять 20 машин, если пришло много запросов. Из плохого: временные затраты на поднятие виртуалок, закачивание на них докер-образа (а для ML они все по 4-6Гб) и запуск этого образа.
Если вы хотите обучить что-то готовое, которое точно заработает, то удаленные решения подходят. Если проводить эксперименты с архитектурами и вообще учиться ML, то запускать/останавливать несколько раз в день (что бы не капали деньги, пока дописываешь код) менее удобно.
К слову, для экспериментов сборка в статье менее удобна, чем один быстрый проц и одна более быстрая видеокарта, т.к. запуск кода на двух GPU во многих случаях связан с дополнительными усилиями.
Во-первых хотелось восьми канальную память и серверный чипсет, на однопроцессорных платах Китайцы часто его от декстопа лепят.
Во вторых много разъемов pci-e и nvme, с большим количеством выделенных на них линий, потому что часть слотов относиться к первому процессору, а часть ко второму. Есть планы добавить еще карт и накопителей.
не раз встречалось упоминание, в том числе на хабре, что L3 кеш процессорных в многопроцессорных сборках общий. а это наверняка просадки производительности.
у msi нахваливают систему охлаждения у моделей gaming x и разрыв цены с Ventus не такой большой. почему конкретно был выбран Ventus?
какие процессоры вы рассматривали к покупке под сокет?
До этого была однопроцессорная сборка с e5-2678v3, в сравнении с ней замелил только явный прирост без просадок.
Одна карта уже была и к ней была куплена вторая такая же, в целом охлаждения им хватает больше 70 градусов не нагреваются.
Лучше брать e5v4, они существенно холоднее и немного быстрее по скорости на ядро, из недорогих Xeon e5-2650v4 за 2000 рублей вполне неплохой вариант.
если не путаю то avx-512 на v3 если задействуется то сразу на всех ядрах, на v4 процессоры умеют использовать только на нужных ядрах. задействуя avx-512 в не профильных вычислениях могут вызвать просадку. какие ещё тонкости существуют?(риторически)
прирост может быть вызван в частности за счёт памяти.
меньшая частота и меньшая пропускная способность памяти.
если проанализировать ситуацию то именно за счёт этого получается выжать большую производительность фактически на некоторых операциях.
и в брендовых материнках вроде доступен разгон памяти.
конкретна по видеокартам Ventus и gaming x то там интересно как покрывает и отводит тепло радиатор. на Ventus как и у др. производителей на этом сильно экономят.
e5v4 чем v3 больше кеша, доступна более быстрая память(более дорогая), оптимизирована использование avx-512, меньше TDP, больше ядер и меньшая частота на ядро.
они существенно холоднее и немного быстрее по скорости на ядро
холоднее то холоднее, но вот быстрее то в основном при малопоточной нагрузке
Для поиграться - сойдет, но покупать китайскую мать для решения на котором именно работать надо и получать нормальные результаты - ну такое себе. Не знаю что там на 2011v3 сейчас, но б/у supermicro для оригинального 2011 я года 4 назад на ебей взял баксов наверное за 250 вместе с процессорами.
Такое бешеное количество вентиляторов опять же абсолютно не нужно и еще не факт что хорошо влияет на охлаждение.
Тоже решил собрать, но на RTX 2060 12GB, не знаю насколько хорошая идея. Понятно, что разница по цене c RTX 3060 небольшая и архитектура прошлая. Но вроде тензорных ядер в 2 раза больше и материнская плата тоже все равно не поддерживает PCI-e 4. Посмотрим, купил пока одну штуку, может куплю еще одну из 3000 серии для сравнения.
Процессор собираюсь один серверный LGA 2066 и материнку 8 PCI-e слотов, дорого, но хочу с запасом, если другие видеокарты буду покупать. Для моих моделей 12 GB это много, хочу именно проводить опыты на нескольких видеокартах.
Простите за нубский вопрос, но вы не прикидывали водяное охлаждение насколько оно оправдано или вам не критичен шум поэтому вы даже не считали?
Я думаю водяное охлаждение это хорошая идея, под нагрузкой даже пара 3060 неплохо подогревает вышестоящие процессоры.
Особенно актуально оно будет если ставить пару горячих 3090, в не турбо исполнении.
В идеальном варианте конечно собрать общий контур водяного охлаждения для карт и процессоров, но это уже совсем не бюджетно.
Я собрал еще более антикризисный, на мамке T8D, все то же самое, только память DDR3, память куплена на сдачу. По тесту аиды тоже около 100Гб\сек выходит.
Были выбраны самые производительные процессоры под этот сокет 22 ядерные Xeon 2696v4 (аналог 2699v4)
Это хороший вопрос какой проц наиболее производительный на этом сокете, бродвеллы нещадно сбрасывают частоты, особенно топовые. В зависимости от задачи. В равномерной нагрузке на все ядра АНЛОКНУТЫЙ 2696v3 может его обойти (с учетом что ядер 18, а не 22)
Не упомянуто преимущество что все слоты x16 на мамке, они x16, и из коробки поддерживается разделение на x4+x4+x4+x4, то есть с пассивными адаптерами за $40 на плату можно воткнуть 20шт x4 NVME SSD, а многоядерные процы помогут собрать их в софтрейд
заменив процессоры на 12 ядерные Xeon e5-2650v4.
вредный совет, у него 105W всего, и он будет нещаднейше сбрасывать частоты
Анлокнутый 2678v3 однозначно лучше
Материнскую плату можно выбрать попроще с одним сокетом формата ATX
Надо только учитывать что большая часть этих односокетных плат не на c612 чипсете, а на том что китайцы в своем подвале с пола подобрали, b75 обычно. Покупать такое - верный способ обрести проблемы.
Забыл упомянуть, что на X99-F8D как и на X99-T8D vrm второго процессора, который рядом с панелью выводов без колхоза на нем охлаждения закипает с разблокированным Xeon E5 2678v3.
Это можно заметить по тому, что материнка выкручивает обороты cpu_fan на максимум, хотя температура самих CPU в пределах нормы, а также сбрасывает частоты процессора.
С разблокированными Xeon E5 2696v3 не помогает даже приколхоженый к vrm вентилятор.
Поэтому для 2х процессорных систем лучше Xeon E5v4. Да и к тому же Xeon E5 2696v4 быстрее, чем разблокированный Xeon E5 2696v3.
Была до этого сборка с X99-F8D и Xeon E5 2696v3.
vrm второго процессора, который рядом с панелью выводов без колхоза на нем охлаждения закипает с разблокированным Xeon E5 2678v3
Подобное есть, но не настолько критично чтобы закипало, хотя у меня применение машины это виртуализация, где постоянной нагрузки нет, однако даже когда я на нем рендерил, перегрева врм до сброса частот не наступало. Мелкие высокоскоростные кулерки считаю абсолютным злом, охлаждение врм осуществлялось 92мм вертушками на 1600 оборотов.
У супермикр в тауэр корпусах такое же наблюдается, тк там охлаждение питальника под продуваемый рэк заточено.
Модель плюс где больше слотов под диски и врм сверху расположен конечно интереснее выглядит, я задумался насчет апгрейда
Xeon E5 2696v4 быстрее, чем разблокированный Xeon E5 2696v3.
этот тезис надо иллюстрировать графиком макс частоты 2696v4 в различных задачах
https://www.youtube.com/watch?v=gmCSLu6sp5g
+20% в V-RAY - но по сути это преимущество за счет четырех доп ядер.
Сейчас, когда процы стоят одинаково, это впрочем уже вопрос предпочтений. Не так давно разница в цене была кратной.
ЗЫ. Вмварь в esxi8 задеприкейтила оба поколения, почему не рассказали, видимо "потому что надо как то продавать новые серверы")
у меня сейчас как раз разблокированный 2696v3 на F8, 512RAM (8*64) и 3090. под нагрузкой на проце в основном перегревается память, вплоть до отключения (хотя может быть и vrm тоже, не щупал).
спустя полтора года вы так же предпочитаете 2696v4 или чтото другое нашли?
Антикризисная workstation для ML с тестами на реальной задаче Text to Speech