История сборки «деревенского суперкомпьютера» из запчастей с eBay, Aliexpress и компьютерного магазина. Часть 3

    Доброго дня, хабровчане! Продолжу свою историю сборку «суперкомпьютера в деревне».

    Ссылка на 1 часть истории
    Ссылка на 2 часть истории

    Третью часть я начну с выражения искренней благодарности своим друзьям, которые поддерживали меня в трудную минуту, мотивировали, помогали деньгами спонсируя это достаточно дорогое дело на протяжении длительного времени и даже помогали с покупкой комплектующих из-за границы в случаях когда я не мог купить их на прямую сам. Например если фирма торгующая серверными запчастями в США или Канаде просто не слала в Россию. Без их долгой и регулярной помощи мои успехи были бы намного скромнее.

    Так-же благодаря их просьбам я решился и завел аккаунт на Youtube, купил старый смартфон Lumia 640 который я использую исключительно как видеокамеру и начал снимать познавательные видео, как про сборку «деревенского суперкомпьютера» так и про другие аспекты и проекты своей деревенской жизни.

    Плейлист «Деревенский суперкомпьютер»:


    Желающие спойлеров могут ознакомиться, хотя конечно делать это лучше в процессе прочтения моей истории или вовсе после.

    Вторая часть моего повествования прервалась на том, что подсоединил к системе Tesla K20М, GT 610 и M.2 NVE SSD + дисковый массив. Кстати чем еще хороша эта плата Dell — у нее встроенная «дисковая полка» пускай и всего на 6 устройств и RAID не «самый наворочанный на свете», но зато в отличии от своих более профессиональных внешних собратьев он пропускает команду TRIM на SSD. Что тоже важно если интенсивно использовать не профессиональные серверные SSD.
    Да кстати, про эту плату есть так-же один интересный и важный момент. Радиаторы на чипсетах — низкие с небольшими ребрами. Это хорошо работает когда плата в оригинальной стойке, где мощные турбины ее продувают вдоль. Но при использовании платы отдельно надо убрать с ближнего к слотам расширения радиатора пластиковую наклейку, а дальний — желательно заменить на любой подходящий радиатор с чипсета старой материнки с большими ребрами, потому что расположенный под ним чип — греется больше всего на плате.

    Убрав из системы видеокарту я стал собирать каркас для своего сервера, в тестовом варианте все было на изоленте, спичечных коробках и прочих пластиковых подпорках, но для полноценного использования 24/7/365 такой вариант мне не показался приемлемым. Надо было сделать нормальный каркас из алюминиевого уголка. В ход пошли алюминиевые уголки из «Леруа Мерлен» которые мне прислал друг из Подмосковья, в своем близлежащем городе они просто нигде не продавались вообще!

    Кроме уголков в конструкции были использованы винты под потайную головку М5 и гайки, винты М3 и гайки, уголки небольшие мебельные, заклепки алюминиевые под 5 мм отверстия, заклепочник, ножовка по металлу, шуруповерт, сверло 5.0 мм по металлу, напильник, отвертка крестовая, кабельные стяжки и руки растущие не из задницы.

    Уголки были использованы для крепления платы к каркасу и некоторых других элементов. Это конечно добавило несколько высоты всей системе, потому что плата оказалась приподнята достаточно высоко над нижней плоскостью каркаса, но я решил что это для меня допустимо. Борьбы за каждый грамм веса, миллиметр высоты я не вел, в конце концов это не БЦВМ самолета где стандарт «15 G по 3-м осям, удары до 1000 G и вибрация».

    image

    Плата установлена, прикручены райзеры, прикручен переходник с SSD M.2.

    image

    image

    Плата, SSD, райзеры и Тесла на своих местах установлены. DC-DC пока еще на свое место не прикрутил и он болтается на проводах за кадром. Это версия сервера 1.0, еще пока на одной Тесла К20М.

    image

    Тут DC-DC уже закреплен на каркасе, вон он там маленькая платка сбоку за материнской платой под «хвостами» питания.

    image

    А это система уже собранная, вид сверху. Над Теслой еще одна раза из уголков в которой прикручены бок о бок пара SSD, над ними корзина HDD, на а сверху на замыкающей каркас раме висит БП 850 Вт Термалтэк модульный. БП модный, геймерский, с RGB-подсветкой которую я отключил чтобы не мигал как новогодняя елка. Единственный на тот момент мощный модульный БП в магазинах близлежащего города.

    image

    Вид сервера версии 1.0 сбоку.

    image

    Вид сервера с «переднего торца». Разъемы и рек для дисков я сделал на одну сторону как в серверных системах, чтобы для всех манипуляций не надо было вертеть туда-сюда всю систему. На «планке с вырезами» прикручен вынос с двумя USB 2.0 который я подключил вместо картридера, а к ее нижней части прикручена плата переходника на М.2.

    image

    Вот тут показано как закреплен DC-DC и плата, те самые уголки про которые я говорил.

    image

    Вид с другой стороны, как закреплен GPGPU-райзер, который EdgeSlot.

    image

    Тот самый высокий уголовой райзер с дополнительным питанием для GPGPU который мне покупали через Шопотам с Америки.

    Машина была собрана, было установлена операционка, драйвера, настроен CUDA Toolkit…


    Вот видео про нее небольшое.

    В таком виде система с одной Тесла К20М 5 Гб работала пол года, пока мой друг-астроном считал свои задачи. Потом он ушел в отпуск и внезапно на еВау обнаружились серверные Тесла К20Х 6 Гб по 6000 р б/у, бы распродажа с датацентра в Англии. И мы решили собрать вторую версию «суперкомпьютера» уже на 3х Тесла К20Х.

    Теслы были куплены, была куплена вторая материнка точно такая-же только решили сэкономить на доставке и выбрали доставку службой еВау. Которая отвезла ее В ИСПАНИЮ и там выдала какому-то совершенно левому типу. На еВау был открыт спор, меня поддержал продавец из США и деньги вернули, и уже третья плата поехала ко мне обычной дорогой но надежной USPS. Другие запчасти тоже приехали и вот видео про начало сборки «деревенского суперкомпьютера» 2.0.


    Видео про запчасти для этой самой «машины».


    Запуск платы и некоторые особенности.


    Тут начал собирать каркас второй версии сервера.


    Приехали Тесла К20Х, первое видео.


    Познавательное видео про Тесла К20Х, про конструкцию карты и ее системы охлаждения, и облом с водоблоком от GTX 780 Ti.

    Продолжение видео про Тесла К20Х, отсканировал ее плату на сканере, если кому вдруг надо.

    image

    Передняя сторона с GPU-чипом.

    image

    Задняя сторона.

    Как видим Tesla К20 хотя и похожа «в общих чертах» на GTX 780 GTX 780 ti GTX TITAN на GPU GK110 Kepler но тем не менее по плате и системе охлаждения с ними не совместима. Если у меня будет Quadro K5200 K6000 GK110 Kepler то тогда сравню и ее плату с платой Теслы К20, но пока выше указанных Квадро у меня нет.

    А вот продолжение сборки сервера 2.0


    Снова 1U кулеры с улитками и прочее что требуется для сервера большей мощности чем первый. Пришлось кстати первый сервер разобрать чтобы собрать второй, пока острой потребности считать у моего друга не было.


    Немного кабельменеджмента…


    И вторая Тесла установлена на свое место.

    image

    А вот тут меня постиг обидный облом. Оказалось что система не тянет 3 штуки Тесла К20. При старте BIOS вылазит вот такая вот ошибка и все, третья Тесла не работает никак. Не помогло даже обновление биос до версии 2.8.1 после которого плата из Dell DCS 6220 превратилась в Dell C6220 2.8.1 Я включал и выключал разные опции в БИОС, даже пробовал заклеить скотчем часть контактов на Теслах чтобы сделать их 8х — ничего не помогло. Пришлось смириться и остановится на конфигурации 2 Тесла К20Х + NVE SSD. Кстати, в версии 2.0 сервера все SATA-накопители живут в одной китайской корзине на 6 отсеков. Теперь там пара Samsung 860 EVO 500 Gb + 4 терабайтных Сигейта. Самсунги я купил на Али по 3600 за штуку. Диски ОЕМ, но меня устраивают.


    Теперь «суперкомпьютер 2.0» полностью собран и готов к работе.
    В прочем доехали запчасти купленные на вторую систему и я подсобрал назад первую, вот тут про это видео.


    И предлагаю читателям проголосовать что делать с первой платой? Что собрать на ее основе интересное? Или если кто-то хочет купить ее как и Теслы К20М и К20Х с кулерами-улиткам или без — я готов, пишите.

    Вот такая вот история, надеюсь оказавшаяся интересной и полезной уважаемым читателям.

    P.S.: Тем кому хватило терпения дочитать до конца — подписывайтесь на мой канал на Ютубе, комментируйте, оценивайте нравится / не нравится — это будет меня мотивировать на дальнейшие публикации и съемку новых познавательных видео.
    Поддержать автора
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 52

      0
      Вот и третья часть истории, уже с кучей видео которые я к тому времени начал снимать.
        0
        Можно ссылку на OEM Самсунги с Али?
          +1
          Ловите.

          Надеюсь, это не сочтут рекламой и меня не забанят тут.
            +1
            Это не OEM, а самый натуральный Retail, сам пару таких на Али брал. Вот только такая низкая цена откуда — за столько ещё недавно отдавали 250Гб, если без учёта скидок-купонов.
              0
              Вижу цену 5251р за 500Гб. И alitracker показывает что раньше было ещё дороже. Где по 3600 то?
                +1
                При этом 500GB — единственный из трех доступных вариантов емкости, который непринципиально (учитывая сроки доставки) дешевле российской розницы. Остальные 2 дороже.
            –7
            Горшочек, не вари.
              +1

              Класс, наушники только с шумоизоляцией нужны еще). Бенчмарки не снимали?

                +1
                Вот когда он вернется с симпозиума — попрошу собрать и запустить Линпак, тогда и узнаю бенчмарк.
                  +2
                  Мне кажется бессмысленным выкладывать такой объем статей и не показать, на что получившийся ПК способен. При этом хочется увидеть результаты не только одного бенчмарка, а комплекса бенчмарков, чтобы по результатам можно было сравнить с современными процессорами.
                +2
                А что считал астроном?
                  +2
                  Скопление новое вычленял из сырых данных в Astro Pi.
                    0
                    а там фп64 точно нужно? пока что-то не получается найти данных…
                      +1
                      Там и double нужно и ECC на памяти.
                  0
                  Ну… есть вероятность допиливания первого до версии 2 и переход к кластерным вычислениям.
                  Кластера из высокопроизводительных машин хорошо себе зарекомендовали на высокопроизводительных сетях. Думаю, что сначала 10Гб будет достаточно. У nag.ru видел дешевенькие сетевые карты.
                    +1
                    если память не изменяет, то там и так 10гб езернет, вот только для кластеров лучше чтонить типа инфинибенда — задержки меньше
                      0
                      Как показывает практика — на кластере не получается считать единую нейросеть, вот количество вариантов одной по количеству узлов — да, на попытке считать единую латентность обмена сжирает весь выигрыш в производительности.
                    0
                    Наверное пропустил.
                    А что планируется делать с этим всем железом?
                    Только в ч.1 было кратко:
                    История началась с того, что мой друг-программист, который заодно еще и астроном — занялся изучением нейросетей.

                      0
                      Астрономия + deep learning + сдача в аренду другим кому надо много считать и быстро.
                      0
                      Что, если третью видяшку подцепить, как майнеры делают: через USB3 to PCIEx16 riser?
                        0
                        Про майнерские райзеры было упомянуто и почему они не годятся в данном случае, прочитайте все три части снова.
                          0
                          Да, точно, он же всё равно в PCIEx1 втыкается. Ну ладно, остаётся только BIOS modding, но оно того не стоит.
                            0
                            Майнерский райзер втыкается в любой PCI-E — 16x, 8x, 4x, 1x и через переходник даже в М.2 который поддерживает 4х.
                            Да, я еще и немножко майню на паре р106-100.
                              +1
                              Он имел ввиду, что usb всё равно x1. И даже если кабель будет сохранять стабильность для вычислений это ничего не даст.
                        +3

                        У меня плата как у ютубера из первой части. Придумал такой способ охлаждения:

                          +2
                          Оригинально. Хорошо продувает? Какая температура под нагрузкой? И как планируете использовать?
                            +1

                            Поток воздуха ощущается в обе стороны. Распределяется равномерно. Штатные радиаторы очень эффективны. Температуру не замерял, так как в данный момент всё разобрано. Раньше мне хватало просто прислонить кулер сбоку (включал CPU майнинг).
                            Я её купил чисто поиграться. Так и валяется ещё без корпуса, планирую каркас из алюминия сделать.
                            Блок питания использую 12V от сервера DELTA DPS-750QB. Не могу побороть встроенную защиту от остановки кулеров, штатные шумят как самолёт. Хотел подсунуть другой кулер с малыми оборотами, но блок уходит в защиту. Напряжение питания штатных вентиляторов 8 вольт. Потребляемый ток 300 миллиампер. Если понизить напряжение до 5.5 вольта, ток упадёт до 190 миллиампер и шум значительно снижается. Если понижать ещё, то на 160 миллиамперах уходит в защиту.

                              +1
                              Скорее всего можно побороть защиту, подключив на контакт тахометра простой генератор на 555 и настроив подходящую частоту импульсов.
                                +1
                                Так в принципе и делается, встречается ещё и вторая ступень защиты — отслеживание потребления, но там просто нужно подкрутить резистивный делитель.
                            0
                            У меня такая же плата, но я не смог там завести SOL (DCMI специфичный), у вас получилось?
                            По кулерам, имхо стоит лучше купить китайские переходники на AM3 и поставить простые кулеры.
                              0
                              Что за SOL? Давайте детали.
                              Кулеры я поставил 1U потому что использую штатный угловой GPGPU-райзер с доп питанием, при установке в который полноразмерные видеокарты упираются в кулер, если тот не совсем низкий.
                                0
                                Я писал человеку с Quanta Windmill. Вообще SOL у меня получилось завести.
                            0
                            А астроном прямо считает без остановки? Если эпизодически — то не проще в облаке посчитать? Во сколько обошелся такой сервер суммарно?
                              –1
                              Сервер обошелся суммарно около 70К рублей.
                              Считать в облаке — рискованно, сколько раз уже были утечки. Там ведь не только астрономия считается но и deep learning имеющее интеллектуальную и коммерческую ценность.
                              Мне как-то не хочется чтобы то во что мы вкладывали время и мозги — внезапно всплыло под патентами какой-нибудь компании зарубежной.
                                0
                                Вы ведь понимаете, что вопрос «Почему сами не патентуете?» сам собой напрашивается.
                                  +2
                                  В статье такого плана, как мне кажется, было-бы полезно написать таблицу затрат, как денежных, так и временных на ожидание доставок (что/где/почем и когда было куплено)
                                    0
                                    Хороший пример почему облака иногда это плохо.
                                      +1
                                      Ну это страшилки из серии ОБС — все случаи утечек из публичных облаков были связаны с неправильной настройкой клиентами.
                                      0
                                      Передняя сторона с GPU-чипом.
                                      Очень напоминает обычную видяху с нераспаянными видеовыходами.
                                        +1
                                        Совершенно по иному чем у GTX 780-780ti-TITAN разведены цепи питания. Эта плата скорее всего близко родственна Quadro K6000 K5200 а не игровым.
                                        –1
                                        А вот тут меня постиг обидный облом. Оказалось что система не тянет 3 штуки Тесла К20.

                                        Было бы очень удивительно, если бы потянула на питающем блоке в 850 Вт.
                                        При старте инициализация устройств идет на 100% мощности, поэтому в первые секунды включения система с тремя картами ест более киловата. Вот на третью карту мощности и не хватает, селф-тест падает.

                                        В целом, система хороша, но запаса по мощности БП нет совсем на двух картах. Лучше поставить БП 1,5-2 КВт, если планируется длительная работа сервера (по принципу «максимальное энергопотребление, умноженное на 2»).
                                          0
                                          При старте инициализация устройств идет на 100% мощности, поэтому в первые секунды включения система с тремя картами ест более киловата.

                                          если бы это было так, то БП ушел бы в защиту от перегрузки, если на нем такая защита есть.
                                          и ничего бы мы не увидели…
                                          а так запуск таки был… значит не 100% мощности все устройства потребляли…
                                          хотя вы правы… маловато 850. процентов 15-25 должно быть запаса…
                                            +1
                                            Система с БП 850+1000 Вт и 3 картами не работает так-же, не в БП дело, а в распределении ресурсов BIOS. Фото монитора с ошибкой намекает открытым текстом.
                                          +1
                                          falanger на zx-pk.ru, получается, вы? :)
                                            +1
                                            Он самый, и на Железных призраках прошлого.
                                            0
                                            А еще потестировать на крипте какую производительность выдает? :)
                                              +1
                                              Карты каждая по 400 H/s XMR, процессоры оба вместе 800. Прочее ничто не майнится на Теслах вообще.
                                              0
                                              «Повер Е-Д-Г-Е» это конечно мощно
                                                0
                                                Dell PowerEdge C8220 — www.dell.com/en-us/work/shop/cty/poweredge-c8220-compute-node/spd/poweredge-c8220
                                                Добро пожаловать в мир действительно надежного и высокопроизводительного «железа». Хуананщики могут не беспокоится, люд в теме и так все знают.
                                                  0
                                                  да только называется он ПоверЭДЖ а не Е-Д-Г-Е ;-)
                                                +1
                                                Приветствую! А все таки, можно немного про софт поподробнее? Может какие-нибудь скоростные показатели этой Теслы, по сравнению со счетом на процессорах выложите? А то три статью по сборке «фермы»,- таких полный интернет.
                                                  +1
                                                  А чего там про софт особо писать?
                                                  Ubuntu Server + nvidia 418 +CUDA 10.1 + CUDA Toolkit + cuDNN…
                                                  Производительность — 1 штука Е5-2650 ген1 = 256 Гфлопс, пара — 512. Вшивенькая GT 730 2 Gb — 690 Гфлопс. 1 шт Тесла К20Х — 1.31 Терафлопс double и 3.95 float. Т.е. одна Тесла К20Х = 15,5 процессоров Xeon E5-2650 v1. Это вам ответ почему сейчас все тяжелые вычислительные задачи стараются считать на GPGPU.

                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                  Самое читаемое