Суперкомпьютер с системой водяного охлаждения HP Apollo 8000

    HP Apollo 8000 – первый в мире суперкомпьютер, построенный целиком на безопасном охлаждении теплой водой и предусматривающий «сухое» отключение серверов. Поскольку водяное охлаждение в 1000 раз эффективнее, чем воздушное, вы можете использовать огромную вычислительную мощность в стандартной стойке, не увеличивая площадь под оборудование. В то же время вы имеете возможность отказаться от дорогостоящих и неэффективных охлаждающих установок, а горячую воду, прошедшую через систему, использовать для обогрева помещений.



    Сервер использует запатентованную компанией методику, которая позволяет держать оборудование вдали от воды. Hewlett-Packard (HP) вышел на рынок суперкомпьютеров с новой серией систем Apollo, включающей в себя и высококлассную машину с нестандартной системой водяного охлаждения. Впервые компания предложила указанный продукт специально для такого рынка, хотя многие суперкомпьютеры и были собраны на оборудовании HP. Компания представила две системы Apollo: систему воздушного охлаждения, называемую Apollo 6000 и систему водяного охлаждения Apollo 8000. «Заказчики уже сейчас могут получить обе системы» — говорит Джим Гантье (Jim Ganthier), вице-президент компании HP по маркетингу из отдела стандартных промышленных серверов и программного обеспечения.

    Система HP Apollo 6000 с воздушным охлаждением позволяет оптимизировать производительность в масштабах стойки под ваш бюджет и сделать высокопроизводительные вычисления доступными широкому кругу корпоративных клиентов.

    Система HP Apollo 8000 – это суперкомпьютер, в котором сочетаются высочайший уровень вычислительной мощности и инновационная конструкция с охлаждением теплой водой, благодаря чему обеспечивается сверхнизкое энергопотребление и возможность повторного использования теплой воды.

    Затраты на энергию, необходимую для охлаждения суперкомпьютера являются одними из самых значимых. «Использование жидкости вместо воздуха является более рациональным в отводе тепла» — сказал Гантье — но, из-за опасения по поводу повреждения составных деталей при охлаждении жидкостью, оно очень медленно продвигалось, так сказать «входило в моду». Большая часть работ в последнее время сосредоточилась на погружении серверов в специальные жидкости, не проводящие электрически ток, таких как технические жидкости 3M Novec (семейство растворителей с низким потенциалом глобального потепления, основанные на запатентованной 3М формуле, содержащей гидрофторэфир).

    Но в HР наблюдается обратная тенденция, внутри системы циркулирует просто вода – все герметично и в тоже время безопасно. Apollo 8000 имеет две системы охлаждения, которые работают в сочетании друг с другом. Одна из них водонапорная башня — или как называет его HP «водяной экран». Вода циркулирует в башне, и отводит тепло от блейд-серверов, подключенных к другой стороне стены.



    Вода самостоятельно циркулирует в блейд-серверах по герметичным медным трубкам, подведенным к каждому центральному процессору снизу по охлаждающему радиатору. Отвод тепла от радиаторов происходит по замкнутым контурам. Первый контур отводит нагретую жидкость от радиаторов на платах, второй функционирует как общий для стойки контур, в котором вода циркулирует по внешней части. «Медные трубки подведены к водному экрану, который отводит тепло и от стойки. Вакуум внутри медных трубок предотвращает вытекание воды в маловероятном случае течи, так как в месте разрыва возникает отрицательное давление» — заявил Гантье.



    HP сообщает о ряде преимуществ данной системы охлаждения в сравнении с такими, которые погружают серверы в специальные жидкости. Во-первых, инженеры могут снять блейд-серверы HP, не выключая системы. Во-вторых, Apollo 8000 более рационален в использовании пространства, так как не требует специальных емкостей с жидкостью для погружения серверов.



    Национальная лаборатория по возобновляемым источникам энергии которая с помощью суперкомпьютеров проводит моделирование климата, анализирует при этом выброс парниковых газов в атмосферу, стала одним из первых клиентов Apollo 8000. HP заверяет, что их система, известна как Peregrine (Сапсан), обладает сегодня наибольшей мощностью вычислительных ресурсов в 582 терафлопс и благодаря системам HP может быть расширена до 1,19 петафлопс.



    При использовании Apollo 8000 вполне возможно разместить большое количество энергоемких процессоров на небольшом пространстве. Каждая стойка может вместить до 144 серверов, каждый с dual-socket Xeon E5 процессором и восемью InfiniBand коммутаторами. Назвать точную стоимость для систем HP Apollo 8000 не может никто, так как параметры конфигурации слишком разнообразны, но то что она займет свое нишу среди высокопроизводительных систем сомнения не вызывает.
    ua-hosting.company
    703,30
    Хостинг-провайдер: серверы в NL / US до 100 Гбит/с
    Поделиться публикацией

    Комментарии 27

      0
      Классический сценарий с падающим с лестнцы монтажником, цепляющимся за всё, за что получится. Оборвал оптику, допустим (хотя в реальном ДЦ — вероятнее всего выдержит, если пучок большой), оборвал трубку. Над стойкой. Допустим, не с серверами, с чем-нибудь типа mx/или цискового шеститонника.

      Любовь без вазелина.
        0
        Кажется, дешевле монтажнику за пояс привязать шарик с гелием, чтобы летал и не падал :)

        Или, если серьезно, обеспечить страховку его при работой над стойкой и среду трубок с водой или еще чем жидким.

        Потому что, как ни страхуйся, а при некотором уровне раздолбайства можно и на ровном месте увидеть проблемы: дежурный инженер может в работающий сервер полезть, поставив на него же чашку с кофе (фантазия, но все же), а дежурная смена ДЦ может перепутать стойку клиента и провести работы не на той стойке. Решается ли такое? Конечно, причем можно до абсолюта довести: вместо одного человека идет три (как в анекдоте: один пишет, другой читает, третий за этими умниками приглядывает), пишется план действий, все логируется и каждое действие проговаривается — как в космосе )

        Но вот что «оно меньше греется» — и от этого становится «суперкомпьютером» — это интересный подход. Да, быстрый интерконнект, да, относительно холодное, да, высокая плотность, но не только это делает набор стоек суперкомпьютером. Важно, как оно все вместе сбалансировано, готово ли оно работать реально быстро, готовы ли к этому не только CPU, но и все подсистемы…
          0
          Мне после «поскольку водяное охлаждение в 1000 раз эффективнее, чем воздушное» уже расхотелось читать. Даже если брать по самому теоретическому максимуму, то где-то в четыре раза. В реальности — эффективность таких систем хорошо, если раза в полтора-два превышает аналогичные воздушные решения (особенно если замерять не в рассеиваемых ваттах, а в чем-то более близком к производительности вычислительной системы). А тут — столько пафоса сразу — «суперкомпьютер»…
            0
            А теплопередачу в паре металл-вода и металл-воздух Вы учли? А там и получается разница на 2-3 порядка, что приводит к тому, что либо воздуха нужно на 2-3 порядка больше через радиатор прогонять, либо его площадь на 2-3 порядка увеличивать.

            > В реальности — эффективность таких систем хорошо, если раза в полтора-два превышает аналогичные воздушные решения
            Эффективность таких решений — это 100-150кВт тепла на шкаф, при том, что обычный воздух может охладить максимум 20-30 кВт со шкафа.
            Есть еще PUE, который для жидкостных систем может быть значительно меньше 1.1.

            > а в чем-то более близком к производительности вычислительной системы
            Производительность и рассеиваемое тепло — это очень сильно зависящие друг от друга величины.
              0
              А теплопередачу в паре металл-вода и металл-воздух Вы учли? А там и получается разница на 2-3 порядка

              Можно я вам не поверю? Вопрос там не в паре, конечно, и даже не в самой теплопередаче, а в том, что пропорции различных видов теплопередачи и сами термодинамические модели сильно разнятся (в случае классических вентиляторных решений — это теплообмен кристалл-медь плюс принудительная конвекция, в случае современных кулеров на тепловых трубках — это кристалл-медь, медь-агент, агент-другая медь, дальше опять принудительная конвекция, в случае полностью жидкостных — по сути сильно удлинняется цепочка медь-агент, агент-медь и принудительная конвекция от сравнительно маленькой продувки в стойке заменяется большим общим чиллером).

              Эффективность таких решений — это 100-150кВт тепла на шкаф, при том, что обычный воздух может охладить максимум 20-30 кВт со шкафа.

              Даже если принять эти цифры — разница в 5-7 раз, а никак не в заявленные 1000. И, если уж на то пошло, я с трудом представляю шкаф с 150 кВт оборудования, да еще вместе со всей жидкостной инфраструктурой, которая тоже не такая маленькая.

              Есть еще PUE, который для жидкостных систем может быть значительно меньше 1.1.

              И что? В современных датацентрах он и так порядка 1.2. Меньше 1 он не станет по определению. Где опять же заявленные «в 1000 раз эффекивнее», когда теоретический максимум, если уж считать по PUE — 20%?
                0
                > Можно я вам не поверю?
                Конечно. Но тем не менее на этом участке теплообмена так и есть. А дальше уже маркетинг — взяли самое красивое число и используем, что однако не умаляет технических преимуществ решения.
                В любом случае, если в одном месте системы получается выигрыш в 1000 раз, то совсем не обязательно, что суммарный выигрыш будет такой же.

                > я с трудом представляю шкаф с 150 кВт оборудования, да еще вместе со всей жидкостной инфраструктурой, которая тоже не такая маленькая.
                Да, это действительно сложно представить, тем более, что уже есть системы, где снимается 400кВт тепла со стойки ( rscgroup.ru/sites/default/files/releases_en/rsc_petastream_delivers_the_industry_record_1ptf_per_rack_performance_showing_practical_path_to_exascale_era_nov_2013_eng.pdf ) с оборудованием и системой жидкостного охлаждения, что вроде бы все еще является мировым рекордом плотности упаковки.
                Для суперкомпьютера важны и геометрические размеры, по этому сокращение площади в 20 раз по сравнению с воздухом — это очень хороший результат.

                > И что? В современных датацентрах он и так порядка 1.2.
                Только это и есть пример современного датацентра. А средний по отрасли датацентров PUE сейчас в районе 2.
                  0
                  Но тем не менее на этом участке теплообмена так и есть

                  Вы хоть одну цифру приведите, где именно получается разница в 1000 раз. Если брать те модели термодинамических систем, что я выше набросал — там нигде разницы в 1000 раз не будет.

                  Да, это действительно сложно представить, тем более, что уже есть системы, где снимается 400кВт тепла со стойки

                  Ну, там если начинать считать — эти 400 кВт все-таки больше маркетинг, реальные цифры раза в полтора-два меньше будут (1024 * 225 Вт ~ 230 кВт на процессоры, остальное относительно копеечное), но, согласен, все равно плотность впечатляет, да.

                  А средний по отрасли датацентров PUE сейчас в районе 2.

                  Ну, это смотря как считать. Я еще лет 5 назад слышал громкие заявления о том, что «средний в пересчете на 1 сервер» PUE якобы ~1.8, и он уменьшается на 0.1 каждые два года. Если считать «на датацентр», и «датацентром» считать каждую серверную комнату с более-менее от балды поставленным кондиционером «на вырост» — то и больше 2, наверное, получится…
                    0
                    Тепловыделение xeon phi 7120D — 270Вт, процессоры семейства Xeon E5-2600 v2 — до 150Вт (один на 8 Phi).
                    Суммарно уже 295680Вт только на процессорах.
                    Если добавить диски и сетевые карты, то всего будет чуть больше 300кВт. Остается 100 на остальные системы.

                    В принципе, получается, что если и приукрашивают, то не так сильно.
                      0
                      Судя по PDFке — там 5120D, а не 7120D — это все-таки 245 Вт (я почему-то считал для 5110P с 225), E5-2600, я так понимаю, там в норме фактически простаивают, занимаясь только координацией и напрягая только свои DMA. Так что истина, видимо, где-то посередине.

                      Я на самом деле с трудом представляю, как это все питается хотя бы. Вот Apollo 8000 — честно говорят, что у них реалистично только 480 вольт и то там жилы под сантиметр толщиной. А тут по сути еще в 5 раз больше и на один бедный шкаф… Сколько ж у RSC — киловольты?..
                        0
                        По pdf да, 5120D, но судя по сайту уже 7120D, а они горячее (pdf могла устареть).

                        > E5-2600, я так понимаю, там в норме фактически простаивают
                        Думаю, что близко к этому, однако, бюджет на охлаждение в любом случае считать необходимо по максимальным параметрам.

                        > Так что истина, видимо, где-то посередине.
                        Возможно.

                        > Сколько ж у RSC — киловольты?..
                        К сожалению, не знаю. В живую внутренностей этих систем я не видел, а на сайте сходу такой информации не нашел.
                    0
                    Кстати, да — вот ниже хорошую ссылку привели — youtu.be/9Ih3R84Corg — там показано, что на самом деле у обсуждаемой 80 кВт входящих на шкаф всего (отводится, очевидно, меньше, чем 80 — и до тех 400, что вы привели в пример — тут еще очень и очень далеко), и, надо понимать, на каждые 3 «полезных» шкафа нужно добавлять еще один «инфраструктурный» шкаф с теплообменником.

                    По петафлопсам это тоже видно — у Apollo 8000 получается 1.2 петафлопса на 19 шкафов, тогда как у цитируемой вами RSC PetaStream — 1 петафлопс на 1 шкаф.
                0
                Суперкомпьютер тут не для пафоса, а потому что целевое назначение системы — HPC-кластер, иначе именуемый суперкомпьютером.
            0
            то что первый то это врядли — СКИФ-Аврора 2011 год
              +1
              Тут конструкция несколько другая. У СКИФ и у решений IBM есть гидроразъемы, соединяющие контура серверов в единый контур, а у этого решения система двухконтурная — один пассивный контур внутри сервера, а второй в корзине с передачей тепла через металлические контактные пластины.

              Преимущество это возможность снимать сервера без остановки системы и без манипуляций с трубопроводами. Но как они гарантируют отсутствия течей все равно совершенно непонятно. Если в серверном контуре что-то треснет, то какое бы не было низкое давление в контуре, воздух в него все равно может просочится, а дальше нагрев, повышения давления и потоп (правда ограниченный по объему жидкости).

              Меня больше волнует вопрос, как HP обеспечивает работу термоинтерфейса между серверами и корзинами, который на боковой стенке сервера. Ведь для этого нужен хороший контакт между поверхностями, а термопасту намазывать внутри корзины может быть неудобно для монтажа из-за сдвигового характера монтажа, а не прижимного.
                0
                Там почти на всю длину полированная поверхность. Сервер при вставлении прижимается к теплообменнику своей поверхностью и прижимается рычагом.
                  0
                  А долго она будет оставаться полированной и чистой при использовании возможности снимать/устанавливать сервера?
                    0
                    Поверхность не идеально полированная, а просто достаточно гладкая, чтобы плотно прилегать к такой же плоской ответной части на стойке.

                    А зачем нужно постоянно вынимать/вставлять серверы? В принципе, за жизненный цикл кластера это может произойти пару-тройку раз, как мне кажется.
              +3
              таких как технические жидкости 3M Novec (семейство растворителей с низким потенциалом глобального потепления, основанные на запатентованной 3М формуле, содержащей гидрофторэфир).

              Так непривычно читать эти названия без всяких ®©™.
                +2
                Какое совпадение, сейчас занимаюсь подготовкой решения на базе Apollo 6000.
                  0
                  6000 с воздушным охлаждением. Зачем обе линейки назвали Apollo — не понятно.
                  0
                  Что именно там охлаждается жидкостью? Только процессоры? А всё остальное? Всё-равно нужно воздушное охлаждение?
                    0
                    Процессоры, память и дополнительные модули (Xeon Phi или GPU nVidia). Для сетевых и инфинибендовских коммутаторов охлаждение воздушное, но без забора воздуха снаружи — внутри стойки есть теплообменник.

                    Тут в статье не сказано, но от каждой стойки нужно по трубам отводить воду в отдельную стойку, а к ней уже подключается внешняя вода (через теплообменник).
                      0
                      Более подробно можете ознакомится
                      youtu.be/9Ih3R84Corg
                      0
                      В системе охлаждения всё-таки вода, или другая жидкость? Если вода, то почему именно она. Есть ведь и менее губительные для серверов теплоносители.
                      Я понял, что в каждом лезвии замкнутый контур жидкостного охлаждения без принудительной циркуляции. Тогда не понятно, откуда возьмется бесконечный вакуум, который не даст воде вытекать из системы если появится трещина.
                        0
                        Вода с этиленгликолем — чтобы не зарастала. Внутри трубок, которые в лезвиях, скорее всего, что-то типа спирт-эфирной смеси.

                        Если во втором контуре (который между стойками) появляется трещина, по нему перестаёт гоняться вода. Из-за избыточности соединений между стойками это не значительно влияет на теплоотвод от стоек.
                        +1
                        Национальная лаборатория по возобновляемым источникам энергии… стала одним из первых клиентов Apollo 8000.


                        Немного не так. NREL обратилась в HP с предложением разработать энергоэффективные стойки, за два года работы получился продукт, его назвали Apollo и выпустили для широкой публики.
                          0
                          Что же все так утечек бояться, вот OVH на обычных ПВХ трубках строит СВО для серверов и ничего, работает :)
                          www.youtube.com/watch?v=Y47RM9zylFY

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое