«Новая волна»: почему охлаждение водой в ЦОД набирает популярность

    Согласно прогнозам Stratistics MRC, к 2023 году стоимость рынка технологий водяного охлаждения в ЦОД достигнет 4,55 млрд долларов. Под катом разбираемся в причинах роста спроса на такие разработки и рассказываем о самих технологиях, которые развиваются в этой области.


    / фото Rolf Brink CC / Система иммерсионного охлаждения

    Одна из причин роста рынка — увеличение объемов обрабатываемых данных. Согласно исследованию IDC, к 2025 году объем данных, генерируемых человечеством, составит 163 зеттабайта. С ростом объемов данных растет и нагрузка на серверы в дата-центрах, особенно в тех, что занимаются высокопроизводительными вычислениями (HPC). Для охлаждения таких систем обычных воздушных установок уже недостаточно.

    Например, для охлаждения тензорных процессоров Google (TPU), которые заточены под TensorFlow, ИТ-гиганту впервые пришлось использовать воду. Из-за того, что новое поколение процессоров (TPU 3.0) отличается мощностью и высоким энергопотреблением, воздушное охлаждение оказалось для них неприменимо.

    Почему воздушное охлаждение уступает водяному


    Клайв Лонгботтом (Clive Longbottom), директор по сервисному обслуживанию аналитической компании Quocirca, отмечает, что воздух не настолько хорош в качестве теплоносителя: по сравнению с водой он от 50 до 1000 раз хуже отводит тепло от оборудования.

    Кроме того, традиционные установки для воздушного охлаждения занимают больше места и потребляют больше энергии. А это сказывается и на счетах за электричество. Поэтому в машинных залах дата-центров, где постоянно повышается плотность оборудования, использовать воздух для охлаждения становится невыгодно. По этой причине вентиляторы в ЦОД Агентства национальной безопасности США заменили системой иммерсионного охлаждения (о других альтернативных решениях мы писали в одном из постов).

    Вали Сорелл (Vali Sorell), президент компании Sorell Engineering, занимающейся техническим проектированием зданий и прокладкой инженерных коммуникаций, и Марк Хурикен (Mark Hourican), управляющий партнер консалтинговой компании Syska Hennessy Group, полагают, что ЦОД-индустрия пока не готова взять и полностью отказаться от «инвестиций в воздух» и целиком перейти на охлаждение водой. В этом случае придется полностью перестраивать всю инфраструктуру ЦОД, что довольно дорого.

    Однако компании, которым приходится работать с большими нагрузками, уже разрабатывают и применяют жидкостные системы охлаждения.

    О технологиях жидкостного охлаждения ЦОД


    Иммерсионное охлаждение. Одна из множества технологий жидкостного охлаждения — иммерсионное охлаждение (о котором мы уже рассказывали в блоге). Технология подразумевает полное погружение оборудования в специальную масляную среду. Главное достоинство технологии в том, что масло имеет более высокую теплопроводность, по сравнению с воздухом. Это помогает системе эффективнее поглощать тепло и удалять его избытки.

    В 2015 году систему для погружного охлаждения представили Horizon Computing: в компании разработали специальный бокс для серверов, который заполняется минеральным маслом. Конструкция бокса поддерживает оптимальную температуру оборудования с помощью конвекции. Такой «контейнер» способен работать на улице без кондиционеров, а низкие затраты на изготовление и незамысловатый дизайн бокса позволяют использовать его без изменения инфраструктуры дата-центра.

    Непрямое жидкостное охлаждение. Эту технологию уже используют в ЦОД Facebook: в начале июня компания продемонстрировала, как новая система охлаждения сделала ЦОД в Северной Каролине более энергоэффективным.

    Представители Facebook отмечают, что в некоторых дата-центрах использовать фрикулинг невозможно из-за суровых природных условий или высокого уровня загрязнения воздуха (с этой проблемой, например, борются в Китае). Поэтому компания приняла решение разработать систему непрямого жидкостного охлаждения.

    В основе системы лежит технология испарительного охлаждения. Вода для системы охлаждается в специальном теплообменнике, испаряясь через особый мембранный слой. Затем она охлаждает воздух внутри дата-центра, сохраняя оптимальную температуру серверов (схему работы технологии можно посмотреть в посте из блога Facebook).

    Тестирование системы показало, что она способна уменьшить потребление воды в ЦОД на 20% (в местах с жарким и влажным климатом) и на 90% (в умеренных и холодных климатических условиях).


    / фото poolie CC

    Теплообменники на задней части серверной стойки. В этом случае охлаждённая вода поступает непосредственно к стойке с оборудованием, удаляя избытки тепла. Эту технологию используют Lenovo в своем проекте Neptune: теплообменники уже применяют 30% клиентов компании для своих HPC-систем.

    Помимо упомянутого теплообменника, в проект Neptune входят теплообменный модуль (Thermal Transfer Module) и система непосредственного охлаждения узлов (Direct to Node Cooling).

    Модуль использует жидкость из теплопоглощающего резервуара, чтобы по специальным трубкам переместить избытки тепла от процессора в область с разреженным воздухом. Система имеет компактные размеры, потому позволяет уменьшить традиционный гул в серверной. А система непосредственного охлаждения доставляет холодную воду прямо к узлу и «снимает» лишнее тепло с ключевых компонентов системы.

    Будущее технологий водяного охлаждения


    Как говорят эксперты отрасли Сорелл и Хурикен, воздушное охлаждение полностью уступит водяному свое место тогда, когда применять его будет совершенно невыгодно или невозможно (например, из-за физических ограничений дата-центров). Однако специалисты прогнозируют, что переход не будет единовременным. Сперва распространятся гибридные технологии (например, системы на базе испарительных охладителей, как в Facebook), а затем уже будет осуществлен переход на прямо охлаждение с помощью воды.

    В Lenovo также надеются, что применение водяного охлаждения выйдет за рамки HPC-систем и станет популярным среди обычных ЦОД. Для этого компания будет работать над снижением стоимости их реализации. Их цель — сделать системы водяного охлаждения дешевле и доступнее для обычных компаний.



    P.S. Дополнительные материалы из Первого блога о корпоративном IaaS:


    P.P.S. Статьи по теме из нашего блога на Хабре:




    Основное направление деятельности компании ИТ-ГРАД — предоставление облачных сервисов:

    Виртуальная инфраструктура (IaaS) | PCI DSS хостинг | Облако ФЗ-152 | Аренда 1С в облаке



    ИТ-ГРАД

    276,00

    vmware iaas provider

    Поделиться публикацией
    Комментарии 27
      –1
      habr.com/company/3mrussia/blog/206658
      Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению
        +1
        жидкости novec стоят невероятно дорого, в районе 50-100 долл за литр, а заправляются они тоннами
          +1
          И вроде ещё быстро испаряются, нужен постоянный долив.
            0
            Не просто испаряются, в зависимости от марки жидкости, они начинают кипеть при температуре 58 градусов цельсия.
            Но пар наружу системы не уходит! он конденсируется и выпадает в ту же погружную ванну, так что расход жидкости не такой большой.
        +2
        а почему не делают уже готовые трубки с вваренными радиаторами для процов? Принцип расположения в стойке: спереди ввод охлажденной воды сзади она выливается в трубу больше диаметра ( типа канализации ) и идет на охлаждение. Я так понимаю основная проблема это то что соединяют радиаторы с силиконовыми трубками и это основное место протечек. А так все будет герметично и протечка возможна только за пределами стойкий
          0
          Ну как только из стойки уходит проток воздуха, сразу появляется понимание того, что охлаждать надо не только процессор — всё: память, vrm, сетевые карты fibre channel да и ещё +100500 элементов, которым жилось не плохо, за счёт пассивного обдува холодным воздухом, а в статике — настал полный швах.
          0
          И чего, можно обычный комп опустить в минеральное масло? Трансформаторное подойдёт? А вентиляторы в нём как будут крутиться? Или их заменяют на другие? Или вообще снимают? Как-то тема не раскрыта ИМХО.
            +1
            можно.
            да.
            вентилятор не нужен в масле.
            • НЛО прилетело и опубликовало эту надпись здесь
                0
                Если всё так просто, почему обычные десктопы не делают бесшумными? Берётся тазик, заливается трансформаторным маслом (не знаю что за силиконовые жидкости и сколько они стоят, но масло доступно) снимаем все вертушки и опускаем системный блок. И вуаля — ни шума, ни пыли на вентиляторах, разгоняй-не хочу! Что-то тут не так.
                  0
                  habr.com/post/181708
                  Думаю гемор с маслом всё-таки.
                    0
                    Никакого особого гимора не увидел. Только удивился что масло — ПОДСОЛНЕЧНОЕ! :-)
                  • НЛО прилетело и опубликовало эту надпись здесь
                  0

                  А как будут работать шпиндели в масле?

                  • НЛО прилетело и опубликовало эту надпись здесь
                      0

                      Да, про HDD.
                      К сожалению, далеко не все винчестеры гелиевые, воздушных больше, и стоят они дешевле, и не всегда есть возможность оторвать их от сервера в выделенную, отдельно охлаждаемую воздухом полку, так что пока иммерсионное охлаждение не все 100% случаев покрывает...

                      • НЛО прилетело и опубликовало эту надпись здесь
                      0
                      Если HDD поместить в «воздушный колокол», т.е. обеспечить небольшой газовый пузырь в области вентиляционного отверстия, то масло в него не попадёт, а охлаждение всё равно улучшится.
                      Я так думаю.
                      ну или перейти на SSD, там шпинделей нет.
                        0

                        Ну как только SSD будет стоить как шпиндель — так сразу (т.е. никогда)


                        Идея с пузырем тоже посещала, но, кажется, это пока больше для лабораторных исследований, чем для прода.

                          0
                          Ну как только SSD будет стоить как шпиндель — так сразу (т.е. никогда)

                          Помнится, так же говорили про переход с хранилищ НМЛ на НМЖД.
                          Первый мой домашний винт был 102 Мб, и на нем помещались операционка, офис, документы, игрушки, и где-то треть была свободна.
                      0
                      Аккуратнее с такими утверждениями. Все микрополосковые линии на внешних слоях печатных плат рассчитаны на то, что над ней будет воздух с Er=1, а не что-то другое. В общем, могут быть сюрпризы, особенно на более высоких частотах (12+ ГГц)
                      +1
                      Некоторые используют трансформаторное. Даже в подсолнечное можно. Вот, например. а здесь минеральное используют.
                    • НЛО прилетело и опубликовало эту надпись здесь
                        0
                        Если бы еще это тепло направили на нужды людей (например, отопление квартир), то получилась бы «бесплатная» вычислительная система: стоимость электроэнергии окупалась бы при использовании отданного тепла.
                          0
                          Меня интересуют некоторые вопросы, связанные с иммерсионным охлаждением. А именно — как это подключить к сети, как быстро выполнить какое-то сетевое переключение, как заменить вышедший из строя диск или планку памяти (или добавить оные при необходимости)? А в случае охлаждения маслом сервер вообще становится необслуживаемым? А будет ли работать, например, FibreChannel на погруженной машине? Коннектор вряд ли герметичен, а если на пути оптического сигнала возникнет жидкость?
                          Жидкость все равно имеет ограниченную теплоемкость — куда и как отводится тепло от самой жидкости?
                          Насколько сильно требуется переделывать имеющиеся маш. залы? Требуются, как минимум, стойки совершенно другого форм-фактора и, соответственно, увеличение площадей залов.
                          ИМХО, все это пока лишь изыскания и эксперименты. Ничего из этого не готово к серьезному применению.
                            0
                            тепло от самой жидкости отводится в процессе её конденсирования: www.allied-control.com/immersion-cooling
                            Ничего из этого не готово к серьезному применению
                            — ну так если не применять, понемногу, то откуда появятся наработки? Применяют. Понемногу)
                            0
                            Если уж и говорить про HPC, то почему не рассмотреть технологию прямого жидкостного охлаждения?
                            www.rscgroup.ru/ru/our-technologies/266-klasternaya-arhitektura-rsk-tornado

                            + надо понимать, что тепловыделение повышается не только у процессоров, с течением времени, но так же и у скоростных сетей передачи данных (IB, OPA) — Mellanox не первый год тестирует коммутатор с водяным охлаждением (http://www.datacenterdynamics.com/content-tracks/power-cooling/iceotope-and-mellanox-present-first-ever-liquid-cooled-switches/94435.fullarticle)

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое