Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению

    Всем привет!

    Мы продолжаем рассказывать о наших продуктах и в прошлой статье Сухая вода Novec 1230 для защиты серверных и не только было много вопросов об инновациях в сфере охлаждения серверных, поэтому решили выделить ответы на многие вопросы в отдельный пост! К тому же, совсем недавно наше решение использовалось на крупнейшей крипто-ферме в Гонконге!


    Узнаете формулы с доски?

    В статье обсуждаются возможности и преимущества пассивной двухфазной погружной системы охлаждения серверов на основе фторкетонов. В статье вас ждут интриги и расследования, разбор технологии и эксперименты!

    Воздушная система охлаждения

    Вначале обсудим ограничения традиционной воздушной системы охлаждения. Причинами малой эффективности традиционной системы воздушного охлаждения являются: действие второго закона термодинамики (необратимость тепловых процессов) вследствие множества процессов теплопереноса, перемешивание потоков холодного и нагретого воздуха, высокие показатели мощности, потребляемой охлаждающим оборудованием – чиллерами, кондиционерами и т.д., а также использование воздуха в качестве теплопередающего звена. При внедрении данных технологий в настоящий момент учитывают, что их эффективность снижена по одной или нескольким вышеназванным причинам.

    Охлаждаемые водой задние двери, канальная система воздушного охлаждения, стойки с принудительной циркуляцией ограничивают смешение воздушных потоков. Эти и некоторые другие технологии позволяют эксплуатировать систему без чиллера, переключаясь на использование экономайзера, когда позволяет погода.
    Системы с постоянно работающим экономайзером проще в своем устройстве и могут достигнуть показателя эффективности использования энергии <1.3. Такие серверные должны располагаться в районах с относительно холодным климатом.

    Стоит также учитывать другие неотъемлемые экономические аспекты и влияние на окружающую среду. Возможность управления потоком воздуха на уровне шасси, стойки или серверной добавляет значительную стоимость при установке каждого нового или расширения существующего дата-центра.
    Поэтому вопрос увеличения энергоэффективности стоит рассматривать не только с точки зрения того, как отвести избыточное тепло, но и с точки зрения того, как его использовать. Тем не менее, возможность и стоимость рекуперации отведенного тепла на любом расстоянии от дата-центра ограничены большим объемным потоком воздуха и низким значением его полезной работы.

    Рассмотрим традиционные системы жидкостного охлаждения и их ограничения


    Жидкостное охлаждение может уменьшить влияние вышеупомянутых причин низкой эффективности воздушного охлаждения, облегчить рекуперацию отведенного тепла и увеличить его термодинамическую доступность. В одном из исследований было проведено сравнение двух систем охлаждения для суперкомпьютера: гибридной системы воздушное/жидкостное охлаждение и воздушной системы. В том же исследовании была предсказана эффективность полностью жидкостной системы охлаждения и этой же системы, работающей в отсутствии чиллеров или с водным экономайзером.
    Последняя конфигурация позволяет сэкономить до 90% энергии на охлаждение по сравнению с кластером на воздушном охлаждении.

    Так в чем проблема?


    Тем не менее, внедрение традиционных жидкостных систем охлаждения, будь они одно- или двухфазными, закрытыми или с погружением, осложнено количеством и вариацией производящих тепло устройств в сервере и требованием, чтобы для каждого сервера в пределах стойки могла быть осуществлена процедура горячей замены (hot swap). Это усложняет задачу направления всего тепла, производимого на печатной плате, к внешнему потоку охлаждающей жидкости.
    Как результат, гибридная воздушно-жидкостная система охлаждения привносит расходы на дизайн и производство охлаждающих пластин, резервные насосы, подвод воды, быстроразъемные соединения, датчики и теплообменники.

    Полностью жидкостная система охлаждения часто еще более сложна и требует установки дополнительных охлаждающих пластин, грейферов (подъемников с цепляющим устройством) и герметичных электрических разъемов. Эффективность многих таких систем ограничена вторичным или даже третичным термоинтерфейсом и температурным скольжением охлаждающей жидкости (это явление изменение температуры кипящей жидкости в результате изменения состава). Также в системах, где рабочими жидкостями является гидрофторуглероды или перфторуглероды, могут возникать протечки, что ведет к выбросу веществ с высоким потенциалом глобального потепления в атмосферу.

    Таким образом, необходима простая, компактная система охлаждения, которая минимизирует использование природных ресурсов и выбросы вредных веществ. При этом должен осуществляться отвод всей выделяемой теплоты при минимизации разницы температур между активным слоем в чипе процессора и водой в качестве вторичного теплоносителя. Система должна быть модульной, масштабируемой с легкой настройкой под новое оборудование.

    Существующие системы жидкостного охлаждения


    Пассивная двухфазная погружная система охлаждения давно используется для охлаждения такого дорогостоящего электронного оборудования как трансформаторы, тяговые преобразователи, компьютеры специального назначения и клистроны. Данная технология относительно проста, надежна и эффективна.


    Тяговый преобразователь карьерного самосвала.

    В данных системах обычно используют емкости под давлением и герметичные электрические разъемы. Емкости вакуумируют и заполняются практически также как и холодильники и их обслуживание в полевых условиях невозможно. Создание аналогичной системы охлаждение для компьютеров будет дорогим и сложным вследствие огромного числа заменяемых компонентов и коннекторов. По этой причине многие вообще не рассматривают погружное охлаждение в контексте датакомовского оборудования.

    Паровой обезжириватель с открытой ванной


    Эти устройства широко используются в мире для прецизионной очистки различных деталей, начиная с шурупов и подшипников и заканчивая ортопедическими имплантами, печатными платами и инжекторными форсунками.


    Установка парового обезжиривания компании Reibesam.
    Этой технологии будет посвящена следующая статья.


    Обезжириватель представляет собой открытую прямоугольную емкость с двумя рядами охлаждающих змеевиков, установленными сверху по периметру. До определенной высоты емкость поделена на две части, или ванны, заполненные летучим растворителем. В первой ванне растворитель нагревается снизу и кипит. Пары поднимаются на высоту первого ряда охлаждающих змеевиков, создавая ниже данного уровня зону насыщенного пара. Конденсат стекает вниз и через водоотделитель попадает в ванну для ополаскивания. Таким образом, в результате дистилляции в эту ванну попадает только свободный от загрязнений растворитель.


    Схема устройства парового обезжиривателя.

    Данные системы способны очищать тысячи деталей в смену, потребляя малое количество растворителя. При этом большую часть времени они либо полностью открыты, либо прикрыты горизонтально перемещающейся крышкой, когда не используются. Минимизация потерь растворителя в результате уноса осуществляется за счет вторичных охлаждающих змеевиков, работающих при температуре ниже 0°С.

    Концепция погружного охлаждения в открытой ванне


    Эта концепция базируется на предпосылке, что электронное оборудование может быть охлаждено погружением в полуоткрытую ванну, которые во многом схожа с паровым обезжиривателем, рассмотренным выше. Термин «полуоткрытая» означает, что ванна закрыта, когда не требуется доступ к оборудованию и в качестве примера подобной конструкции можно привести морозильный ларь для еды. Так же как и он, ванна работает при атмосферном давлении и не имеет специальных герметичных разъемов для подводимого и отводимого электричества.

    В данной системе каждый сервер или узел подключен к объединительной панели на дне ванны (в отличие от задней стенки серверной стойки). Ванна частично заполнена летучей диэлектрической рабочей жидкостью.


    Модель открытой погружной системы охлаждения.

    Электрическая проводка ниже уровня жидкости заведена в канал, и выходит из него наверху емкости. Встроенный конденсатор паров охлаждается либо водопроводной водой, либо водой, используемой для комфортного отопления (да, есть такое понятие в США).
    Кроме того, пары могут пассивно течь в так называемую градирню с естественной тягой, отдавая тепло непосредственно наружному воздуху, без использования воды как промежуточного теплоносителя.


    Проект Allied Control с фторкетоном 3М – двухфазное погружное охлаждение в открытой ванне.

    Концепция имеет множество преимуществ по сравнению с традиционными системами жидкостного охлаждения. Основной принцип состоит в том, что пропадает надобность в большей части оборудования, обязательного для воздушного и жидкостного охлаждения, а соответственно и не рассматриваются вопросы, связанные с его установкой, надежностью и потребляемой мощностью. Плотность мощности и надежность системы очень высоки. Более того, данной технологии априори присуще противопожарные свойства.
    Конечно, в рамках данной модели следует рассмотреть и другие аспекты, например, потери рабочей жидкости в результате уноса. Но, так как они возникают в одном определенном месте, а не в бессчетном количестве разъемов, то легко могут быть посчитаны и снижены с помощью технических приемов, о которых мы расскажем далее.


    Внутри ванн тепло от десятков серверов вызывает кипение жидкости Novec.
    Её пары конденсируются на охлаждающем змеевике и возвращаются в систему.


    Тепловая эффективность


    Тепловая эффективность системы складывается их двух составляющих. Первое определяется конструкцией печатной платы и количественно выражается в разнице температур между активным слоем в чипе процессора, как основного элемента, который требуется охладить, и температурой рабочей жидкости. Второе составляющее определяется разницей температур между рабочей жидкостью и подводимой водой. При этом под температурой рабочей жидкости мы подразумеваем температуру её кипения при атмосферном давлении.

    Процессор в его типичной конфигурации в виде чипа, подложки и теплораспределительной крышки со встроенным радиатором почти идеально подходит для пассивной системы погружного охлаждения. В большинстве случаев требуется лишь нанесение 100-микронного слоя пористого металлического покрытия, которое улучшает теплоотдачу при кипении. Данные покрытия обеспечивают коэффициент теплопередачи > 10 Вт/cм2*К при тепловом потоке 30 Вт/cм2.
    Если внедрить операцию по нанесению покрытия уже на этапе производства процессора, то пропадет необходимость во вторичном термоинтерфейсе, обычно используемом в многих схемах жидкостного охлаждения.


    Модель погружной 2-х фазной системы охлаждения 3М.

    Следующим моментом, который стоит рассмотреть, будет оценка того, какую максимальную выделяемую мощность может охладить данная система. В одном из исследований авторы предполагают, что требуется 100 см3 рабочей жидкости, чтобы охладить 1кВт-й модуль при условии, что известна и учтена его конфигурация, то есть плотность расположения компонентов.

    Провели эксперименты


    Для эксперимента собрали модельную печатную плату с 20-ю тепловыделяющими керамическими элементами размерами 19*19 мм и мощностью 200 Вт каждый. При этом, с одной стороны к ним на эпоксидный клей крепится медный радиатор размером 30*30*3 мм, с нанесенным с противоположной стороны тем самым покрытием, увеличивающим теплопередачу при кипении. Термопары в рабочей жидкости и в каждом из элементов позволяют подсчитать индивидуальное тепловое сопротивление и убедиться, что элементы не переходят в режим пленочного кипения. Далее эту модельную печатную плату погружают в узкую вертикальную емкость той же формы с зазорами 4 и 7 мм между кипящей поверхностью и стенкой.


    Кипение Novec на криптоферме.

    В ходе эксперимента было показано, что данная конфигурация способна отводить 4 кВт тепла (200 Вт с каждого элемента) через 4 мм зазор при атмосферном давлении, если в качестве рабочей жидкости залит гидрофторэфир – С3F7OCH3. При этом 4 кВт эквивалентно тепловому потоку в 11,7 Вт/cм2 против потока в 1,7 Вт/cм2, наблюдаемом в суперкомпьютере Cray X1E при охлаждении распылением!
    Результаты эксперимента позволяют предположить, что значение в 1 кВт отводимой теплоты на 100 см3 рабочей жидкости определенно достижимы. Также значительно снижается количество используемых материалов и различного рода выбросы.

    Химия рабочих жидкостей


    В таблице ниже представлены свойства одного гидрофторэфира и двух фторкетонов. Они обладают необходимыми теплофизическими характеристиками, являются безопасными и совместимыми с различными материалами и были протестированы в открытой погружной системе охлаждения.
    Заметьте, диэлектрические характеристики фторкетонов схожи с аналогичными свойствами перфторуглерода С6F14, который часто использовался в погружных системах охлаждения. В тоже время, гидрофторэфир имеет более высокую диэлектрическую постоянную и более низкое сопротивление, что может ограничить его использование в некоторых случаях. Первый из представленных фторкетонов со значением потенциала глобального потепления всего лишь в 1, на сегодняшний день широко используется в мире как пожаротушаший агент.

    Свойство Рабочая жидкость
    Молекулярная формула С6F14 C6F9OH5 C6F12O C7F14O
    Тип ПФУ (перфторуглерод) ГФЭ (гидрофторэфир) ФК (фторкетон) ФК (фторкетон)
    Ткипения, °С 56 76 49 74
    Тзамерзания, °С < -100 < -100 < -100 < -100
    Твспышки, °С нет нет нет нет
    σ, мН/м 12 13,6 10,8 12,3
    k, Вт/м*К 0,057 0,068 0,059 ~ 0,06
    Сжид, Дж/кг*К 1050 1220 1103 1130
    ρ, кг/м3 1680 1420 1600 1670
    ν, сСт 0,4 0,41 0,4 0,52
    Рнасыщ. пара при 25°С, кПа 30,9 15,7 40,4 15,7
    Рнасыщ. пара при 100°С, кПа 350 206 441 228
    Удельное сопротивление, ГОм*м 1000000 0,1 10000 10000
    Диэлектрическая постоянная 1,76 7,3 1,84 1,85
    Потенциал глобального потепления 9300 55 1 1
    Среднесменная ПДК, ppm Не определена 200 150 150


    Экономичность системы с точки зрения потерь рабочей жидкости


    Действительно, это главный фактор, влияющий на жизнеспособность представленной системы.
    Существую формулы для подсчета потерь жидкости во время заполнения ёмкости, пуска и работы. Они позволяют сделать вывод, что наиболее эффективной мерой для уменьшения потерь в результате уноса паров будет создание такой конструкции, в которой восходящие пары будут улавливаться с помощью вторичного охлаждающего змеевика, который автоматически включается, когда температура системы превысит заданную допустимую температуру.


    В этих стеллажах находятся платы ASIC для майнинга, погруженные в жидкости Novec (установка находится в Гонконге).

    Результаты


    В ходе описанных выше экспериментов было показано, что при использовании коммерчески доступного фторкетона с температурой кипения 49°С в открытой ванне и потоке воды в 15 галлон (что примерно равно 3,785 *15 = 56,8 литра) в минуту, температура в активном слое чипа процессора не будет превышать 60°С. При этом достаточно использовать воду с температурой 28°С.

    Если же допустимо повышение температуры в активном слое процессора до 83°С, и при это объемный поток воды достигнет 30 галлонов в минуту, то можно использовать воду для первичных змеевиков с температурой уже 62°С.

    Плотность мощности, которую способна охладить емкость, равно 130 кВт/м2, что значительно выше предела в 52 кВт/м2, типичного для стоек с воздушным или гибридным охлаждением. При переходе к масштабу серверной с полностью жидкостной системой охлаждения подобного типа мы получаем 25 кВт/м2 против 2,2 кВт/м2 для серверной с воздушным охлаждением.

    Кроме того, данная система значительно экономит место, так как не требуется устанавливать дополнительное оборудование, обязательное для воздушной системы охлаждения. Отводимое тепло можно использовать для отопления зданий, обогрева теплиц и других объектов.

    Практическая реализация


    Пример реализации новой концепции охлаждения можно посмотреть здесь.

    Где еще можно узнать информацию?

    На нашем сайте.

    Где можно купить?


    Звоните нам по многоканальному телефону +7 495 784 7474.
    Задавайте вопросы в комментариях, мы на все постараемся ответить!

    У вас есть еще что-нибудь почитать?


    Конечно!
    » Сухая вода Novec 1230 для защиты серверных и не только
    » Как безопасно читать Хабр на работе с помощью наших экранов защиты информации
    » Из спрея в пленку в один пшик. Paint Defender: защитная пленка на кузов автомобиля
    » Технология трассопоиска и электронной маркировки подземных инженерных коммуникаций. Часть 1

    Если мы допустили какие-либо ошибки, пишите в ЛС, мы все оперативно поправим. Не забывайте, мы ошибку поправим, а ваш коммент останется висеть.

    Спасибо за внимание, надеемся, статья для вас оказалась полезной!

    Правовая информация
    Наименования 3M и Novec являются зарегистрированными товарными знаками.


    UPD: Спасибо за указание на биткоин-ферму WarP.
    3M Россия
    Company

    Comments 32

    • UFO just landed and posted this here
        +5
        Вот этот взлгяд
        image
          +1
          Там даже написано, что какие-то формулы есть на её фоне. Но я не вижу формул!
          +8
          Это наша сотрудница Анна Евсеева, правда теперь никогда не пойдет фотографироваться для статьи: (
          Для следующего поста сфотографируем с продукцией наших айтишников, они как раз в свитерах начали ходить.
          • UFO just landed and posted this here
              +2
              С удовольствием увидел бы Диму и Костю в свитерах. Анна, как всегда, прекрасна!
                +2
                Я думаю, что на Анну в свитере многие бы с удовольствием посмотрели бы.
                  +4
                  И без свитера тоже…
              +13
              Огромная просьба: если вы минусуете, напишите в ЛС причину, чтобы в следующий раз мы не допускали ошибок.
              Мы уже убрали все маркетинговые тексты, торговые знаки, посты не по тематике сайта и прочее, о чем вы писали в комментариях и продолжаем учитываем каждое замечание!
              • UFO just landed and posted this here
                +4
                Какая примерно цена, хоть порядок скажите, литр за доллар или за сотню.
                  –5
                  Звоните, расскажем.
                    +1
                    как меня вымораживают такие ответы. Ищешь оборудование в интернете, везде «запрашивайте цену». Сразу понимаешь, сейчас на бабло разводить будут, цена явно от твоего кошелька зависит…
                  +6
                  habr.habrastorage.org/post_images/d7c/ba5/aef/d7cba5aefbeccbc968a295d2aa94c01a.jpg — да это же ферма биткоинов из гонконга =) (дада, эти платы — это ASICи)
                    +1
                    Да, вы правы, вот тут больше фотографий.
                      0
                      Суровый гонконгский майнинг
                    0
                    Не описаны проблемы с техобслуживанием. Токсичные жидкости, невозможность быстро «глянуть, что там происходит».

                    Плюс вода. В серверной. Противоестетственное сочетание.
                      0
                      Да какое ж оно противоестественное? Наоборот это «назад к истокам»! Сделано чуток поинтереснее, чем в системах четвертьвековой давности, но принцип во многом похож.
                        0
                        Вода в данном случае в охлаждающих змеевиках установки. Подвод/отвод может быть вынесен за серверную, если ванные поставить, например, к стене.
                        0
                        Токсичная жидкость, невозможность горячей замены компонентов… Пожалуй слишком жирные минусы.
                          0
                          Антифриз и незамерзайка в автомобиле тоже токсичны.
                            0
                            Но и используются они не в непосредственной близости от рабочего места в закрытом помещении, где при утечке возможно неявное увеличение концентрации в воздухе и длительное пассивное вдыхание.
                              0
                              Незамерзайкой водители и пассажиры прямо-таки дышат.
                              Антифризом при наличии даже незначительных утечек — тоже.
                              Не думаю, что регулярная ингаляция парами изопропилового спирта и этиленгликоля полезна для человека.
                            +1
                            Горячая замена как раз возможна — «отключаете» плату из нижнего разъема и вынимаете. Жидкость полностью испаряется с неё практически сразу — в течении нескольких секунд. В итоге получаете чистую плату. Это удобнее и быстрее, чем если бы ее пришлось сначала вынимать из герметичного корпуса.
                              0
                              А на сколько жидкость токсична? Я так понимаю применять её для охлаждения домашнего компьютера нельзя?
                                0
                                По моему это обсуждалось в посте про Novec для пожаротушения и пришли к выводу коллективно, что при должной организации — не особо токсично.
                                0
                                По поводу вопроса про токсичность: количественно она может быть отражена в среднесменной ПДК.
                                Среднесменная ПДК для фторкетона — 150 ppm, то есть 150 частиц на миллион, или 1970 мг на кубометр воздуха при 25С.
                                Теперь вопрос в том, при каких условиях и в течении какого времени возможно достижение такой концентрации.
                                Замечу, что унос паров из установки минимизирован за счет двойного ряда охлаждающих змеевиков и в помещении над ней не требуется установка вытяжной вентиляции.
                            +2
                            С оптимизацией способов охлаждения уже не за горами видны мини-термоядерные установки -)
                              +2
                              Симпатичная девушка.
                                0
                                Эпопея с Novec тянется с 2004 года, ровно как и потребительский интерес к ней. И все же, за 12 лет дальше баллончика для очистки потребительский уровень не продвинулся. А ведь много кто хочет себе домашний ПК с погружным охлаждением.

                                Прецеденты были, к примеру Zotac Vapor Phase в 2012 году. Но дальше тестового стенда дело не пошло.

                                В теории, что мешает организовать аквариум с этой жидкостью, закрытый алюминиевой или медной крышкой в качестве радиатора? Novec 1230 разрушается под действием ультрафиолета, насколько я понял. Но с той жидкостью, что использована в посте (что-то из серии Novec 7XXX?), явно нет таких проблем, ведь так?

                                Я бы сам с радостью попробовал, изготовить аквариум и крышку — не проблема. Проблема в том, чтобы купить эту жидкость. На сайте все цены «уточняйте по телефону», что как бы намекает на то, что купить придется не меньше 1000 литров по цене Over9000. А нужно то не больше 20.

                                Можно было бы, конечно, купить и весь этот объем, а потом излишки перепродать желающим в розницу, но такой исход вряд ли допускает политика вашей компании.

                                До коли 3M будет обходить простых смертных стороной?

                                Only users with full accounts can post comments. Log in, please.