Как стать автором
Обновить
0

Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению

Время на прочтение10 мин
Количество просмотров45K
Всем привет!

Мы продолжаем рассказывать о наших продуктах и в прошлой статье Сухая вода Novec 1230 для защиты серверных и не только было много вопросов об инновациях в сфере охлаждения серверных, поэтому решили выделить ответы на многие вопросы в отдельный пост! К тому же, совсем недавно наше решение использовалось на крупнейшей крипто-ферме в Гонконге!


Узнаете формулы с доски?

В статье обсуждаются возможности и преимущества пассивной двухфазной погружной системы охлаждения серверов на основе фторкетонов. В статье вас ждут интриги и расследования, разбор технологии и эксперименты!

Воздушная система охлаждения

Вначале обсудим ограничения традиционной воздушной системы охлаждения. Причинами малой эффективности традиционной системы воздушного охлаждения являются: действие второго закона термодинамики (необратимость тепловых процессов) вследствие множества процессов теплопереноса, перемешивание потоков холодного и нагретого воздуха, высокие показатели мощности, потребляемой охлаждающим оборудованием – чиллерами, кондиционерами и т.д., а также использование воздуха в качестве теплопередающего звена. При внедрении данных технологий в настоящий момент учитывают, что их эффективность снижена по одной или нескольким вышеназванным причинам.

Охлаждаемые водой задние двери, канальная система воздушного охлаждения, стойки с принудительной циркуляцией ограничивают смешение воздушных потоков. Эти и некоторые другие технологии позволяют эксплуатировать систему без чиллера, переключаясь на использование экономайзера, когда позволяет погода.
Системы с постоянно работающим экономайзером проще в своем устройстве и могут достигнуть показателя эффективности использования энергии <1.3. Такие серверные должны располагаться в районах с относительно холодным климатом.

Стоит также учитывать другие неотъемлемые экономические аспекты и влияние на окружающую среду. Возможность управления потоком воздуха на уровне шасси, стойки или серверной добавляет значительную стоимость при установке каждого нового или расширения существующего дата-центра.
Поэтому вопрос увеличения энергоэффективности стоит рассматривать не только с точки зрения того, как отвести избыточное тепло, но и с точки зрения того, как его использовать. Тем не менее, возможность и стоимость рекуперации отведенного тепла на любом расстоянии от дата-центра ограничены большим объемным потоком воздуха и низким значением его полезной работы.

Рассмотрим традиционные системы жидкостного охлаждения и их ограничения


Жидкостное охлаждение может уменьшить влияние вышеупомянутых причин низкой эффективности воздушного охлаждения, облегчить рекуперацию отведенного тепла и увеличить его термодинамическую доступность. В одном из исследований было проведено сравнение двух систем охлаждения для суперкомпьютера: гибридной системы воздушное/жидкостное охлаждение и воздушной системы. В том же исследовании была предсказана эффективность полностью жидкостной системы охлаждения и этой же системы, работающей в отсутствии чиллеров или с водным экономайзером.
Последняя конфигурация позволяет сэкономить до 90% энергии на охлаждение по сравнению с кластером на воздушном охлаждении.

Так в чем проблема?


Тем не менее, внедрение традиционных жидкостных систем охлаждения, будь они одно- или двухфазными, закрытыми или с погружением, осложнено количеством и вариацией производящих тепло устройств в сервере и требованием, чтобы для каждого сервера в пределах стойки могла быть осуществлена процедура горячей замены (hot swap). Это усложняет задачу направления всего тепла, производимого на печатной плате, к внешнему потоку охлаждающей жидкости.
Как результат, гибридная воздушно-жидкостная система охлаждения привносит расходы на дизайн и производство охлаждающих пластин, резервные насосы, подвод воды, быстроразъемные соединения, датчики и теплообменники.

Полностью жидкостная система охлаждения часто еще более сложна и требует установки дополнительных охлаждающих пластин, грейферов (подъемников с цепляющим устройством) и герметичных электрических разъемов. Эффективность многих таких систем ограничена вторичным или даже третичным термоинтерфейсом и температурным скольжением охлаждающей жидкости (это явление изменение температуры кипящей жидкости в результате изменения состава). Также в системах, где рабочими жидкостями является гидрофторуглероды или перфторуглероды, могут возникать протечки, что ведет к выбросу веществ с высоким потенциалом глобального потепления в атмосферу.

Таким образом, необходима простая, компактная система охлаждения, которая минимизирует использование природных ресурсов и выбросы вредных веществ. При этом должен осуществляться отвод всей выделяемой теплоты при минимизации разницы температур между активным слоем в чипе процессора и водой в качестве вторичного теплоносителя. Система должна быть модульной, масштабируемой с легкой настройкой под новое оборудование.

Существующие системы жидкостного охлаждения


Пассивная двухфазная погружная система охлаждения давно используется для охлаждения такого дорогостоящего электронного оборудования как трансформаторы, тяговые преобразователи, компьютеры специального назначения и клистроны. Данная технология относительно проста, надежна и эффективна.


Тяговый преобразователь карьерного самосвала.

В данных системах обычно используют емкости под давлением и герметичные электрические разъемы. Емкости вакуумируют и заполняются практически также как и холодильники и их обслуживание в полевых условиях невозможно. Создание аналогичной системы охлаждение для компьютеров будет дорогим и сложным вследствие огромного числа заменяемых компонентов и коннекторов. По этой причине многие вообще не рассматривают погружное охлаждение в контексте датакомовского оборудования.

Паровой обезжириватель с открытой ванной


Эти устройства широко используются в мире для прецизионной очистки различных деталей, начиная с шурупов и подшипников и заканчивая ортопедическими имплантами, печатными платами и инжекторными форсунками.


Установка парового обезжиривания компании Reibesam.
Этой технологии будет посвящена следующая статья.


Обезжириватель представляет собой открытую прямоугольную емкость с двумя рядами охлаждающих змеевиков, установленными сверху по периметру. До определенной высоты емкость поделена на две части, или ванны, заполненные летучим растворителем. В первой ванне растворитель нагревается снизу и кипит. Пары поднимаются на высоту первого ряда охлаждающих змеевиков, создавая ниже данного уровня зону насыщенного пара. Конденсат стекает вниз и через водоотделитель попадает в ванну для ополаскивания. Таким образом, в результате дистилляции в эту ванну попадает только свободный от загрязнений растворитель.


Схема устройства парового обезжиривателя.

Данные системы способны очищать тысячи деталей в смену, потребляя малое количество растворителя. При этом большую часть времени они либо полностью открыты, либо прикрыты горизонтально перемещающейся крышкой, когда не используются. Минимизация потерь растворителя в результате уноса осуществляется за счет вторичных охлаждающих змеевиков, работающих при температуре ниже 0°С.

Концепция погружного охлаждения в открытой ванне


Эта концепция базируется на предпосылке, что электронное оборудование может быть охлаждено погружением в полуоткрытую ванну, которые во многом схожа с паровым обезжиривателем, рассмотренным выше. Термин «полуоткрытая» означает, что ванна закрыта, когда не требуется доступ к оборудованию и в качестве примера подобной конструкции можно привести морозильный ларь для еды. Так же как и он, ванна работает при атмосферном давлении и не имеет специальных герметичных разъемов для подводимого и отводимого электричества.

В данной системе каждый сервер или узел подключен к объединительной панели на дне ванны (в отличие от задней стенки серверной стойки). Ванна частично заполнена летучей диэлектрической рабочей жидкостью.


Модель открытой погружной системы охлаждения.

Электрическая проводка ниже уровня жидкости заведена в канал, и выходит из него наверху емкости. Встроенный конденсатор паров охлаждается либо водопроводной водой, либо водой, используемой для комфортного отопления (да, есть такое понятие в США).
Кроме того, пары могут пассивно течь в так называемую градирню с естественной тягой, отдавая тепло непосредственно наружному воздуху, без использования воды как промежуточного теплоносителя.


Проект Allied Control с фторкетоном 3М – двухфазное погружное охлаждение в открытой ванне.

Концепция имеет множество преимуществ по сравнению с традиционными системами жидкостного охлаждения. Основной принцип состоит в том, что пропадает надобность в большей части оборудования, обязательного для воздушного и жидкостного охлаждения, а соответственно и не рассматриваются вопросы, связанные с его установкой, надежностью и потребляемой мощностью. Плотность мощности и надежность системы очень высоки. Более того, данной технологии априори присуще противопожарные свойства.
Конечно, в рамках данной модели следует рассмотреть и другие аспекты, например, потери рабочей жидкости в результате уноса. Но, так как они возникают в одном определенном месте, а не в бессчетном количестве разъемов, то легко могут быть посчитаны и снижены с помощью технических приемов, о которых мы расскажем далее.


Внутри ванн тепло от десятков серверов вызывает кипение жидкости Novec.
Её пары конденсируются на охлаждающем змеевике и возвращаются в систему.


Тепловая эффективность


Тепловая эффективность системы складывается их двух составляющих. Первое определяется конструкцией печатной платы и количественно выражается в разнице температур между активным слоем в чипе процессора, как основного элемента, который требуется охладить, и температурой рабочей жидкости. Второе составляющее определяется разницей температур между рабочей жидкостью и подводимой водой. При этом под температурой рабочей жидкости мы подразумеваем температуру её кипения при атмосферном давлении.

Процессор в его типичной конфигурации в виде чипа, подложки и теплораспределительной крышки со встроенным радиатором почти идеально подходит для пассивной системы погружного охлаждения. В большинстве случаев требуется лишь нанесение 100-микронного слоя пористого металлического покрытия, которое улучшает теплоотдачу при кипении. Данные покрытия обеспечивают коэффициент теплопередачи > 10 Вт/cм2*К при тепловом потоке 30 Вт/cм2.
Если внедрить операцию по нанесению покрытия уже на этапе производства процессора, то пропадет необходимость во вторичном термоинтерфейсе, обычно используемом в многих схемах жидкостного охлаждения.


Модель погружной 2-х фазной системы охлаждения 3М.

Следующим моментом, который стоит рассмотреть, будет оценка того, какую максимальную выделяемую мощность может охладить данная система. В одном из исследований авторы предполагают, что требуется 100 см3 рабочей жидкости, чтобы охладить 1кВт-й модуль при условии, что известна и учтена его конфигурация, то есть плотность расположения компонентов.

Провели эксперименты


Для эксперимента собрали модельную печатную плату с 20-ю тепловыделяющими керамическими элементами размерами 19*19 мм и мощностью 200 Вт каждый. При этом, с одной стороны к ним на эпоксидный клей крепится медный радиатор размером 30*30*3 мм, с нанесенным с противоположной стороны тем самым покрытием, увеличивающим теплопередачу при кипении. Термопары в рабочей жидкости и в каждом из элементов позволяют подсчитать индивидуальное тепловое сопротивление и убедиться, что элементы не переходят в режим пленочного кипения. Далее эту модельную печатную плату погружают в узкую вертикальную емкость той же формы с зазорами 4 и 7 мм между кипящей поверхностью и стенкой.


Кипение Novec на криптоферме.

В ходе эксперимента было показано, что данная конфигурация способна отводить 4 кВт тепла (200 Вт с каждого элемента) через 4 мм зазор при атмосферном давлении, если в качестве рабочей жидкости залит гидрофторэфир – С3F7OCH3. При этом 4 кВт эквивалентно тепловому потоку в 11,7 Вт/cм2 против потока в 1,7 Вт/cм2, наблюдаемом в суперкомпьютере Cray X1E при охлаждении распылением!
Результаты эксперимента позволяют предположить, что значение в 1 кВт отводимой теплоты на 100 см3 рабочей жидкости определенно достижимы. Также значительно снижается количество используемых материалов и различного рода выбросы.

Химия рабочих жидкостей


В таблице ниже представлены свойства одного гидрофторэфира и двух фторкетонов. Они обладают необходимыми теплофизическими характеристиками, являются безопасными и совместимыми с различными материалами и были протестированы в открытой погружной системе охлаждения.
Заметьте, диэлектрические характеристики фторкетонов схожи с аналогичными свойствами перфторуглерода С6F14, который часто использовался в погружных системах охлаждения. В тоже время, гидрофторэфир имеет более высокую диэлектрическую постоянную и более низкое сопротивление, что может ограничить его использование в некоторых случаях. Первый из представленных фторкетонов со значением потенциала глобального потепления всего лишь в 1, на сегодняшний день широко используется в мире как пожаротушаший агент.

Свойство Рабочая жидкость
Молекулярная формула С6F14 C6F9OH5 C6F12O C7F14O
Тип ПФУ (перфторуглерод) ГФЭ (гидрофторэфир) ФК (фторкетон) ФК (фторкетон)
Ткипения, °С 56 76 49 74
Тзамерзания, °С < -100 < -100 < -100 < -100
Твспышки, °С нет нет нет нет
σ, мН/м 12 13,6 10,8 12,3
k, Вт/м*К 0,057 0,068 0,059 ~ 0,06
Сжид, Дж/кг*К 1050 1220 1103 1130
ρ, кг/м3 1680 1420 1600 1670
ν, сСт 0,4 0,41 0,4 0,52
Рнасыщ. пара при 25°С, кПа 30,9 15,7 40,4 15,7
Рнасыщ. пара при 100°С, кПа 350 206 441 228
Удельное сопротивление, ГОм*м 1000000 0,1 10000 10000
Диэлектрическая постоянная 1,76 7,3 1,84 1,85
Потенциал глобального потепления 9300 55 1 1
Среднесменная ПДК, ppm Не определена 200 150 150


Экономичность системы с точки зрения потерь рабочей жидкости


Действительно, это главный фактор, влияющий на жизнеспособность представленной системы.
Существую формулы для подсчета потерь жидкости во время заполнения ёмкости, пуска и работы. Они позволяют сделать вывод, что наиболее эффективной мерой для уменьшения потерь в результате уноса паров будет создание такой конструкции, в которой восходящие пары будут улавливаться с помощью вторичного охлаждающего змеевика, который автоматически включается, когда температура системы превысит заданную допустимую температуру.


В этих стеллажах находятся платы ASIC для майнинга, погруженные в жидкости Novec (установка находится в Гонконге).

Результаты


В ходе описанных выше экспериментов было показано, что при использовании коммерчески доступного фторкетона с температурой кипения 49°С в открытой ванне и потоке воды в 15 галлон (что примерно равно 3,785 *15 = 56,8 литра) в минуту, температура в активном слое чипа процессора не будет превышать 60°С. При этом достаточно использовать воду с температурой 28°С.

Если же допустимо повышение температуры в активном слое процессора до 83°С, и при это объемный поток воды достигнет 30 галлонов в минуту, то можно использовать воду для первичных змеевиков с температурой уже 62°С.

Плотность мощности, которую способна охладить емкость, равно 130 кВт/м2, что значительно выше предела в 52 кВт/м2, типичного для стоек с воздушным или гибридным охлаждением. При переходе к масштабу серверной с полностью жидкостной системой охлаждения подобного типа мы получаем 25 кВт/м2 против 2,2 кВт/м2 для серверной с воздушным охлаждением.

Кроме того, данная система значительно экономит место, так как не требуется устанавливать дополнительное оборудование, обязательное для воздушной системы охлаждения. Отводимое тепло можно использовать для отопления зданий, обогрева теплиц и других объектов.

Практическая реализация


Пример реализации новой концепции охлаждения можно посмотреть здесь.

Где еще можно узнать информацию?

На нашем сайте.

Где можно купить?


Звоните нам по многоканальному телефону +7 495 784 7474.
Задавайте вопросы в комментариях, мы на все постараемся ответить!

У вас есть еще что-нибудь почитать?


Конечно!
» Сухая вода Novec 1230 для защиты серверных и не только
» Как безопасно читать Хабр на работе с помощью наших экранов защиты информации
» Из спрея в пленку в один пшик. Paint Defender: защитная пленка на кузов автомобиля
» Технология трассопоиска и электронной маркировки подземных инженерных коммуникаций. Часть 1

Если мы допустили какие-либо ошибки, пишите в ЛС, мы все оперативно поправим. Не забывайте, мы ошибку поправим, а ваш коммент останется висеть.

Спасибо за внимание, надеемся, статья для вас оказалась полезной!

Правовая информация
Наименования 3M и Novec являются зарегистрированными товарными знаками.


UPD: Спасибо за указание на биткоин-ферму WarP.
Теги:
Хабы:
Всего голосов 73: ↑52 и ↓21+31
Комментарии32

Публикации

Информация

Сайт
www.3mrussia.ru
Дата регистрации
Дата основания
1902
Численность
Неизвестно
Местоположение
Россия

Истории