Краткий экскурс в системы охлаждения ЦОД. Плюсы и минусы

Как-то так получилось, что на Хабре объявили день охлаждения ЦОД.

Надо поучаствовать, т.к. в этой теме я уже скоро два десятка лет.
КДПВ — маленькая.



Экскурс — краткий. Очень краткий.

Фреон

Старый добрый. Он же DX. Он же прямое расширение. Он же Гога...

Плюсы:

• Дешево и сердито;
• Просто организовать любую степень надежности для получения сертификата от Uptime Institute;
• Сложно в мире найти место, где нет специалиста, который бы мог это обслужить и/или отремонтировать.

Минусы:

• Самый высокий PUE (что плохо. Не буду здесь сейчас объяснять про PUE. Про это надо отдельную статью писать. Там все не так просто, как может показаться на первый взгляд. Но в другой раз.);
• Любой сбой в питании и… охлаждения нет. Т.е. или ставить ИБП на все фреоновые кондиционеры, или находить баланс между нагрузкой и объемом воздуха в машзале, чтобы на время работы от ИБП хватило запасов холодного воздуха; (тут, кстати, кроется и основной аргумент против апологетов «холодных коридоров». Но про «коридоры» — это тоже отдельная грустная история.) С ИБП на фреоновые кондиционеры тоже есть проблема — компрессор при запуске «кушает» от 3 до 7 номиналов. Типичный ИБП при таком издевательстве — бросает нагрузку. Есть, конечно, кондиционеры с частотным регулятором для компрессора, но… пока такие варианты примерно никак не работают с низкотемпературными комплектами в зимнее время. Не готов объяснить физику процесса, но из опыта уважаемых людей — это так. В результате, или ИБП с семикратным запасом, или перезаклад по объему воздуха в помещении;
• Плохо работает при слишком низких нагрузках. Или нужно отказываться от «прецизионности», или вообще ставить в помещение калориферы, чтобы нагрузка на кондиционер попала в допустимый диапазон, или мириться с частой заменой компрессоров. Что хуже — многие кондиционеры имеют неотключаемую защиту от слишком частого включения компрессоров и кондиционер просто выключается с сообщением об ошибке. (Это еще одна отдельная тема, про особенности работы фреонового цикла...);
• Есть риски при резких значительных изменениях нагрузки, как, например, в суперкомпьютерах. Например: посчитали задачку, нагрузка упала со 100% до 5%, загрузилась новая задачка, нагрузка поднялась с 5% до 100… Но не прошло 3 минуты! А у некоторых кондиционеров есть таймер, блокирующий включение компрессора на 3 минуты после выключения… А на 100% нагрузке в суперкомпьютере в машзале прирост температуры — от градуса в секунду и выше… Дальше уже как повезет;
• Большие проблемы с работой при сильно отрицательных температурах. -10 — -15 еще ничего. -30 и ниже — тянет за собой дополнительные ресиверы, клапана и автоматику. Не все умеют проектировать. Не все умеют настраивать. Не все «низкотемпературные» комплекты реально выдерживают заявленные температуры. Если вам нужна «фреонка», которая точно будет работать при -40, обращайтесь в компании, у которых есть живые объекты в регионах, где зимой бывает -40.
• Чуть менее страшно в свежих моделях кондиционеров. Но все еще — снижают влажность. Типичная температура испарителя фреонового кондиционера — ниже точки росы для стандартных 20С 50%RH для машзала. Соответственно, требуется увлажнение воздуха. В зависимости от метода реализации увлажнения, конструкции помещения, настроек вентиляции, может потянуть еще 0.1-0.2 в плюс к PUE...

Фреон с фрикулингом

Тот же DX, но в шкафу кондиционера стоит еще один теплообменник, в котором живет раствор (этилен) гликоля. При температурах ниже примерно на пять градусов от «уставки» — фреоновый контур отключается, включается помпа в «гликолевом контуре» и все расходы на охлаждение — электричество на работу помпы и вентиляторов.

Плюсы:

• Все то же, что и для фреона, т.к. если с гликолевым контуром проблемы, примерно всегда автоматически возвращается в работу фреоновая часть кондиционера;
• Заметное снижение (что хорошо) PUE даже в жарких странах;
• При правильном резервировании в гликолевой части, не требуется использование низкотемпературных комплектов во фреоновой части. Мелочь, но в Норильске, например, может оказаться полезно.

Минусы:

• Как повезет. В зависимости от прошивки, настроек, производителя, можно получить все минусы фреоновой системы летом, а зимой получить все минусы чиллерной системы с фрикулингом (будет описано чуть ниже). Как минимум — летом будут все проблемы с обеспечением бесперебойного питания;
• Усложнение внутреннего блока системы с соответствующим уменьшением количества мастеров, которые возьмутся его ремонтировать;
• Удвоение трубопроводов (не совсем, но все же...);
• Удвоение пространства под внешние блоки (почти всегда), т.к. к конденсаторам фреонового контура добавляются драйкулеры гликолевого контура;
• Как результат всех вышеперечисленных минусов — система дороже в проектировании, строительстве и эксплуатации.

Чиллерная система

Тут можно писать цикл статей на год ежедневных публикаций. Ну или очень толстый учебник.
Есть масса вариантов реализации.

Коротко:

Чиллер — устройство для охлаждения жидкости и поддержания заданной (низкой) температуры жидкости на выходе.

В результате система охлаждения состоит из чиллеров, которые охлаждают воду, трубопроводов с арматурой и очень простых кондиционеров (часто можно встретить в русскоязычных источниках слово «доводчик») в которых стоит теплообменник вода-воздух, регулирующий клапан и вентилятор.

В глобальном плане, то, что описано в плюсах-минусах в чистом виде уже почти никогда не применяется.

Плюсы:

• За счет большей теплоемкости воды, примерно полное отсутствие проблем при сильно переменных нагрузках. Особенно если применен следующий плюс;
• Можно в контур поставить бак. Большой. Или очень большой. Почти бесплатный на фоне цены чиллеров. И охлажденную воду сливать сначала туда. Тогда, при любых проблемах в системе охлаждения или энергоснабжения, достаточно обеспечивать циркуляцию жидкости в контуре, чтобы компьютеры не перегрелись сразу, за 15-40 секунд, как для обычного суперкомпьютера, например, а перегрелись через 15-20 минут за которые уже даже спящий админ проснется и или все починит, или все погасит.
• Для обеспечения бесперебойности достаточно запитать от ИБП циркуляционные насосы. Если насосы с частотным регулятором, то даже не нужно давать запас на пусковые токи;
• Да, для обслуживания нужно больше специалистов, нужен кроме фреонового кондиционерщика еще и сантехник, но трудно найти на планете место, где нет хотя бы одного квалифицированного сантехника.

Минусы:

• Очень сильно зависят от того, как устроена система. Слишком много вариантов реализации;
• В общем случае — заметно дороже фреоновой системы;
• В больших системах приходится делать два контура — гликолевый «на улицу» и через теплообменник «водяной» внутри ЦОД/здания;
• PUE такой же или хуже, чем у «фреонки». Т.к. к фреонке добавляются циркуляционные насосы.

Чиллерная система с фрикулингом

Вариант 1. Который не такой хороший.

Это чиллерная система. Но в ней есть или отдельная группа драйкулеров, или встроенные в общий конструктив драйкулеры, на которые система переключается в момент, когда вся необходимая мощность охлаждения может быть обеспечена фрикулингом.

Плюсы:

• «Пол года плохая погода, Пол года совсем никуда»… Пока плохая погода, холодно и мерзко на улице… охлаждение почти бесплатное. Работают только насосы и вентиляторы;
• Простая реализация для большинства вариаций чиллерных систем;
• Севернее Сочи — вполне неплохой PUE.

Минусы:

• Только то, что есть более правильный вариант, если по большому счету.

Чиллерная система с правильным фрикулингом

До относительно недавнего времени — было только у одного производителя. Толи сейчас патенты истекли, толи все лицензию купили, но вариантов стало больше.

Плюсы:

• Все, что и для чиллерной системы с фрикулингом;
• В дополнение, если температура воздуха на улице ниже температуры ОЖ на входе в чиллер — жидкость сначала идет в контр фрикулинга. Если после контура фрикулинга жидкость все еще имеет температуру выше уставки — жидкость направляется во фреоновый испаритель и в работу подключается фреоновый контур. Вроде бы мелочь, но для Москвы увеличивает в среднем за год время полезности фрикулинга на 2-4 месяца и, бывает, даже в июле экономит электричество.

Минусы:

• Да в общем их нет. (Вы заметили? Это мой любимый вариант!). Да, система получается дороже, чем фреон, и чуть дороже, чем обычная чиллерная система. Но, как ни странно, обычно не дороже, чем «обычная» чиллерная система с фрикулингом.

Воздушный фрикулинг

Есть, грубо, три варианта — роторный теплообменник, открытый воздушный контур и закрытый воздушный контур. Плюс в каждом из вариантов можно добавить «адиабатику»…

Роторный теплообменник

Есть внутренний контур циркуляции воздуха, где нагретый воздух поступает в установку, проходит через половину медлено вращающегося «колеса», где охлаждается и идет в машзал. И внешний контур. Где уличный воздух заходит в установку, проходит через другую половинку медленно вращающегося «колеса», где нагревается, и уходит на улицу. Плюс, обычно, на случай сильно жаркой погоды в систему добавляют испаритель на выходе внутреннего контура и конденсатор на выход внешнего контура.

Плюсы:

• Хороший PUE;
• Примерно замкнутый внутренний контур, увлажнение воздуха требуется редко;
• Фреоновый контур используется только в очень жаркую погоду.

Минусы:

• Невозможность полной герметичности стыка с теплообменным колесом. В результате, есть перетоки воздуха;
• Из-за этого потенциально есть проблемы с пожарными датчиками, когда горит что-то снаружи;
• Почему-то производители хотят за эту систему очень много денег. Несмотря на кажущуюся простоту.

Открытый воздушный контур

Наиболее знаменит Фейсбук, но есть еще несколько производителей и инсталляций. В общем и целом, такой вариант примерно всегда можно загнать в заданные заказчиком рамки «цена-качество».

Плюсы:

• Очень простая система с точки зрения механики — вентиляторы, две управляемых заслонки;
• Дешево при постройке «в чистом поле» (Green Field);
• Очень хороший PUE. Затраты только на вентиляторы, увлажнение и фильтры;
• Хорошо реализуется для модульных ЦОД и контейнерных майнинг-ферм.

Минусы:

• Дождь. Да, он самый: мокрые противные капли воды сверху. Однажды в ЦОД Фейсбук под потолком собралась туча из которой пошел дождь… А всего-то небольшой баг в системе контроля температуры и влажности...;
• Требуется наличие фреоновой системы охлаждения, если температура «за бортом» может быть выше допустимой температуры в машзале;
• Требуется иметь 100% мощности на фреоновых кондиционерах если нужно продолжать работать при пожаре снаружи ЦОД (например, для Москвы и окрестностей, на случай горящих торфяников);
• Увлажнение в регионах с низкой влажностью может потребовать больших расходов воды.

Закрытый воздушный контур

Как правило, с использованием перекрестноточного теплообменника воздух-воздух. Воздух внутреннего контура охлаждается воздухом внешнего контура. Без адиабатики — примерно те же плюсы и минусы, как и для роторного теплообменника и открытого контура за исключением:

Плюсы:

• Нет перетоков воздуха;
• Сниженные затраты на увлажнение по сравнению с открытым контуром и колесом;
• Не требуется менять режим работы при пожарах снаружи.

Минусы:

• Температура внутри всегда будет выше температуры снаружи, если не использовать фреоновую систему для доохлаждения в теплое время года. Ну или, плюс к этому, адиабатику...

Фрикулинг с адиабатикой (Такой вариант мне тоже очень нравится...).

Общий смысл в том, что теплота испарения воды — примерно, 2.2 МДж на кг. Вода в потоке воздуха почти всегда будет испаряться. Если мы будем распылять воду в потоке воздуха, то мы не только повысим влажность, но и снизим температуру.

Плюсы:

1. При правильной реализации (с закрытым контуром) — для эксплуатации на большей части Европы достаточно 15-20% мощности фреоновой системы от общей мощности системы охлаждения;
2. При правильной реализации — PUE может быть 1.1 для большей части Европы и ниже для большей части России.

Минусы:

• Довольно большой расход воды. Начиная с температур порядка +12 — +14 градусов;
• Для Tier III требуется или резервный источник воды, или запас воды на все требуемое время работы от ДГУ (примерно 36 часов… Это очень много воды, зарезервированные насосы для ее подкачки, три крана на каждый тройник и прочие радости Tier III);
• В некоторых регионах вода стоит дорого. Очень дорого. И даже не столько «дорого», сколько «большая ценность» и вам просто местные жители устроят небольшой погром, если узнают, что вы эту воду не пьете...

Прямое «водяное» охлаждение

Оно или не совсем прямое, или не совсем водяное. Но…

Плюсы:

• Нет шума в машзале;
• … а что-то еще есть?

Минусы:

• Огромное количество стыков, сочленений, трубочек, хомутиков и т.п. Пока нужно охлаждать два-четыре процессора и сопутствующие чипсеты — все здорово. Когда речь заходит о 15000 двухпроцессорных серверов в облачном ЦОД… Вдруг выясняется, что система течет. Всегда. Потому, что сочленений в ней — сотни тысяч. Вы когда-нибудь видели, чтобы сантехник в многоквартирном доме год бухал в подсобке ни разу не выйдя на вызов для устранения течи? Не бывает такого. А в многоквартирном доме, по сравнению с небольшим ЦОД на водяном охлаждении — в сотни раз меньше сочленений и сопряжений, в которых может случиться утечка;
• Вода. Любая утечка, протечка, пролив — это как минимум выпадение из работы одной стойки. Если повезет. Как показывает практика ЦОД, использующих такое охлаждение — это, типично, больше суток простоя всей инфраструктуры кучи ЦОДов из-за залитого водой одного из важных коммутаторов.
• Большие сложности с материалами. Если в системе есть соприкасающийся с водой алюминий — в системе не должно быть ничего, содержащего медь. Вплоть до того, что нужно очень внимательно подбирать сплавы «нержавейки»;
• Что ведет к следующей группе проблем. Делать все радиаторы только из меди — очень дорого. И очень тяжело. Тупо масса стойки получается такая, что проще, вместо усиления перекрытий, залить все подвалы и этажи под машзалом бетоном. Значит будет алюминий. Значит, нужно тщательно выбирать все материалы, которые соприкасаются с водой. В ином случае — все трубки, каналы, радиаторы будут забиты белой кашей. Которая, когда используется правильно в инструменте, называется «корунд»… А это значит еще и сточившиеся крыльчатки у всех насосов...;
• БРС (быстро разъемные соединения). Хорошие за штуку стоят дороже, чем вся стойка вместе с платформами, процессорами, памятью, дисками. А их на стойку нужно хотя бы 80… Все остальные — вызывают те самые простои по несколько дней. И это не говоря про мелочь, что «тех» «хороших» БРС производится мало. Для ракето-носителей и некоторых военных самолетов… БРС от экскаваторов я пробовал. Не подходит. (но это опять отдельная история...)
• В любом случае, просто воду использовать нельзя. Это или какой-нибудь раствор из воды, гликоля и ингибиторов коррозии, или дистиллированная вода, или какая-нибудь другая жидкость. Она стоит денег. Даже банальная дистиллированная вода — от 10 рублей за литр. Или система водоподготовки. Которая… (вы не поверите!)… тоже стоит денег!

Погружные системы охлаждения

Их тоже много вариантов. Рассмотрим три наиболее модных и частых.

Погружное охлаждение с использованием минерального масла.

Плюсы:

• … Интересный вопрос. А они есть? Расскажите мне, пожалуйста, если есть. (и да, я спрашиваю не про масштабы 2-3 юнита, а про масштабы 8000 и больше юнитов...)

Минусы:

• Для лично меня самый страшный. Фобия, что ли? Ненавижу, когда у меня руки склизкие и в масле… Если бы не это — крутил бы сейчас счастливо гайки в каком-нибудь автосервисе… ;
• Независимо от фобий — все в масле. Маслостойкая спецодежда от ботинок до кепки для каждого, кто заходит в машзал;
• Совместимость с пластиками. Никогда нет гарантии, что корпус какого-нибудь конденсатора/резистора/процессора не растает в минеральном масле. И это не гарантийный случай;
• Высокая вязкость. Следовательно, высокие энергозатраты на обеспечение циркуляции в системе;
• Высокая вязкость. Следовательно, вероятность, что около какого-то горячего элемента на плате будет застой горячей жижи. И да, с этим действительно люди сталкивались, но, извините, подробности «засекречены»;
• В любом случае нужен теплообменник и «внешний контур» с раствором гликоля. Иначе — слишком много проблем в зимнее время;
• В результате — ценник не сильно отличающийся от чиллерной системы. С кучей проблем и сотрудниками, отказывающимися заходить в машзал. Ну и да, у организации, которая эту штуку пытается торговать… У них на сайте все те же рендеры, которые висели 10 лет назад. Ни одной реальной инсталляции...
• Для тех, кто соберется официально запроектировать такую систему и пройти экспертизу — пожарная нагрузка. Масло — с точки зрения закона — горючая жидкость. Дальше начинаются засады — Любые объемы больше примерно 1000 литров — просто так в помещении размещать нельзя. А 1000 литров — это, извините, одна ванна на 24 юнита плюс обвязка. Все, что больше — это проще всего проводить через разработку СТУ. Но это в любом случае — другие требования к смежным помещениям, другие требования к наличию тамбуров, другие требования к расстояниям до эвакуационных выходов. В среднем — если вы ставите контейнер в чистом поле в километрах от жилых домов — есть шанс все официально оформить за более-менее разумные деньги. Если вы пытаетесь такое поставить в Москве, Питере, Екатеринбурге или Новосибирске — не забудьте иметь под рукой запас сухарей на случай внезапного визита из проверяющих органов.

Погружное охлаждение с Новек серии 7000

У этой серии жидкостей Новек температура кипения — больше 60C. Соответственно, ванна с Новеком, теплообменник с «водой». Что-то для перемешивания или просто на конвекции.

Плюсы:

• Работает;
• Можно сделать Tier III, хоть и не очень тривиально потом доказать Аптайму, что это Tier III;
• Новек на обозримых перспективах типа больших десятков лет не приводит к повреждению корпусов микросхем, окислению контактов и т.п.;
• Все еще считается безвредным для хомо-сапиенсов, хотя конкурирующие организации и пытаются рассказывать истории про повреждение печени...
• Можно попробовать обойтись без учета пластика и плат серверов в расчете пожарной нагрузки. Вроде мелочь, но иногда это разница между обычными светильниками и на порядок более дорогими взрывозащищенными светильниками.

Минусы:

• Цена. Собственно, других минусов пока не встретил. Но если начинать считать окупаемость… Не очень быстро.

Погружное охлаждение с кипением/конденсацией Новек.

Плюсы:

• Самая классная тема;
• Невозможен перегрев компонентов пока не выкипит весь Новек;
• Меньший объем Новека по сравнению с погружным охлаждением без кипения/конденсации — а это, потенциально, тысячи долларов на «ванну» разницы в стоимости.

Минусы:

• Какой-то другой Новек. Не нашел его номера. Там должна быть температура кипения порядка 40-50 градусов.
• Часть Новека испарится и попадет за пределы ванны с теплообменниками. Придется докупать-доливать время от времени;
• Ценник. Примерно та же сотня у.е. за кг. Та же плотность в районе полутора кг на литр.
• Гонять жижу за 100 у.е. за литр на улицу — слишком дорого. Значит, будут теплообменники, драйкулеры, гликоль, резевированные помпы...
• Автоматика, которую для реальных ЦОД никто не делал пока… Мелочь, но быть первым наблюдателем дождя из Новека — хотят не все владельцы ЦОД. Хоть такой дождь, формально, и абсолюто безопасен для электроники...

Выводы:

Вариантов систем охлаждения уже очень много. Прежде, чем принимать окончательное решение по выбору варианта для своего ЦОД — нужно очень внимательно считать деньги. Сколько денег вы готовы вложить сразу, сколько денег вы готовы потратить на то, что ваш ЦОД будет «зеленым», как быстро вы хотите «отбить» свои вложения на «зеленость».