Привет, постоянные и не очень читатели!
Что вы слышали о последних трендах в охлаждении серверов? Возможно, знаете про жидкостное охлаждение? А про ЦОДы в океане читали?
Всё это интересно, но если вас привлёк заголовок про серверы в кипятке, если вы не знаете про питьевую воду для охлаждения, не слышали о капиллярной системе для процессоров, а слово «PUE» для вас ничего не значит, то вы удачно припарковались — в этой статье я расскажу, как индустрия охлаждения серверов адаптируется к чипам, TDP которых стремится к 1000 Вт.
Осторожно, лонгрид! Запасайтесь термосом с чаем, кофе или чем-то горячительным, чтобы не замёрзнуть :)
Все хотят PUE поменьше
PUE (Power Usage Effectiveness) — это самая востребованная в индустрии метрика для измерения энергоэффективности инфраструктуры центров обработки данных (ЦОДов aka дата-центров). Она прекрасно подходит, чтобы отслеживать, как меняется ситуация в одном ЦОДе со временем, и оценивать, что дают разные решения — например, смена охлаждения или перенастройка оборудования. Всё это работает для конкретного объекта и позволяет понять, какие решения реально помогают улучшить энергоэффективность.
Её ввёл некоммерческий отраслевой консорциум The Green Grid (TGG) в 2007 году, цель которого повысить эффективность использования ресурсов в ЦОДах. В этот консорциум входят/входили почти все известные вам производители серверного оборудования, комплектующих и ПО, а также провайдеры и другие IT-компании: AMD, Nvidia, Dell, HPE, IBM, Intel, Microsoft, Google, Cisco, Oracle, AWS и т.д.
Для расчёта коэффициента PUE есть формула:
PUE = Общая мощность объекта / Мощность, потребляемая IT-оборудованием.
IT-оборудование — оборудование, которое занимается вычислениями: серверы, СХД, сетевое оборудование, а также дополнительное оборудование (например, KVM-свитчи, мониторы и рабочие станции/ноутбуки для мониторинга или управления ЦОДом).
Общая мощность — это вся мощность, что потребляет объект/ЦОД: оборудование из пункта выше + компоненты подачи питания, ИБП (UPS), распределительные устройства, генераторы, блоки распределения питания (PDU), батареи, а также потери при распределении энергии вне IT-оборудования. Системы охлаждения: чиллеры, градирни, насосы, установки кондиционирования воздуха в серверных (CRAC, Computer Room Air Conditioning) и системы прямого расширения DX (DX, Direct Expansion), а также мой персональный краш — воздухообрабатывающие установки для серверных помещений (CRAH, Сomputer Room Air Handling Units). Также есть и второстепенные затраты, вроде освещения, СКУД и прочих систем.
Идеальный PUE по этой формуле = 1.0. При 1.0 вся энергия уходит на вычисления, а на инфраструктуру (охлаждение, свет и т.д.) — ноль. В реальности это недостижимо, но чем ниже PUE, тем лучше. Это как стремиться к скорости света в космических путешествиях — можно максимально разгоняться, но объект с массой больше нуля никогда не достигнет её.
Если же взять почти фантастический показатель PUE в 1.03 из заголовка, то получим, что на каждые 100 Вт для вычислений, ЦОДу нужно всего 3 Вт для остальных задач.
И главное препятствие в уменьшении коэффициента PUE — это как раз охлаждение серверов. Оно составляет до 40–50% от общих энергозатрат объектов. Если брать классику — системы воздушного охлаждения, — то показатель ближе к верхней границе (около 50%). Если же взять жидкостное охлаждение или фрикулинг (free cooling), то получим 20–30% (или меньше в хороших условиях).
Пора обсудить, какими конкретными решениями пытаются уменьшить PUE с точки зрения охлаждения серверов. Спойлер: их тьма, и все они зависят от возраста и размера объекта, оборудования, географического положения, загрузки мощностей и т.п.
Охлади своё оборудование
Начну с базовых принципов охлаждения. Всё, что работает от электричества, излучает тепло. Для бытовых приборов этот показатель обычно небольшой и редко требует каких-то дополнительных мер (инженеры заранее продумали, что тепло будет отводиться пассивно, то есть без вентилятора: обычными потоками воздуха или по-научному — конвекцией). В редких случаях у бытовых приборов (ПК, смартфоны и ноутбуки не берём) есть небольшой вентилятор, как у моего перкуссионного массажёра.
Исключение дома — это кондиционер (сплит-система) или холодильник. Там пассивного охлаждения или пары вентиляторов недостаточно. Холодильнику и кондиционеру нужно не просто рассеивать тепло, а удалять его изнутри, чтобы поддерживать низкую температуру (причем постоянную). Этим занимается хладагент — специальное вещество, которое циркулирует по замкнутому контуру, поглощает тепло внутри холодильника и отводит его наружу. Поэтому сам холодильник иногда гудит (компрессор сжимает хладагент) и теплый снаружи (это нагрев конденсаторов, через которые хладагент отдаёт тепло). Всё это называется термодинамическим циклом охлаждения.
Возвращаемся к нашим баранам серверам. Там есть и пассивное охлаждение с радиаторами, и вентиляторы, и системы, вроде холодильников (чиллеры aka системы жидкостного охлаждения с фазовым переходом). Причём охлаждать можно как сам сервер (то есть компоненты внутри него), так и окружающую среду вокруг (этим тоже чаще всего занимаются сплит-системы, они же кондиционеры).
Я расскажу про всё, плюс будет про необычные решения. Пойдём по возрастанию (про кипяток в конце будет).
Пассивное и воздушное охлаждение: PUE 1.5–2.0 — дёшево на этапе инвестиций, но слабо и неэффективно
Во времена первых электронных компьютеров (различные Эниаки и IBM’ы 701, примерно 1940–1950-е годы) активного охлаждения не было — обычная конвекция и вентиляция помещений с проветриванием справлялись. Да, те компьютеры выделяли десятки киловатт тепла, но низкая плотность компонентов (всё было на лампах) позволяла решить проблему архитектурой помещения.
Позже, в шестидесятых, появились транзисторы, что сильно уменьшило размер компьютеров и компонентов. Это времена первых систем с активным охлаждением. Мэйнфреймы, вроде IBM System/360, уже использовали вентиляторы (и это стало стандартом для таких устройств).
В 1980-х годах персональные компьютеры начали массовое шествие по миру, а системы, вроде IBM PC, использовали вентиляторы в блоках питания.
Его конкурент, Apple II, обходился пассивным охлаждением — Стив Джобс отказался от вентиляторов, так как: «вентилятор внутри компьютера противоречит принципам дзен и отвлекает от работы». Примерно также он поступил и в Apple III, что приводило к перегревам.
Со временем процессоры стали нагреваться сильнее, а к концу десятилетия появились модели, которым нужны были радиаторы. Легендарный CPU 80486 от Intel (в улучшенной версии 486DX2-66 с возросшей частотой) стал одним из первых, что требовал кулера (радиатора с вентилятором). Ну а дальше шло плавное развитие технологии.
Как по мне воздушное охлаждение достигло своего пика примерно в 2000-х годах. Появились сложные системы с тепловыми трубками, медными радиаторами и высокооборотными вентиляторами, а также холодные и горячие коридоры в серверных и ЦОДах (это когда серверы забирают холодный воздух спереди, а сзади выдувают горячий). Воздушные системы начали дополнять жидкостным охлаждением (AIO/All-in-One, кастомные контуры), что актуально для высокопроизводительных систем и оверклокинга.
Интересный факт: в серверах на процессорах, как правило, нет отдельных кулеров, воздушный поток распределяется по воздуховодам и проходит сквозь радиаторы на процессорах. |
С тех пор воздушное охлаждение — самый распространённый метод для большинства ПК и серверов. Спасибо его доступности, относительной надёжности и простоте. Но без недостатков не обошлось: эффективность падает при высокой плотности компонентов или стоек, шум от вентиляторов может раздражать (серверы вообще нужно изолировать в серверных, работать рядом с ним будет очень тяжело), а из-за пыли нужна периодическая чистка и/или фильтрация воздуха, если говорить про ЦОДы и серверные, то нужны мощные системы кондиционирования. Впрочем, этот минус можно обернуть в плюс — например, использовать рекуперацию отводимого тепла для обогрева офисов и ближайших домов.
В серверах воздушное охлаждение немного отличается от ПК. Из-за того, что большинство серверов — это плоские системы форм-фактора 1U или 2U (высота, монтажная единица, равная 44,45 мм), места для стандартных 120 мм вентиляторов там нет. А так как места мало, то воздух гонят через узкие каналы, создавая турбулентность.
Но админы со стажем могут вспомнить такие модули охлаждения.
Сегодня же большинство моделей — это компактные высокооборотные вентиляторы 40x40 мм или 60×60 мм. В крупных серверах, 4U и выше, иногда встречаются вентиляторы размером побольше. Типичная скорость — 10 000–20 000 об/мин, а иногда и выше. Отсюда и высокий шум серверов (можно сказать «реактивный»): чем меньше лопасти, тем он большое (как и частота вибраций).
Системы жидкостного охлаждения (СЖО)
Первые эксперименты с жидкостным охлаждением электроники начались в 1980-х. Тепловыделение процессоров росло, а инженеры искали способы решить этот вопрос. К 1990-м годам идея начала обретать коммерческую форму: например, серверы Cray использовали жидкость для отвода тепла через фреоновые трубки. Механизм аналогичен бытовому холодильнику — используется эффект Джоуля-Томсона: температура хладагента (фреона) падает при снижении давления, когда он проходит через узкий участок канала.
Чисто технически такую систему правильнее назвать жидкостным охлаждением с фазовым переходом (двухфазным) или просто чиллером, так как фреон меняет своё агрегатное состояние. Решение, как видите, было громоздким и дорогим, а обычным пользователям такое удовольствие было недоступно.
Настоящий бум жидкостного охлаждения случился в 2000-е, когда оверклокеры, геймеры и энтузиасты начали собирать кастомные сборки: насосы, трубки, водоблоки и радиаторы. В те времена водянку на процессор или GPU не все могли установить. Вернее установить могли не только лишь все, мало кто мог это сделать. Это было своего рода искусством, а для некоторых — хобби и/или работой. Процесс довольно сложный, дорогой и отчасти рискованный (протечка может убить систему за секунды, привести к КЗ и даже пожару).
Поэтому в 2010-х появились системы AIO (All-in-One) — готовые комплекты жидкостного охлаждения с замкнутым контуром. Легендарные решения, вроде Corsair H100 или NZXT Kraken, сделали технологию массовой, а с их появлением любой энтузиаст, умеющий собирать ПК, мог установить СЖО в своей домашней сборке.
Кстати, с фреоном были и вот такие консьюмерские вундервафли.
Интересный факт: в некоторых системах используют специальные диэлектрические жидкости, которые не проводят ток — это снижает риск повреждений при утечке из замкнутого контура. |
Для серверов вышло крупное DLC: PUE 1.15–1.35
Прямое жидкостное охлаждение (Direct Liquid Cooling, DLC), иногда называют Direct-to-Chip (D2C) — это метод отвода тепла от серверных компонентов (CPU, GPU и т.д.) через прямой контакт с охлаждающей жидкостью.
В таблице под катом можете посмотреть отличия DLC от AIO (водянка в ПК):
Параметр | DLC | AIO |
Как тепло передаётся? | Жидкость проходит через многие компоненты сервера (CPU, GPU, память, VRM) | Жидкость охлаждает только CPU (или GPU) через водоблок |
Куда уходит тепло? | В централизованную (глобальную) систему охлаждения дата-центра (внешние теплообменники, чиллеры, серверные контуры) | В радиатор с вентиляторами, который крепится в корпус ПК |
Как устроен контур? | Разветвлённый: крупный насос (иногда внешний) качает жидкость через трубы, которые проходят через весь сервер или целые стойки. Качает жидкость крупный насос | Закрытая система: маленький встроенный насос гоняет жидкость по небольшому замкнутому кругу |
Обслуживание | Требует контроля за охлаждающей жидкостью и насосами, иногда дозаправки или полной замены жидкости (из-за деградации диэлектриков и ингибиторов коррозии) | AIO — необслуживаемая система, производители гарантируют 3-5 лет беспроблемной работы |
Риск утечки | Минимальный, но есть (используются герметичные соединения) | Производители обещают околонулевой (но брак неизбежен); на практике же я довольно часто слышал/видел протекшие AIO |
Стоимость | Высокая, но окупается в масштабе дата-центров | Доступна для энтузиастов ПК |
Энергоэффективность | Снижает потребление электроэнергии серверов на 30–50% | Не даёт заметных преимуществ перед воздушным охлаждением (на радиатор ставят те же самые вентиляторы, плюс работает насос) |
Шум | Значительно снижает шум | Зависит от кулеров на радиаторе и шумности насоса |
DLC может быть однофазным или двухфазным (без смены агрегатного состояния жидкости), но суть одна: жидкость забирает тепло напрямую с горячих серверных компонентов. Это замкнутый контур, где охлаждающая жидкость, можно сказать, омывает процессоры — центральные и графические — через металлические холодные пластины. Эти пластины крепятся прямо над самыми горячими точками и работают как тепловые губки, впитывая энергию.
Дальше жидкость направляется в блок распределения (CDU, Coolant Distribution Unit) — сердце системы, которое сбрасывает накопленное тепло в основной контур. А вот как это тепло уходит дальше — зависит от фантазии инженеров: можно заняться рекуперацией (хоть центральное отопление организовать для соседнего города или района), можно подключить контур с холодной водой, поставить испарительную градирню (как на атомной электростанции) или обойтись сухим охладителем. После охлаждения жидкость снова направляется к чипам — этакий круговорот воды в серверной природе.
Прямое жидкостное охлаждение востребовано в высокоплотных серверах с топовыми процессорами и различными ИИ-чипами, которые выделяют огромное количество тепла. Например, показатель TDP у Nvidia H100 — 700 Вт, а у будущего Nvidia B200 заявлено аж 1000 Вт. Актуальные Intel Xeon и AMD EPYC могут выделять по 300-400 Вт. И напомню, что в крупных дата-центрах таких чипов тысячи (иногда десятки тысяч) — по несколько штук в каждом сервере. Воздух просто не успевает отводить такой объём тепла, особенно в плотных стойках, где каждый сантиметр на счету.
Ремарка! TDP (Thermal Design Power) — это показатель максимального тепловыделения процессора, видеокарты или другого чипа при работе на стандартной частоте (без турбо-режима и разгона пользователем). Он помогает подобрать систему охлаждения — чем выше TDP, тем мощнее вам нужен кулер и/или радиатор. Интересные факты! TDP ≠ реальное энергопотребление. Процессор может временно превышать TDP в турбо-режиме. Производители измеряют TDP по-разному: у Intel и AMD методики отличаются, поэтому прямое сравнение не всегда корректно. Учитывать TDP в тонких/компактных устройствах критично (смартфоны, ноутбуки), так как есть риск перегрева от других компонентов и троттлинга, тогда как просторные ATX корпуса могут простить небольшие отклонения. |
DLC позволяет размещать больше оборудования на единицу площади и значительно (на 30-50%) снизить энергозатраты. Такие системы тише, что полезно для офисов и офисных серверных. Они меньше зависят от температуры воздуха в жарких регионах; собирают меньше пыли, а значит у помещения будут проще требования к параметрам воздуха.
Минусы тоже есть: дорогая установка и внедрение (но окупается за счёт экономии на электроэнергии, однако надо учитывать стоимость кВт.ч в вашей стране/регионе); требует дополнительного оборудования (радиаторы, насосы, теплообменники); не каждое помещение подойдёт; есть ненулевой риск утечек, хотя в современных системах он минимальный.
Если подытожить, DLC — это будущее серверного охлаждения в дата-центрах. С ростом плотности оборудования и популярности ИИ-вычислений технология будет становиться всё востребованнее. Пока она дорогая, но активно применяется бигтехом (Google, Microsoft, Amazon, Meta, Tencent) и постепенно внедряется в малый/средний бизнес в регионах с дорогим электричеством благодаря высокой окупаемости.
Что разрабатывают сейчас: капиллярная система для процессоров
Что если засунуть охлаждение внутрь процессора? Индустрия тестирует микроканалы в кремнии — хладагент течёт прямо рядом с кристаллом, отводя тепло без лишних прослоек. Тепловое сопротивление падает, тепло уходит быстрее. Но, как говорится, есть нюанс: давление в системе скачет, из-за чего появляются горячие точки и резкие перепады температур.
Исследователи из Microsoft решили подсмотреть у природы. Они сделали микроканалы, похожие на кровеносную систему — артерии, вены, капилляры. Горячие зоны чипа получают больше хладагента, холодные — меньше. Итог: температура в пиковых точках упала на 18°C, давление в системе снизилась на 67%, а разброс температур между ядрами сократился втрое.
Это вписывается в КМОП (Комплементарный Металл-Оксид-Полупроводник) — технологию производства чипов, основу современного процессоростроения. Микроканалы можно добавить в кремний на этапе травления и встроить в современные чипы. Охлаждение в будущем может кардинально измениться и стать частью кремния.
Вы всё ещё не кипятите? Тогда погружное охлаждение идёт к вам: PUE ≈ 1.03–1.10
Погружное или иммерсионное охлаждение — это полное погружение сервера в жидкость для прямого теплообмена (хотя есть концепции и с частичным погружением). Зачем качать жидкость по сложной системе трубок к отдельным компонентам, если можно залить всё жидкостью с хорошей теплопроводностью?
Выглядит всё это как фритюрница для сервера, в резервуаре даже масло может быть, хоть и не растительное (картошечку жарить не стоит). Да, обычная вода (дистиллированная H2O, к слову, ток не проводит) здесь не подойдёт — для погружного охлаждения используют специальные синтетические составы, минеральные масла и фторуглероды, которые не проводят ток (а значит безопасны для электроники) — у них хорошая теплоёмкость и они эффективно отводят тепло.
И вот здесь мы подходим к охлаждению серверов кипятком.
Как мы помним из школьных уроков физики, точка кипения у разных веществ отличается (при постоянном давлении). Есть жидкости, которые кипят при температурах всего в 50-80°C, а такой параметр как скрытая теплота парообразования позволяет поглощать в 10-30 раз больше тепла, чем при простом нагреве жидкости. Чтобы не углубляться в физику, напомню, что из-за этого явления ожоги паром намного серьезнее, чем ожоги кипятком.
В итоге, если использовать такой подход, получаем двухфазное иммерсионное охлаждение: сервер погружают в специальный бак с диэлектрической жидкостью (например, 3M Novec 7100 или Engineered Fluids EC-100), контакт с компонентами заставляет жидкость кипеть уже при 50-60°C, пар уносит тепло с компонентов и поднимается в конденсатор — в верхней части бака есть теплообменник, где пар охлаждается (например, водой из градирни) и снова становится жидкостью, далее конденсат стекает обратно к серверам. Вот такой замкнутый цикл.
Если же из уравнения исключить кипение, то получим однофазное иммерсионное охлаждение, но тогда жидкость должна постоянно циркулировать через сервер(ы) — либо принудительно насосами, либо самостоятельно конвекцией (если её достаточно).
Теперь быстро по плюсам и минусам:
Преимущества | Недостатки |
PUE близкий к 1.03 возможен именно здесь | Очень дорогие жидкости (например, Novec стоит $100–300 за литр). |
Высокая плотность (можно ставить серверы вплотную — не нужны вентиляторы и воздушные коридоры) | Сложность обслуживания (нужны герметичные баки, трудный доступ к железу, замена компонентов на горячую сомнительна) |
Тишина (нет кулеров, только шум насосов) | Токсичность паров (некоторые составы требуют вентиляции). |
Долговечность (нет пыли, меньше окисление контактов) | Ограниченная совместимость (не все серверные компоненты можно надолго погружать даже в диэлектрик) |
Локального перегрева не будет, так как пар будет образовываться не по всей поверхности такого бассейна, а как раз в самых горячих точках (например у CPU); чем сильнее нагрев, тем интенсивнее кипение, тем сильнее охлаждение | Классические серверы от производителей, вроде Dell и HPE, теряют гарантию после погружения в такую жидкость (если, конечно, вендор узнает); когда гарантия важна, нужно искать “Immersion-ready” модели, вроде этих |
Теперь давайте поговорим о других необычных инженерных решениях для охлаждения серверов и ЦОДов.
Геотермальное охлаждение: PUE 1.05–1.20 — не только про экологию, но и про деньги
Тема обширная и достойна отдельной статьи (как и все предыдущие), поэтому пройдусь кратко.
В Германии есть ЦОД, который использует геотермальное охлаждение без холодильных машин. Он принадлежит страховой компании WWK и находится в офисном здании в Мюнхене. По сути хладагентом здесь выступают грунтовые воды (подземная река) и почва.
При строительстве фундамента были заложены полиэтиленовые коллекторы, общая длина которых — несколько километров. Жидкость в наружном (гликолевом) контуре поддерживает температуру около 12 °C круглый год, а затем поступает в пластинчатый теплообменник, где охлаждает воду вторичного контура до 14–16 °C.
Серверное оборудование размещено на цокольном и третьем этажах, а тепло от стоек (мощностью 8–16 кВт каждая) отводится через шкафы с водяным охлаждением Knürr CoolTherm. Система работает по закрытой схеме, её суммарная холодопроизводительность — 400 кВт, с резервом минимум в 100 кВт.
Для надёжности в трубопроводах есть отсекающие (запорные) вентили — помогают не только при авариях, но и при обслуживании. Насосы качают раствор пропиленгликоля (морозостойкость до –10 °C) по замкнутому контуру.
По некоторым оценкам, отказ от холодильных машин уменьшает энергопотребление системы охлаждения на 30–50%, а это огромная сумма для владельцев ЦОДов. PUE тоже стремится к минимальным значениям.
Похожие решения есть и в других странах. В Швейцарии (в Женеве) есть ЦОД, который охлаждается водой из озера Леман. Google также применяет морскую воду для охлаждения своего дата-центра в Финляндии.
Но есть варианты ещё интереснее. Например, ЦОД компании Verne Global в Исландии (Кейпьявик). Он использует дешёвую возобновляемую энергию от геотермальных и гидроэлектростанций страны, а низкие температуры окружающей среды позволяют ЦОДу работать без затрат на классическое кондиционирование. Эта же компания занимается рекуперацией тепла от ЦОДов в Хельсинки для центрального отопления соседних жилых домов.
А теперь пора рассказать, как это у них получается без кондиционирования.
Системы охлаждения с фрикулингом: PUE 1.1–1.3 — сила природы в помощь
Фрикулинг, он же «Free Cooling» — это технология, которая охлаждает жидкость в чиллерах с помощью наружного воздуха. Зимой, когда температура падает, компрессор — главный пожиратель электроэнергии — отдыхает, а охлаждение берет на себя драйкулер, специальный теплообменник. В нём жидкость (например, незамерзающий раствор), отдает тепло холодному воздуху, а вентиляторы просто гоняют этот воздух через систему. Экономия? До 80% электроэнергии зимой и до 50% в межсезонье.
Можно ещё выделить частный случай фрикулинга, когда холодный наружный воздух подают напрямую в дата-центры (без посредника в виде жидкости и теплообменников). Такой подход круглогодично использует бывший ЦОД Яндекса в финском Мянтсяля (он теперь принадлежит Nebius, новой компании Воложа). Это тот самый дата-центр, который в 2022 году отключили от сети из-за санкций. Nivos Energia Oy отказалась поставлять электричество, и он какое-то время жил на дизеле.
Итак, этот метод можно назвать царь-сквозняком: система забирает холодный воздух с улицы через приточно-вытяжную вентиляцию — пропеллеры есть, но они работают на естественной тяге и минимальной поддержке осевых вентиляторов. В жаркие дни воздух слегка увлажняют, усиливая охлаждение испарением (об этом будет подробнее дальше).
Кстати, это ещё и эко-ЦОД, он направляет тепло от серверов в местную теплосеть и греет воду для тысячи домов — до 5 тысяч, по некоторым оценкам. Получается экономия до трети электроэнергии: коммунальщики платят за тепло, а ЦОД снижает свои расходы. PUE тут держится на уровне 1.1, что для воздушного охлаждения — отличный результат.
Адиабатические системы охлаждения: PUE 1.1–1.25 — серверы тоже могут потеть
После погружения серверов в воду, вряд ли вас удивят жидкости в охлаждении. Но до этого я говорил про диэлектрики, а в адиабатических системах используют обычную питьевую воду. Слышал истории, как серверы оборачивали мокрой тряпкой, когда умирали кондиционеры — давало эффект в моменте, но повторять не советую.
Итак, адиабатическое охлаждение — это понижение температуры воздуха без теплообмена с окружающей средой (от греческого «адиабатос» — «непроходимый»). Изменение температуры происходит за счёт внутренней работы системы, а не через отведение тепла наружу. Основной механизм — испарение воды. Логика та же, что при кипении: вода переходит из жидкого состояния в пар и поглощает тепло из окружающего воздуха, снижая его температуру. Microsoft называет это прямым испарительным охлаждением — DEC (Direct Evaporative Cooling).
И да, это не убивает серверы и другую электронику в ЦОДе, так как никто не распыляет воду на оборудование — её испаряют в потоке воздуха (поэтому он холоднее, чем изначально), который поступает в дата-центр через специальный пропитанный материал. Это повышает влажность воздуха, но до безопасного уровня — примерно до 40-60%. Конденсата не будет, так как все серверы работают при температуре, которая намного выше точки росы (температура конденсации влаги).
Идея, к слову, древняя. В жарких регионах, в Древнем Египте, Персии и Греции, кувшины из пористой керамики оборачивали влажной тканью или просто смачивали водой. Влага испарялась и забирала тепло, а температура внутри сосуда опускалась ниже окружающей среды. Так получали прохладную воду, молоко и вино даже в жару.
Чем хорошо адиабатическое охлаждение? Увлажнение (испарение) не требует мощных компрессоров или дорогих хладагентов, как в механическом охлаждении. Процесс естественный и контролируемый: он не только дешёвый, но и эффективный — энергии уходит минимум.
Но есть и минусы: нужен доступ к чистой питьевой воде, также приходится работать с наружным воздухом (а его параметры нестабильны: влажность, давление, температура, количество пыли т.п.); и да, вы правильно подумали — такой метод неэффективен (либо малоэффективен) во влажных регионах.
Подземные и подводные ЦОДы: PUE 1.05–1.15 — могильный холод
Итак, инженеры придумали увлажнять воздух в дата-центре, охлаждать воздух или компоненты фрикулингом, а также подземными реками и землёй. Даже придумали, как утопить серверы в диэлектриках, чтобы чипы буквально кипятили жидкость.
Что дальше? Может закопать серверы в землю или погрузить их на дно океана? А почему бы и да? Ведь чем меньше зависимость от внешних климатических условий, тем стабильнее температура окружающей среды и лучше энергоэффективность охлаждения.
Подземные дата-центры
Земля (в смысле грунт/почва) — отличный теплоизолятор. На глубине уже в несколько метров температура стабилизируется. А если шахта, пещера или бункер находится глубоко под землёй (например, десятки метров), то колебания почти исчезают. Этакий природный термостат, позволяющий ЦОДам тратить меньше энергии на поддержание стабильного температурного режима.
Например, в Швеции (Стокгольм) дата-центр Pionen расположился в бывшем ядерном бункере времён Холодной войны, который находится на глубине 30 метров под гранитными скалами парка Вита. Температура внутри круглый год держится в районе 8-10°C без искусственного охлаждения. Дополнительно используется вода из подземных источников. Кстати, в прошлом там размещались серверы WikiLeaks.
Плюсы: защита почти от любых внешних воздействий (ураганы, пожары, перепады температуры, даже прямой удар водородной бомбы и ядерный электромагнитный импульс), снижение расходов на охлаждение, повышенная безопасность.
Минусы: бункер изначально создавали для других целей, поэтому нужен сложный процесс строительства инфраструктуры и подведения коммуникаций; нужна новая система вентиляции, нужно учитывать грунтовые воды и возможность перегрева при слишком плотной компоновке серверов.
Подводные дата-центры
Microsoft проверила концепцию в проекте Natick. Капсулу-ЦОД опустили на 35 метров у побережья Шотландии. Вода эффективнее земли в отводе тепла из-за высокой теплоёмкости. Морские течения забирают тепло от стенок контейнера без вентиляторов и компрессоров. Внутри герметичная капсула заполнена азотом, что снижает риск коррозии.
Плюсы: отличное охлаждение, автономность, экономия на инфраструктуре, защита от внешних факторов. Минусы: модернизация и ремонт на глубине сложен, логистика стоит дорого, экологи выражают озабоченность (казалось бы), но Microsoft утверждает, что воздействие минимально.
Подводный ЦОД помогает колоссально снизить затраты на охлаждение, но внедрение сложное, дорогое и требует редких компетенций. Не думаю, что это решение когда-нибудь станет массовым.
Вместо выводов: может вообще в космос?
А что если поднять дата-центры повыше? Сделать платформы (хоть на дирижаблях или аэростатах, наполненных гелием или водородом) на высоте 7–20 км, где температура падает до -50°C. Охлаждение бесплатное, энергию можно брать от солнца или ветра (турбины в стратосфере крутятся неплохо, стабильно с одной скоростью). Проблему доставки можно решить дронами или беспилотниками, а связь организовать через спутники или лазеры. Вроде звучит неплохо. Но есть серьезные технические препятствия: серверы тяжелые, ЦОДы — это десятки тонн, а 1 кубометр гелия поднимает около 1 кг; в стратосфере сильные ветры (до 200 с лишними км/ч) и турбулентность, а значит нужны моторы и топливо для стабилизации, доставка персонала для обслуживания и апгрейда, чтобы не останавливать работу ЦОДа и т.д.
Проект Google Loon (интернет со стратостатов) показал, что воздушные платформы возможны, но там была лёгкая нагрузка — базовые станции и патч-антенны, а не серверы. ЦОД в воздухе теоретически даст PUE ниже 1.03 за счёт холода, но все сопутствующие расходы на запуск и поддержку съедят экономию.
Теперь космос. На орбите -270°C в тени — кажется, идеально для серверов. Плюс солнечная энергия круглые сутки. Но там огромные проблемы с теплообменом — в вакууме нет воздуха или воды, чтобы отводить тепло. Остаётся только излучение, а оно медленное. Да, серверы будут перегреваться, даже при -270°C. А если начать считать, сколько миллионов долларов стоит вывод одной тонны на орбиту, и сколько стоит обслуживание космонавтами, то получим космические во всех смыслах затраты.
Так что для дата-центров лучше копать землю, а не улетать с неё. По крайней мере, с технологиями нашего времени.
Спасибо, что осилили этот лонгрид, друзья! Теперь ваша очередь: делитесь в комментах своими кулстори про охлаждение, залитые платы и тому подобное :D