Когда в одном процессоре работают до 192 ядер и выделяется до 500 Вт тепловой энергии, обычные вентиляторы не могут отвести такое количество тепла. Эта тенденция заставляет производителей серверов обращаться к более эффективной технологии — жидкостному охлаждению. В статье разберемся, как оно работает, в чём его плюсы и минусы. А еще покажем топовые решения для мощных процессоров AMD и Intel на примере одного из лидеров рынка — Dell.
Почему воздушного охлаждения уже недостаточно
Воздушное охлаждение долгие годы было стандартом для серверного оборудования. Однако воздух имеет довольно низкую теплоемкость и теплопроводность по сравнению с жидкостями. Когда речь идет об отводе 200–400 Вт тепла, кулеры еще могут справиться, хотя и с трудом. Но современные серверные процессоры уже перешагнули этот порог, и их тепловыделение продолжает расти.
Например, AMD EPYC 9755 оснащен 128 ядрами и выделяет до 500 Вт тепла. Для сравнения: у топового процессора более раннего поколения EPYC 7003 с 64 ядрами TDP составляет всего 280 Вт. Это почти двукратный рост тепловыделения.
Intel тоже активно участвует в этой гонке. Свежая линейка Intel Xeon 6 Granite Rapids содержит модели с TDP до 500 Вт. Например, это флагманский Xeon 6980P со 128 ядрами.
Современные процессоры выделяют так много тепла не только потому, что у них больше ядер. Свою роль также играют высокие частоты (для которых требуется повышенное напряжение питания), огромные объемы кеш-памяти и применение специализированных вычислительных блоков. Кроме того, переход на более тонкие техпроцессы, например 5 нм у AMD EPYC 9004/9005, позволяет разместить больше транзисторов на единицу площади. Это тоже увеличивает тепловыделение.
Столкнувшись с этой проблемой, индустрия начала искать альтернативные методы охлаждения. Решение — переход на системы жидкостного охлаждения, которые эффективнее снижают температуру.
Посмотрим на жидкостное охлаждение на примере Dell
Сегодня практически все ведущие производители серверного оборудования развивают системы жидкостного охлаждения (СЖО): Lenovo с системой Neptune, Supermicro с жидкостно-охлаждаемыми суперкластерами, HPE с линейкой CDU, а также специализированные компании вроде CoolIT Systems и Asperitas. Поскольку наша инфраструктура построена на серверах Dell, мы особенно внимательно следим за развитием технологий этого производителя.
Еще в 2018 году компания Dell Technologies выпустила систему C6400 с жидкостным охлаждением, ориентированную на высокопроизводительные вычисления. Эта система стала основой для суперкомпьютера Frontera в Техасском центре перспективных вычислений.
К 2021 году Dell расширила линейку до шести серверных платформ с жидкостным охлаждением, включая графическое шасси R750xa. А к 2023 году компания представила 12 платформ с поддержкой прямого жидкостного охлаждения (DLC).
Здесь рассмотрим наиболее показательные модели из линейки Dell с жидкостным охлаждением. Они охватывают различные сценарии использования — от высокопроизводительных вычислений и искусственного интеллекта до стандартных корпоративных нагрузок.
PowerEdge R7625: двухпроцессорное решение для AMD EPYC
PowerEdge R7625 — это 2U сервер с двумя процессорами AMD EPYC 9004 серии и опциональным жидкостным охлаждением. В России началось активное внедрение решений на базе этой платформы в 2024 году. В нашем облаке мы как раз используем эти серверы для своей GPU-платформы, но на воздушном охлаждении, с высокочастотными процессорами EPYC 9374F с 320 Вт.
Ключевые характеристики R7625:
Два процессора AMD EPYC 9004 серии (Genoa) с числом ядер до 128 на процессор.
24 слотов DDR5 DIMM с поддержкой до 6 ТБ памяти.
Прямое жидкостное охлаждение для процессоров.
Жидкостное охлаждение позволяет серверу эффективно работать с процессорами высокой мощности (до 400 Вт TDP). Оно снижает температуру процессора на 22–31% по сравнению с воздушным охлаждением и увеличивает энергоэффективность до 11-18%. А электричество в ЦОДах РФ уже стало стоить заметных финансов.
PowerEdge XE9680L: флагман с жидкостным охлаждением
В мае 2024 года Dell анонсировала выпуск PowerEdge XE9680L. Это сервер с прямым жидкостным охлаждением, который стал одним из самых высокоплотных решений на базе x86 для NVIDIA HGX B200 GPU. XE9680L разработан специально для наиболее требовательных задач обучения больших языковых моделей (LLM) и масштабного AI-инференса.
Ключевые особенности XE9680L:
Компактный форм-фактор 4U с прямым жидкостным охлаждением для CPU и GPU.
Оптимизация под NVIDIA HGX B200 для исключительной производительности при обучении LLM и других AI-рабочих нагрузок.
12 слотов PCIe 5.0 полной высоты и половинной длины, что дает на 20% больше плотности FHHL PCIe 5.0 по сравнению с конкурентами.
Возможность масштабирования до 72 GPU Blackwell на стойку высотой 52 RU или 64 GPU на стойку 48 RU.
Заводская интеграция на уровне стойки, включая предварительную настройку питания, охлаждения, и AI-фабрика.
Сервер XE9680L с жидкостным охлаждением обеспечивает заметную экономию энергии на охлаждении по сравнению с традиционными серверами с воздушным охлаждением. Но «печка» еще та, как вы поняли :)
PowerEdge R6715: новинка с жидкостным охлаждением для AMD EPYC
PowerEdge R6715 — это компактный однопроцессорный сервер в форм-факторе 1U, он появился на рынке в ноябре 2024 года. Для жидкостного охлаждения в нем используются стандартизированные коннекторы Staubli. Это обеспечивает совместимость с современными инфраструктурами СОЖ в дата-центрах.
Ключевые характеристики R6715:
Поддерживает последние поколение AMD EPYC 9005 и до 160 ядер на CPU.
Плотный по хранению : имеет возможность установки до 22 дисков формата EDSFF.
Два слота PCIe Gen5 x16.
Система прямого жидкостного охлаждения DLC (Direct Liquid Cooling) с коннекторами Staubli для эффективного отвода тепла от процессора.
R6715 идеально подходит для высокопроизводительных вычислений (HPC), обработки данных, виртуализации и рабочих нагрузок искусственного интеллекта, где требуется стабильная работа мощных процессоров с высоким тепловыделением в течение длительного времени.
Когда жидкостное охлаждение превратится в отраслевой стандарт
Рынок решений жидкостного охлаждения для дата-центров в 2024 году оценивался в 3,93 миллиарда долларов. По прогнозам компании Precedence Research, его объем достигнет 22,57 миллиарда долларов к 2034 году при среднегодовом темпе роста 19,10%.
Главный драйвер распространения жидкостного охлаждения — стремительное развитие искусственного интеллекта и высокопроизводительных вычислений. Современные рабочие нагрузки AI требуют всё более мощных процессоров и ускорителей, тепловыделение которых продолжает расти. По прогнозам аналитиков, к 2027 году более 50% новых гипермасштабируемых дата-центров будут использовать жидкостное охлаждение, а нагрузки ИИ обеспечат дополнительные 15 ГВт мощностей с жидкостным охлаждением к 2028 году. Скайнет требует все больше энергии.
Производители серверного оборудования также адаптируются к этой тенденции. Dell, HPE, Lenovo и другие ведущие компании активно разрабатывают серверы, изначально спроектированные для жидкостного охлаждения. Это помогает преодолеть проблемы совместимости и упростить внедрение таких решений. Сэкономить на оплате за электричество тоже помогает, конечно.
Что касается внедрения жидкостного охлаждения в существующие корпоративные и коммерческие дата-центры, большинство выбирает гибридный подход. Компании начинают с отдельных зон или кластеров с жидкостным охлаждением, ориентированных на высокопроизводительные рабочие нагрузки, и постепенно расширяют их по мере накопления опыта и уверенности.