Охлаждение погружением — иммерсионное охлаждение. В прошлой статье посвященной иммерсионному охлаждению были рассмотрены по сути преимущества размещения серверов в минеральном масле. Я глубоко заблуждался, когда мне казалось, что это наиболее эффективное решение в глобальном плане. Ознакомившись с некоторыми иными разработками я осознал, что эффективен сам базовый принцип — охлаждение погружением, а вот все остальное, как говорят «depends on»…
Cегодня я Вам хочу поведать о сравнительно новой двухфазной системе охлаждения Immersion-2, которая использует все преимущества «сухой воды» 3M Novec для достижения по истине волшебных результатов, превращая недостатки в достоинства!
Что такое 3M Novec повторяться не будем, об этом уже писали в рунете много раз, и даже на Хабре существует прекрасная статья, а вот как это можно применять для охлаждения серверов на практике и почему «сухая вода» оказывается эффективнее минерального масла, жидкостных систем охлаждения электроники в замкнутых контурах, рассмотрим сейчас.
Система охлаждения электроники в жидкостях в замкнутых контурах существует и применяется уже несколько десятилетий, например в военной и авиационной сфере. Она проблематична и дорога в производстве и эксплуатации, так как давление может нарастать со временем в замкнутых системах. Помимо прочего эти системы направлены на более мелкие части аппаратных средств с более низкой плотностью мощности, что приводит к дублированию компонентов в использовании.
К примеру 20 материнских плат потребуют 20 закрытых корпусов, 20 теплообменников, 40 разъемов для циркуляции жидкости (20 входящих и 20 исходящих), 20 разъемов питания, 20 устройств контроля и т.д. Все эти компоненты будет очень трудно обслуживать. В открытом подходе, благодаря 3M Novec, применяют одну иммерсионную охлаждающую полуоткрытую баню с 2-фазным охлаждением, где все оборудование может быть помещено в один корпус целиком.
Благодаря тому, что 3M Novec начинает кипеть при атмосферном давлении уже при температуре 34°C, 49°C или 56°C (в зависимости от применяемого типа различается температура кипения) происходит его фазовый переход из жидкого состояние в газообразное. Это свойство можно применить для охлаждения оборудования без применения гидравлических помп, как в случае охлаждения минеральным маслом, так как нет необходимости в перекачки жидкости внутри резервуара, 3M Novec кипит и перемешивается, удаляет лишнее тепло благодаря физическим процессам испарения и конденсации, двум фазовым переходам, благодаря чему конструкция системы значительно упрощается.
Для лучшего понимания приведу этапы 2-х фазного иммерсионного охлаждения:
Подобно иммерсионному охлаждению, «запечатанные серверы» применяют однофазный процесс охлаждения. Это гораздо менее эффективно в сравнении с 2-х фазной системой (коэффициент теплопередачи значительно выше) и требует большего количества компонентов. Высокая плотность, например, в пассивных 2-фазных системах, просто не возможна, потому процесс перемешивания прекрасно проходит без применения насосов. Технически запечатанные серверы используют диэлектрическую жидкость, такую как минеральное масло или флюид похожий на жидкость, используемый в пассивном 2-фазном иммерсионном охлаждении. Но процесс отвода тепла не происходит за счет испарения и конденсации, основной процесс — перемешивание при помощи помп, что в любом случае только увеличивает потребление энергии и снижает эффективность охлаждения.
В целом стоит отметить, что идея Immersion-2 по сути не нова. Еще в 1970-х годах проводились соответствующие исследования с применением флюида C6F14, который кипел на поверхности кремниевого чипа. Однако сам чип был далек от совершенства и флюид оказывал негативное воздействие на него. Короче говоря, компьютерная и чип технология созрела только в последние несколько десятилетий. То, что мы не могли сделать 20 лет назад теперь можно благодаря современному пакету микросхем, которые включают распределители тепла с интерфейсами высокой производительности, ssd-дискам, в которых отсутствуют вращающиеся компоненты и герметичных HDD-дисках, применение которых возможно в жидкой среде. Другим фактором, который повлиял на то, что технология ранее не исследовалась, стало отсутствие вычислительных систем высокой плотности в то время и только за последние несколько лет эта проблема набрала актуальность.
Компания Allied Control всерьез занялась разработкой этой идеи, применила ее на практике и вот, что из этого получилось:
В качестве тестового проекта в Гонконге в офисном здании на небольшой площади был сооружен мини дата центр, который стал самым энергоэффективным дата центром не только в Азии, а пожалуй в целом мире, так как был достигнут коэффициент энергоэффективности PUE на уровне 1,01!
Со слов Allied Control максимальная мощность приходящаяся на стойку при использовании их системы охлаждения может составлять до 225 кВт. Для тестовых целей система охлаждения мощностью до 500 кВт была инсталирована для 24 стоек. В этом офисном мини дата центре тише, чем в библиотеке!
Забавно то, что первый в мире самый энергоэффективный дата центр в истории был применен не для научной работы, а для майнинга криптовалюты BitCoin, реалии современного мира, но инновации нужно как-то окупать! Для роста майнинг-фермы даже резервирована дополнительная площадь:
А так выглядят «лезвия», которых может быть до 92 в каждой единице:
Система жидкостного охлаждения само собой резервирована:
Разумеется также, как и каналы связи и электропитание.
— в 4000 раз более эффективно, чем воздушное охлаждение (электронные компоненты погружают в диэлектрическую жидкость, которая имееет гораздо большую теплопропроводность и теплоемкомсть, нежели воздух);
— энергоэффективность 1,01 (возможность отвода от 18 до 225 кВт тепла со стойки);
— «охлаждаем сотни киловатт», используя всего лишь 1500 Ватт (экономия на электроэнергии для текущей площадки из 24 шкафов, заполненных оборудованием, составляет свыше $60 000 / месяц);
— низкая температура кипения способствует перемешиванию и пасивному охлаждению благодаря испарению, исключает необходимость применения насосов (используется флюид с температурой кипения 34°C (93°F) под названием 3M Novec 7000);
— более высокая плотность (занимаемая оборудованием площадь сокращается во много раз, тем самым позволяе экономить на всех прочих инженерных системах дата центра);
— улучшеная производительность и надежность (нет колебаний температуры и горячих точек, нет лишних деталей, так как система охлаждения пассивна, возможно избавиться от дублирования аппаратных средств, передача тепела происходит только один раз);
— невероятная чистота (двухфазная иммерсионная система охлаждения обладает полезными побочными эффектами — массивный поток воздуха, пыль и шум, исключаются из объекта, что-либо погруженное в флюид не только не нуждается в очистке и сушке при извлечении, но даже становится еще чище за счет испарения флюида с поверхности);
— крайне высокая степень экологичности и пожаробезопасности (не содержит веществ, которые разрушают озон, более того обладает свойством вытеснения кислорода, тем самым предотвращая процессы возгорания, что активно используется в газовых системах пожаротушения на основе 3M Novec);
— долгий срок жизни (свыше 30 лет) и различные температуры кипения охлаждающего вещества (34°C, 49°, 56°C и т.д., в основном применяют Novec 7000 и Novec 649 с температурой 34 и 49 градусов соответственно);
— безопасность (при работе благодаря низким температурам кипения невозможно получить ожог, а благодаря отсутствию токсичности — отравление);
— не запатентированность (возможность универсального дизайна под конкретный проект);
— готовое модульное решение для заказчика с быстрым сроком ввода в эксплуатацию (до 6 месяцев).
На последнем пункте остановимся подробнее. Серийное решение получило наименование DataTank и предоставляет возможность отвести до 1,4 МВт тепла с оборудования, размещенного в одном контейнере:
Модули DataTank являются системами третьего поколения и способны эффективно работать даже в жарком и влажном климате Азии, при этом обеспечивая PUE 1,01 или даже менее. Несколько контейнеров могут быть объеденены для развертывания крупномасштабной контейнерной фермы.
В целом можно сделать вывод, что за иммерсионным охлаждением будущее, хотя конечно хотелось, чтоб подобные новшества в первую очередь применялись не только для майнинга BitCoin, но и для научных и промышленных целей!
Cегодня я Вам хочу поведать о сравнительно новой двухфазной системе охлаждения Immersion-2, которая использует все преимущества «сухой воды» 3M Novec для достижения по истине волшебных результатов, превращая недостатки в достоинства!
Что такое 3M Novec повторяться не будем, об этом уже писали в рунете много раз, и даже на Хабре существует прекрасная статья, а вот как это можно применять для охлаждения серверов на практике и почему «сухая вода» оказывается эффективнее минерального масла, жидкостных систем охлаждения электроники в замкнутых контурах, рассмотрим сейчас.
Система охлаждения электроники в жидкостях в замкнутых контурах существует и применяется уже несколько десятилетий, например в военной и авиационной сфере. Она проблематична и дорога в производстве и эксплуатации, так как давление может нарастать со временем в замкнутых системах. Помимо прочего эти системы направлены на более мелкие части аппаратных средств с более низкой плотностью мощности, что приводит к дублированию компонентов в использовании.
К примеру 20 материнских плат потребуют 20 закрытых корпусов, 20 теплообменников, 40 разъемов для циркуляции жидкости (20 входящих и 20 исходящих), 20 разъемов питания, 20 устройств контроля и т.д. Все эти компоненты будет очень трудно обслуживать. В открытом подходе, благодаря 3M Novec, применяют одну иммерсионную охлаждающую полуоткрытую баню с 2-фазным охлаждением, где все оборудование может быть помещено в один корпус целиком.
Благодаря тому, что 3M Novec начинает кипеть при атмосферном давлении уже при температуре 34°C, 49°C или 56°C (в зависимости от применяемого типа различается температура кипения) происходит его фазовый переход из жидкого состояние в газообразное. Это свойство можно применить для охлаждения оборудования без применения гидравлических помп, как в случае охлаждения минеральным маслом, так как нет необходимости в перекачки жидкости внутри резервуара, 3M Novec кипит и перемешивается, удаляет лишнее тепло благодаря физическим процессам испарения и конденсации, двум фазовым переходам, благодаря чему конструкция системы значительно упрощается.
Для лучшего понимания приведу этапы 2-х фазного иммерсионного охлаждения:
Подобно иммерсионному охлаждению, «запечатанные серверы» применяют однофазный процесс охлаждения. Это гораздо менее эффективно в сравнении с 2-х фазной системой (коэффициент теплопередачи значительно выше) и требует большего количества компонентов. Высокая плотность, например, в пассивных 2-фазных системах, просто не возможна, потому процесс перемешивания прекрасно проходит без применения насосов. Технически запечатанные серверы используют диэлектрическую жидкость, такую как минеральное масло или флюид похожий на жидкость, используемый в пассивном 2-фазном иммерсионном охлаждении. Но процесс отвода тепла не происходит за счет испарения и конденсации, основной процесс — перемешивание при помощи помп, что в любом случае только увеличивает потребление энергии и снижает эффективность охлаждения.
В целом стоит отметить, что идея Immersion-2 по сути не нова. Еще в 1970-х годах проводились соответствующие исследования с применением флюида C6F14, который кипел на поверхности кремниевого чипа. Однако сам чип был далек от совершенства и флюид оказывал негативное воздействие на него. Короче говоря, компьютерная и чип технология созрела только в последние несколько десятилетий. То, что мы не могли сделать 20 лет назад теперь можно благодаря современному пакету микросхем, которые включают распределители тепла с интерфейсами высокой производительности, ssd-дискам, в которых отсутствуют вращающиеся компоненты и герметичных HDD-дисках, применение которых возможно в жидкой среде. Другим фактором, который повлиял на то, что технология ранее не исследовалась, стало отсутствие вычислительных систем высокой плотности в то время и только за последние несколько лет эта проблема набрала актуальность.
Компания Allied Control всерьез занялась разработкой этой идеи, применила ее на практике и вот, что из этого получилось:
В качестве тестового проекта в Гонконге в офисном здании на небольшой площади был сооружен мини дата центр, который стал самым энергоэффективным дата центром не только в Азии, а пожалуй в целом мире, так как был достигнут коэффициент энергоэффективности PUE на уровне 1,01!
Со слов Allied Control максимальная мощность приходящаяся на стойку при использовании их системы охлаждения может составлять до 225 кВт. Для тестовых целей система охлаждения мощностью до 500 кВт была инсталирована для 24 стоек. В этом офисном мини дата центре тише, чем в библиотеке!
Забавно то, что первый в мире самый энергоэффективный дата центр в истории был применен не для научной работы, а для майнинга криптовалюты BitCoin, реалии современного мира, но инновации нужно как-то окупать! Для роста майнинг-фермы даже резервирована дополнительная площадь:
А так выглядят «лезвия», которых может быть до 92 в каждой единице:
Система жидкостного охлаждения само собой резервирована:
Разумеется также, как и каналы связи и электропитание.
Преимущества
— в 4000 раз более эффективно, чем воздушное охлаждение (электронные компоненты погружают в диэлектрическую жидкость, которая имееет гораздо большую теплопропроводность и теплоемкомсть, нежели воздух);
— энергоэффективность 1,01 (возможность отвода от 18 до 225 кВт тепла со стойки);
— «охлаждаем сотни киловатт», используя всего лишь 1500 Ватт (экономия на электроэнергии для текущей площадки из 24 шкафов, заполненных оборудованием, составляет свыше $60 000 / месяц);
— низкая температура кипения способствует перемешиванию и пасивному охлаждению благодаря испарению, исключает необходимость применения насосов (используется флюид с температурой кипения 34°C (93°F) под названием 3M Novec 7000);
— более высокая плотность (занимаемая оборудованием площадь сокращается во много раз, тем самым позволяе экономить на всех прочих инженерных системах дата центра);
— улучшеная производительность и надежность (нет колебаний температуры и горячих точек, нет лишних деталей, так как система охлаждения пассивна, возможно избавиться от дублирования аппаратных средств, передача тепела происходит только один раз);
— невероятная чистота (двухфазная иммерсионная система охлаждения обладает полезными побочными эффектами — массивный поток воздуха, пыль и шум, исключаются из объекта, что-либо погруженное в флюид не только не нуждается в очистке и сушке при извлечении, но даже становится еще чище за счет испарения флюида с поверхности);
— крайне высокая степень экологичности и пожаробезопасности (не содержит веществ, которые разрушают озон, более того обладает свойством вытеснения кислорода, тем самым предотвращая процессы возгорания, что активно используется в газовых системах пожаротушения на основе 3M Novec);
— долгий срок жизни (свыше 30 лет) и различные температуры кипения охлаждающего вещества (34°C, 49°, 56°C и т.д., в основном применяют Novec 7000 и Novec 649 с температурой 34 и 49 градусов соответственно);
— безопасность (при работе благодаря низким температурам кипения невозможно получить ожог, а благодаря отсутствию токсичности — отравление);
— не запатентированность (возможность универсального дизайна под конкретный проект);
— готовое модульное решение для заказчика с быстрым сроком ввода в эксплуатацию (до 6 месяцев).
На последнем пункте остановимся подробнее. Серийное решение получило наименование DataTank и предоставляет возможность отвести до 1,4 МВт тепла с оборудования, размещенного в одном контейнере:
Модули DataTank являются системами третьего поколения и способны эффективно работать даже в жарком и влажном климате Азии, при этом обеспечивая PUE 1,01 или даже менее. Несколько контейнеров могут быть объеденены для развертывания крупномасштабной контейнерной фермы.
В целом можно сделать вывод, что за иммерсионным охлаждением будущее, хотя конечно хотелось, чтоб подобные новшества в первую очередь применялись не только для майнинга BitCoin, но и для научных и промышленных целей!