Охлаждение погружением, серверы «под водой»: Immersion-2 для 3M™ Novec™ обеспечил волшебные результаты, применение на практике в Гонконге

    Охлаждение погружением — иммерсионное охлаждение. В прошлой статье посвященной иммерсионному охлаждению были рассмотрены по сути преимущества размещения серверов в минеральном масле. Я глубоко заблуждался, когда мне казалось, что это наиболее эффективное решение в глобальном плане. Ознакомившись с некоторыми иными разработками я осознал, что эффективен сам базовый принцип — охлаждение погружением, а вот все остальное, как говорят «depends on»…

    Cегодня я Вам хочу поведать о сравнительно новой двухфазной системе охлаждения Immersion-2, которая использует все преимущества «сухой воды» 3M Novec для достижения по истине волшебных результатов, превращая недостатки в достоинства!

    Что такое 3M Novec повторяться не будем, об этом уже писали в рунете много раз, и даже на Хабре существует прекрасная статья, а вот как это можно применять для охлаждения серверов на практике и почему «сухая вода» оказывается эффективнее минерального масла, жидкостных систем охлаждения электроники в замкнутых контурах, рассмотрим сейчас.



    Система охлаждения электроники в жидкостях в замкнутых контурах существует и применяется уже несколько десятилетий, например в военной и авиационной сфере. Она проблематична и дорога в производстве и эксплуатации, так как давление может нарастать со временем в замкнутых системах. Помимо прочего эти системы направлены на более мелкие части аппаратных средств с более низкой плотностью мощности, что приводит к дублированию компонентов в использовании.

    К примеру 20 материнских плат потребуют 20 закрытых корпусов, 20 теплообменников, 40 разъемов для циркуляции жидкости (20 входящих и 20 исходящих), 20 разъемов питания, 20 устройств контроля и т.д. Все эти компоненты будет очень трудно обслуживать. В открытом подходе, благодаря 3M Novec, применяют одну иммерсионную охлаждающую полуоткрытую баню с 2-фазным охлаждением, где все оборудование может быть помещено в один корпус целиком.



    Благодаря тому, что 3M Novec начинает кипеть при атмосферном давлении уже при температуре 34°C, 49°C или 56°C (в зависимости от применяемого типа различается температура кипения) происходит его фазовый переход из жидкого состояние в газообразное. Это свойство можно применить для охлаждения оборудования без применения гидравлических помп, как в случае охлаждения минеральным маслом, так как нет необходимости в перекачки жидкости внутри резервуара, 3M Novec кипит и перемешивается, удаляет лишнее тепло благодаря физическим процессам испарения и конденсации, двум фазовым переходам, благодаря чему конструкция системы значительно упрощается.

    Для лучшего понимания приведу этапы 2-х фазного иммерсионного охлаждения:







    Подобно иммерсионному охлаждению, «запечатанные серверы» применяют однофазный процесс охлаждения. Это гораздо менее эффективно в сравнении с 2-х фазной системой (коэффициент теплопередачи значительно выше) и требует большего количества компонентов. Высокая плотность, например, в пассивных 2-фазных системах, просто не возможна, потому процесс перемешивания прекрасно проходит без применения насосов. Технически запечатанные серверы используют диэлектрическую жидкость, такую как минеральное масло или флюид похожий на жидкость, используемый в пассивном 2-фазном иммерсионном охлаждении. Но процесс отвода тепла не происходит за счет испарения и конденсации, основной процесс — перемешивание при помощи помп, что в любом случае только увеличивает потребление энергии и снижает эффективность охлаждения.



    В целом стоит отметить, что идея Immersion-2 по сути не нова. Еще в 1970-х годах проводились соответствующие исследования с применением флюида C6F14, который кипел на поверхности кремниевого чипа. Однако сам чип был далек от совершенства и флюид оказывал негативное воздействие на него. Короче говоря, компьютерная и чип технология созрела только в последние несколько десятилетий. То, что мы не могли сделать 20 лет назад теперь можно благодаря современному пакету микросхем, которые включают распределители тепла с интерфейсами высокой производительности, ssd-дискам, в которых отсутствуют вращающиеся компоненты и герметичных HDD-дисках, применение которых возможно в жидкой среде. Другим фактором, который повлиял на то, что технология ранее не исследовалась, стало отсутствие вычислительных систем высокой плотности в то время и только за последние несколько лет эта проблема набрала актуальность.

    Компания Allied Control всерьез занялась разработкой этой идеи, применила ее на практике и вот, что из этого получилось:



    В качестве тестового проекта в Гонконге в офисном здании на небольшой площади был сооружен мини дата центр, который стал самым энергоэффективным дата центром не только в Азии, а пожалуй в целом мире, так как был достигнут коэффициент энергоэффективности PUE на уровне 1,01!



    Со слов Allied Control максимальная мощность приходящаяся на стойку при использовании их системы охлаждения может составлять до 225 кВт. Для тестовых целей система охлаждения мощностью до 500 кВт была инсталирована для 24 стоек. В этом офисном мини дата центре тише, чем в библиотеке!



    Забавно то, что первый в мире самый энергоэффективный дата центр в истории был применен не для научной работы, а для майнинга криптовалюты BitCoin, реалии современного мира, но инновации нужно как-то окупать! Для роста майнинг-фермы даже резервирована дополнительная площадь:



    А так выглядят «лезвия», которых может быть до 92 в каждой единице:



    Система жидкостного охлаждения само собой резервирована:



    Разумеется также, как и каналы связи и электропитание.

    Преимущества


    — в 4000 раз более эффективно, чем воздушное охлаждение (электронные компоненты погружают в диэлектрическую жидкость, которая имееет гораздо большую теплопропроводность и теплоемкомсть, нежели воздух);
    — энергоэффективность 1,01 (возможность отвода от 18 до 225 кВт тепла со стойки);



    — «охлаждаем сотни киловатт», используя всего лишь 1500 Ватт (экономия на электроэнергии для текущей площадки из 24 шкафов, заполненных оборудованием, составляет свыше $60 000 / месяц);
    — низкая температура кипения способствует перемешиванию и пасивному охлаждению благодаря испарению, исключает необходимость применения насосов (используется флюид с температурой кипения 34°C (93°F) под названием 3M Novec 7000);
    — более высокая плотность (занимаемая оборудованием площадь сокращается во много раз, тем самым позволяе экономить на всех прочих инженерных системах дата центра);



    — улучшеная производительность и надежность (нет колебаний температуры и горячих точек, нет лишних деталей, так как система охлаждения пассивна, возможно избавиться от дублирования аппаратных средств, передача тепела происходит только один раз);
    — невероятная чистота (двухфазная иммерсионная система охлаждения обладает полезными побочными эффектами — массивный поток воздуха, пыль и шум, исключаются из объекта, что-либо погруженное в флюид не только не нуждается в очистке и сушке при извлечении, но даже становится еще чище за счет испарения флюида с поверхности);



    — крайне высокая степень экологичности и пожаробезопасности (не содержит веществ, которые разрушают озон, более того обладает свойством вытеснения кислорода, тем самым предотвращая процессы возгорания, что активно используется в газовых системах пожаротушения на основе 3M Novec);
    — долгий срок жизни (свыше 30 лет) и различные температуры кипения охлаждающего вещества (34°C, 49°, 56°C и т.д., в основном применяют Novec 7000 и Novec 649 с температурой 34 и 49 градусов соответственно);



    — безопасность (при работе благодаря низким температурам кипения невозможно получить ожог, а благодаря отсутствию токсичности — отравление);
    — не запатентированность (возможность универсального дизайна под конкретный проект);
    — готовое модульное решение для заказчика с быстрым сроком ввода в эксплуатацию (до 6 месяцев).

    На последнем пункте остановимся подробнее. Серийное решение получило наименование DataTank и предоставляет возможность отвести до 1,4 МВт тепла с оборудования, размещенного в одном контейнере:



    Модули DataTank являются системами третьего поколения и способны эффективно работать даже в жарком и влажном климате Азии, при этом обеспечивая PUE 1,01 или даже менее. Несколько контейнеров могут быть объеденены для развертывания крупномасштабной контейнерной фермы.



    В целом можно сделать вывод, что за иммерсионным охлаждением будущее, хотя конечно хотелось, чтоб подобные новшества в первую очередь применялись не только для майнинга BitCoin, но и для научных и промышленных целей!

    ua-hosting.company

    480,00

    Хостинг-провайдер: серверы в NL / US до 100 Гбит/с

    Поделиться публикацией
    Комментарии 51
      0
      Теперь как сделать на основе этого систему охлаждения для обычного системника в домашних условиях?
        +3
        Когда же читать будете то? Это решение для high density computing (вычислительных мощностей большой плотности, которые генерируют много тепла), но никак не для системников в домашних условиях, где Вы 500 кВт энергии дома возьмете и как обеспечите отсутствие потерь в случае испарений?

        Для системников описано решение в предидущей моей статье habrahabr.ru/company/ua-hosting/blog/222669/
          +1
          Всё я прочитал, и прошлую статью тоже. Статьи классные, спасибо за них. Вот именно вопрос потерь в случае испарений и является интересным. Быстрый гуглинг показал несколько вариантов
          Скрытый текст




          Так что почему не подходит? Делают же.
            0
            все три ролика одинаковы.
              +1
              В каком смысле одинаковые? В них охлаждают компьютер с помощью Novec 7000? Так я это и искал. Нашёл несколько роликов и решил ими поделиться здесь в качестве подтверждения того, что это имеет смысл и этим занимаются.
                0
                В таком смысле:
                image
                  +4
                  У вас что-то не так с браузером. Может юзер скрипты какие используете?
                  Скрытый текст
                  image
                    0
                    Странно, у меня с первого раза тоже три одинаковых показало. А со второго — три разных.
        +33
        — Ну как там мои расчеты?
        — Работа еще кипит.
          +1
          а как охлаждается хладагент?
          ведь тепло все равно надо отводить, и отводится оно в конечном итоге все равно воздухом.
          в целом получается экономия только на вентиляторах в зале.
            0
            Да, но вот у вас система расчитана на охлаждение 100 материнок в стойке.
            А вот система для охлаждения 1000 материнок, за те же деньги в месяц, или даже дешевле.
            Т.е. в пересчете на 100 материнок получается экономия.
              +1
              а в пересчете на 10 материнок — экономия в 10 раз больше, чем в перерасчете на 100 материнок.

              итак — как сравнить капитальные затраты на ДЦ?
                0
                Я про то, что вы можете засунуть 1000 материнок и охлаждение будет стоить так же, как для 100.
              0
              Основная проблема это отвод тепла, как раз ее все жидкостные системы решают хорошо. Проблема состоит именно в отводе тепла, а не в том как от него избавится. В случае же если же тепло вы отвели, то дальше просто делается большой радиатор с максимально большой площадью излучения.
              +53
              3M™ Novec™ несомненно™ штука™ полезная™, но™ можно™ как-нибудь™ использовать™ поменьше™ сами™ TM?
                +1
                А с образование пузырьков разве не наносит каких-то повреждений процессорам? Извиняюсь за глупый, возможно, вопрос, но я был подумал, что пар расширяется -> возникает легкая ударная волна
                  +1
                  При кипении пузырёк растёт плавно, добравшись до большого размера — отрывается и мирно всплывает. Никакой механической нагрузки на что-либо там нет.

                  Ударные волны — это при схлопывании пузырьков при кавитации, когда в жидкости резко скачет давление.
                    0
                    А они там не схлопываются?
                    У меня в чайнике вполне себе схлопываются.
                    Как вариант — при отсутствии тепловыделения от вычислителей они включают кипятильник чтоб поддерживать температуру исключающую схлопывание.
                      +2
                      И в чайнике не схлопываются. Пузырьки в жидкости при нагреве образуются за счёт обычного её испарения, внутри — насыщенный пар; когда давление пара становится выше внешнего давления, жидкость вскипает. Пузырёк всплывает наверх, лопается, пар уходит в атмосферу.

                      Чтобы пузырёк схлопнулся, надо либо резко уменьшить давление в нём (например, очень быстро уронив температуру внутри пузырька), либо резко увеличить давление снаружи — так что в чайнике просто нет механизма быстрого схлопывания. Даже если выключить подогрев, пар в пузырьках просто медленно остынет, и пузырьки растворятся обратно в жидкости — опять же медленно, так как из-за теплоёмкости жидкости резких изменений температуры в ней не будет, а из-за теплопроводности в ней не будет и серьёзных градиентов температуры.

                      При кавитации пузырьки образуются и схлопываются за счёт изменения давления в жидкости — а это как раз процесс, который может быть очень быстрым.
                        +4
                        Не совсем так. Все наверное слышали, как чайник начинает сильно шуметь перед закипанием. Этот шум происходит из-за пузырьков, которые образуются и растут на нагретой поверхности, но после отрыва от нее попадают в холодные слои жидкости и схлопываются. Когда вся жидкость прогревается и достигает температуры кипения, этот процесс прекращается (пузырьки теперь непрерывно растут вплоть до выхода на поверхность) и мы слышим, как чайник вместо громкого шипящего шума начинает издавать лишь тихое бульканье.
                    +1
                    вы видимо путаете с эффектом кавитации
                  • НЛО прилетело и опубликовало эту надпись здесь
                      0
                      (вздохнув) У них style guide корпоративный наверняка. Я как-то лично боролся с попытками яростно править названия продуктов по стайлгайду в статьях, присылаемых совершенно сторонними журналистами на предмет «гляньте перед публикацией, может что от себя скажете?».
                        +5
                        Некоторые компании, случается, захватывают бухгалтеры. Другие — безопасники.

                        Но самый тоскливый случай, если компания оказывается под пятой у юристов. Пример последнего — эта статья, хоть в парижскую палату мер и весов бери, как эталон.
                          –18
                          Я один раз скопировал и далее везде юзал по тексту, не думал, что такая ерунда может вызвать у кого-то жуткий батхерт, а таких много оказывается, печаль, люди, наверное что-то с Вами не так? Вместо того, чтоб дискутировать по статье — Вы дискутируете по поводу написаний какой-то ерунды. Ну Вам самим хоть не смешно?
                            +13
                            Вот именно, людям интересно почитать о сути технологии, а не спотыкаться взглядом каждый раз об назойливое и не нужное технорям напоминание, что это зарегистрированная товарная марка. :)
                              –10
                              Интересно — так читайте, а не насилуйте мозг себе и остальным. Вам пообсуждать тут больше нечего, чем написание копирайта? Вот что-что отвлекает — идиотские комментарии не по теме.

                              Мнение большинства — всегда ошибочно, потому, что большинство людей — идиоты.
                              © Эдгар Алан По

                              Предлагаю обсудить этот копирайт.
                                0
                                Думаю, что если мы опросим большинство™, то никто не обратит внимание на знак товарной марки.
                                © Я
                          +2
                          А сам «флюид» — расходный материал? (Не весь же он на охладителе конденсируется?) Тогда насколько быстро он расходуется? Или контейнер герметичен. Тогда как контролируется давление внутри?
                            0
                            Кстати да, пока там сидишь и дишишь, он попадает в легкие.
                            +11
                            Вы делаете ужасную вещь! Который раз вы (и не только вы) пишите про вашу уникальную технологию, заставляя желать игришь с ней. Но при этом я не могу приехать к вам в офис и зачерпнуть ведерком за разумную сумму. С вашей стороны это не просто садизм (ну нравится вам мучить людей, могу понять), но и создание опасной ситуации — за стеной стоит два баллона 3M™ Novec™ 1230 в системе пожаротушения.

                            Еще пара статей и я, без всяких допусков и осознания своих действий, попытаюсь слить с них пару литров. Все что со мной случиться, будет на ваших руках!
                              +2
                              Самое обидное будет, что вы так и не узнаете, что через 4 месяца изобретут компьютеры не требующие охлаждения. Спокойствие, только спокойствие.
                                0
                                оно там у вас за стеной под давлением 25атм. + сильно разбавлено сжатым азотом. не советую сливать :)
                                0
                                С криптовалютой все просто до безобразия: одинаковый лезвия с действительно существующей возможностью очень плотного размещения. Им кроме питания и связи ничего не надо. Масштабируется элементарно. Механических узлов нет. А как будут чувствовать себя винчестеры? Разъемы? Многоядерные процессоры? Там без радиаторов, шлейфов, доп контроллеров и прочих радостей никак.

                                Да кстати и с криптовалютами тоже не все гладко, модели майнеров устаревают очень быстро, следующее поколение тогда приходится заказывать специально разработанное под формат ванн датацентра?
                                  0
                                  Красивая вещь, но конкретно эта ферма безумно дорогая и имеет проблемы с окупаемостью…
                                    0
                                    Где они взяли столько витой пары без общей изоляции? Почему использованы коннекторы с заземлением? Чем ТАКОЕ вообще может быть оправдано?
                                      0
                                      Откройте для себя многопарные провода :)
                                        0
                                        Э, не, все цвета одинаковые.
                                          +1
                                          синие и коричневые в другой стойке
                                            0
                                            То есть, все-таки, они распороли 92 четырехпарных кабеля для того чтобы сэкономить? Представляете сколько времени это заняло? Это какая-то совершенно ненадежная экономия на спичках. При условии что закуплены экранированные коннекторы, для того чтобы в них обжать четыре волоска без экрана.
                                            Если вы полностью представляете себе их мотивы и использованные материалы, ответьте, пожалуйста, полным предложением. Я не троллю, мне на самом деле непонятно, а хочется понять.
                                              0
                                              image
                                              Даже если имелся в виду такой кабель его всеравно долго и мучительно вскрывать. В кабелях без внутренних оболочек одинаковых цветов пар по понятным причинам быть не может.
                                                +1
                                                Телефонисты, расшивающие 600 парные кабеля в люке по колено в воде под снегом только похихикивают, читая ваш комментарий.
                                                +4
                                                Это все же китай, они могли попросить 146 километров оранжевой пары на заводе через дорогу
                                          +4
                                          Если оставить изоляцию, то кабель за счет капиллярного эффекта будет вытягивать жидкость, пока она не заполнит всю длину кабеля. Если кабель при этом выходит из гермозоны с жидкостью, то будет интенсивное испарение с другого конца кабеля.
                                            0
                                            Так в этом случае можно же удалить изоляцию только на границе гермозоны, не?
                                              0
                                              Кольцом, что ли? Наверное, можно.
                                              Значит так проще.
                                          0
                                          Я так понимаю, система предназначена для законченных блоков, в которых не приходится время от времени заменять тот или иной модуль?
                                          Вы говорите про незапатентованность — имеется ввиду, как я понимаю, сама система охлаждения. Технический процесс производства жидкости, как я понимаю, под охраной, и кроме 3M™ никто эту жидкость не производит?
                                            +1
                                            Кстати да, интересный вопрос про безопасность и экологичность флюида. Если опираться на информацию из википедии — не очень безопасное вещество.
                                              0
                                              Было бы оно безопасным, его бы продавали бы в канистрах. А раз его продают, только с большими оговорками, то скорее всего яд!
                                              +2
                                              Думаю что наши инженера дата-центров будут против.
                                              Веть в таком случае на обслуживание не будет выделятся ни капли спирта.

                                              ЗЫ Вот интересно, при нагревании жидкость кипит. Т.е. можно получить избыточное давление, которое в свою очередь можно направить на паровую турбину.
                                              Ну а к ней, как советовал Аркадий Райкин
                                              Чего балерине зря крутиться? Ей бы к ноге динамо машину присобачить

                                              И в общую электросеть…
                                                0
                                                Перепад температур мизерный, КПД турбины стремится к 0.

                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                              Самое читаемое