Полное погружение: как мы в Bitfury охлаждаем ASIC-чипы

    Расскажем, как работает технология иммерсионного охлаждения оборудования в дата-центрах. Поговорим о нашем решении, разработанном совместно с дочерней компанией Allied Control, и приведем примеры других «жидкостных» способов «сбить температуру» у чипов.


    / Bitfury

    Зачем нужны новые технологии охлаждения


    Как пишут в журнале Nature, все дата-центры в мире потребляют порядка 200 ТВт·ч электроэнергии ежегодно. Это количество сравнимо с расходом электричества некоторых отдельно взятых стран, например Австралии. Также ЦОДы являются одним из главных загрязнителей окружающей среды. На них приходится 0,3% мировых выбросов CO2. Цифра кажется небольшой, но столько же углекислого газа «генерируют» самолеты всех авиакомпаний мира.

    Почти половину потребляемой электроэнергии дата-центры тратят на охлаждение серверного оборудования. По этой причине многие компании разрабатывают технологии, которые должны сократить «расход» электричества и повысить эффективность систем кондиционирования.

    Этим вопросом занимается и Bitfury. Совместно с дочерней компанией Allied Control мы создали двухфазную иммерсионную систему охлаждения. Она предназначена для работы в высоконагруженных ЦОД, потребляющих большие объемы электроэнергии во время обработки больших объемов данных (например, майнинговых фермах).

    Система потребляет меньше электричества и занимает меньше места, по сравнению с традиционными кондиционерами для охлаждения воздуха. Это связано с тем, что печатные платы, предназначенные для охлаждения иммерсионным способом, не имеют радиаторов. Компоненты на них можно размещать более плотно.

    Так как серверы (в нашем случае ASIC-чипы) погружены в жидкость, дата-центр становится практически бесшумным. Такие системы охлаждения помогают ЦОД предоставить сотрудникам более комфортные условия для работы. Иммерсионное охлаждение внедрено в нашем дата-центре мощностью 45 МВт в Грузии. Это одно из крупнейших внедрений иммерсионного охлаждения в настоящее время. Мы подготовили короткое видео, в котором рассказываем о возможностях системы охлаждения:


    Как работает решение


    Серверное оборудование помещается в большие резервуары, похожие на аквариумы. Они заполнены специальной жидкостью 3M Novec 7100. Она не проводит электричество, не горит, не выделяет токсинов и не наносит вреда серверам. По этой причине жидкости бренда 3M еще называют «сухой водой».

    Охлаждение оборудования происходит в два этапа. Микросхемы нагреваются и выделяют тепло, жидкость Novec закипает и превращается в пар. Испарения поднимаются к змеевику конденсатора, который имеет форму цилиндрической пружины.


    Затем наступает вторая фаза — змеевик (сам он имеет водяное охлаждение) превращает пар в жидкость, и она стекает обратно в резервуар. Процесс конденсации занимает очень мало времени, так как Novec 7100 кипит всего лишь при 61°C. Такой подход позволяет экономить до 95% энергии с минимальными потерями жидкости.

    Новая система охлаждения позволяет снизить коэффициент PUE дата-центра до 1,02 и повысить плотность размещения оборудования — для охлаждающих установок не нужно выделять дополнительные площади. «Холодильная система» сама выполняет роль стойки и эффективно справляется с 40 мегаваттами вычислительной мощности (252 кВт на стойку) без чрезмерного расхода электричества.

    Альтернативные способы охлаждения


    Как мы уже говорили, разработка систем иммерсионного охлаждения занимаются многие мировые компании. Одной из популярных технологий является погружение оборудования в минеральное масло, которое удаляет излишки тепла. Например, такое решение используют в компании Green Revolution Cooling. В качестве теплопроводящей жидкости они применяют прозрачную смесь минеральных масел ElectroSafe. По словам авторов проекта, такой подход в тысячу раз эффективнее охлаждения воздухом, а мощность системы достигает 100 КВт на стойку.

    Принцип работы масляных установок похож на тот, что используем мы в Bitfury, только для отведения тепла здесь требуются дополнительные насосы для перекачки хладагента (масло более вязкое, чем вода). В нашей системе циркуляция «сухой воды» происходит пассивно, за счет тепла, выделяемого при работе ASIC-чипов.

    Но бывают и подходы, когда дата-центр затапливают целиком, погружая в океан. В этом случае вода поступает к радиаторам на чипах через специальные трубки и удаляет излишки тепла. Отработанная жидкость поступает обратно в водоем. Однако значительного вреда экосистеме это не наносит — вода вокруг погруженного дата-центра нагревается всего на несколько тысячных градусов Цельсия.

    Первый прототип такого ЦОД «затопили» в Тихом океане пять лет назад недалеко от побережья Калифорнии. Он проработал без перебоев 105 дней. В этом году компания отправила «на дно» второй экспериментальный дата-центр. Погружение проходило недалеко от Оркнейских островов, расположенных в 16 км от Шотландии. По плану, ЦОД должен проработать пять лет. Если всё пройдет удачно, под воду уйдет уже «боевой» дата-центр, который используют для решения реальных задач.

    Главный недостаток подхода — сложность ремонта и обновления инфраструктуры. Также такой ЦОД подвержен коррозии и атакам морских обитателей. Но компания работает над устранением этих проблем.

    Мы убеждены, что из-за роста цен на электроэнергию и необходимости внедрения новых «зеленых» технологий в будущем все больше компаний начнут внедрять системы иммерсионного охлаждения. Тренд уже наметился, и со временем он будет развиваться все сильнее.

    P.S. Наш первый хабрапост на английском: How Exonum Shifted from Iron to Actix-web.
    Bitfury Group
    122,00
    Cофтверные и хардверные решения на Blockchain
    Поделиться публикацией

    Комментарии 33

      +2
      Разве кипение не должно создавать вибрации, а припой не любит вибрацию.
        0
        Кавитация зло, да. Мало того, что вибрация, ещё и микровзрывы, возможно, прямо под BGA. Но вред пропорционален поверхностному натяжению, и, если показатель поверхностного натяжения мал, это терпимо.
          +2
          Кавитация тут не при чем, это принципиально другое физическое явление, чем кипение, происходящее при иных условиях. Винты судов, суставы и т.п.
          Если же говорить про указанный Вами случай, то закипание под BGA маловероятно, поскольку роль теплоотвода в данном месте берет плата, растаскивая тепло по земляным слоям. А сверху чипа и идет основное охлаждение.
          Под чипом, конечно, тоже идет теплообмен посредством жидкости, но не путем фазового перехода жидкость-пар, а простым конвекционным (или гравитационным, как любят говорить западные теплотехники) способом. Некий объем жидкости нагрелся, поплыл вверх (платы под 90% к горизонту расположены), на его место снизу пришла новая порция холодной жидкости — и так далее.
        +1
        Я что-то не понимаю. Чипов снизу много, и кипит много, а змеевик масенький. Как он столько конденсирует-то?
          0
          в замкнутой емкости-то?
            +1
            А какая разница? Чем хуже отвод, тем выше будет температура внутри.
            +2
            Это всего-навсего художественная картинка, ей лет 5 уже, наверное. Я ее в первый раз увидел на презенташке Allied Control, когда они еще только начали пиарить эту технологию в Linkedin, тогда с использованием Novec 509, насколько могу вспомнить.
            Реальные форму-размеры вам никто не покажет — технология повторяемая, но чтобы довести ее до продаваемого на рынке и прибыльного продукта, надо затратить много времени и средств, чтобы найти ту оптимальную золотую середину между размерами и формой змеевика, объемом и температурой прокачиваемой охлаждающей жидкости и многим, многим другим
              +3
              >чтобы найти ту оптимальную золотую середину между размерами и формой змеевика, объемом и температурой прокачиваемой охлаждающей жидкости и многим, многим другим

              Очень много в реализации и работе систем жидкость-пар почерпнул у самодельщиков ректификационных колон. Честно-честно, это любители зеленого змия такие конструируют установки что диву даешься.
                +1
                На любом химфаке учат колонны и теплообменники рссчитывать, это не ракетная хирургия.
                  0
                  Ну, с химфаком можно и в синтез поиграться, или в азеотропы…
                  … вообще интересно, что такое Novec, вроде-бы перфтор-что-то-там, с каким-нибудь стабилизатором от щелочей, но у фтороуглеродородов конкретные температуры кипения и ценники, так-что может быть все таки какой-то хитрый азеотроп?
                    +1
                    Там же в ПДФ-ке всё написано, метоксинонафторбутан — фторированный простой эфир.
            +1
            А не получится, ли что воздух в дата-центре будет пропитан парами этой жидкости, молекулы которой содержат немало атомов фтора? Не опасно ли это для персонала?
              +2
              Эта жидкость стоит столько(порядка 100-130 евро за литр), что об открытом контуре даже речи не идет.
              +3
              Норильск и Анадырь смотрят с недоумением на столь бездарно растрачиваемое тепло :-)
                +3
                А Финляндия, например, не смотрит с недоумением, а строит у себя датацентры. Правда не из-за получаемого тепла, это капля в море, а из-за разницы в температуре воздуха и охлаждающей жидкости, потому что opex получается очень аппетитный
                  0
                  Интересно, до Анадыря и Норильска инет-кабели идут? Или вся связь только через спутники и радио?
                  +1
                  змеевик (сам он имеет водяное охлаждение)

                  А как охлаждается вода из контура змеевика?
                    0
                    Градирня?
                      +3
                      Не знаю, поэтому и спрашиваю :)
                      0
                      В видеоролике видно, обычные воздушные теплообменники снаружи здания. Возможно, дополнительно кондиционирование.
                        0
                        А это разве не градирни как раз?
                        0
                        Любым способом, какой придет тебе в голову. Лишь бы экономичнее было.
                        +1
                        с 40 мегаваттами вычислительной мощности
                        Понятно, что описка, но все равно забавно звучит, как «наши процессоры самые большие в мире» :)
                          +3

                          Расскажите чем сейчас живёте когда рынок размещения майнеров и аренды их мощностей сейчас в глубокой стагнации. Себе майните?

                            0
                            Главное, чтобы не получилось как с ПХБ. Тоже когда-то казалась прорывной и безопасной заменой минеральных масел как изолятора и хладагента.
                              0
                              где-то видел график и статью про подобные экзотические системы охлаждение и всё сводилось к тому, что пока время жизни среднестатичтического сервера не будет составлять 12 лет (сейчас вроде 5.5 лет) ни то что эти системы, а привычное водяное охлаждение не рентабельно. Возможно с асиками дело обстоит совсем по другому.
                                +2
                                А как это связано с сроком жизни сервера? Разве нельзя раз в несколько лет делать апгрейд железа с сохранением той же системы охлаждения?
                                  0
                                  Мб из-за меняющихся формфакторов серверов
                                  Точнее не серверов, а начинки, сами то сервера не меняются — юнит/спереди холодный коридор/сзади горячий в случае классического воздушного охлаждения
                                  А вот форма материнок меняется постоянно, более того в серверных решениях даже сейчас нет какого-то определенного размера платы, каждый производитель корчится как может.
                                  В случае такой погружной водянки — размещение плат внутри «аквариума» может стать проблемой, они там все-таки не совсем вповалку накиданы я надеюсь
                                    +2
                                    Проблема вообще другая. Окупаемость всех решений, снижающих PUE ниже 1.3 — от 10 лет, если хорошо продавить поставщиков по ценам. Если учесть, что реально энергопотребление и тепловыделение серверов в среднем ниже, чем максимальное, на которое расчитано охлаждение, то окупаемость уходит к отметке 15-20 лет. А за 15 лет «или ишак сдохнет, или падишах». Или компания, которая вложилась и надеется на возврат инвестиций через 15 лет сгинет, или сама концепция серверов и их размещения кардинальным образом изменятся, или еще что-нибудь случится. Ну или, да, классика жанра, ученые объявят новек ядовитым или опасным для здоровья и окружающей среды, т.к. у 3М на него патент закончился. Как это уже было с ДДТ и патентами Байера, фреонами и патентами Дюпона.
                                  +1
                                  С тех пор никто ничего нового на эту тему не сделал. Только меняются слайды и комплектуха.
                                  Так что это ваше погружное охлаждение давно не ноу-хау. Просто из-за цены расходников так и осталась экзотикой.

                                  habr.com/ru/company/3mrussia/blog/206658
                                    +1
                                    Если честно, то гораздо интереснее, как вы заводите 250 кВт электричества в свою «стойку»…
                                    Я в 2011 году еще считал систему охлаждения, которая воздухом со стойки 150 кВт тепла снимает. Но была одна проблема. Только блоки питания на 150 кВт занимали пол стойки. Как вы с этим справляетесь?
                                      0
                                      .3 датацентры
                                      .3 самолеты
                                      Оба «одни из главных».
                                      Раскройте интригу, кто остальные 99.4 — неужели человеки надыхивают?
                                        –1
                                        Почему в чипы сразу не встраивать теплоотвод как на старых микросхемах
                                        image
                                        а то и вовсе на медной подложке размещать внутренности
                                        ведь в этом случае будет много проще отводить тепло

                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                        Самое читаемое