Как создавалась система холодоснабжения дата-центра NORD-4

    В конце сентября проект системы холодоснабжения дата-центра NORD-4 получил премию Russian Data Center Awards 2016 в номинации «Лучшее решение в области инженерных систем». Сегодня мы расскажем в деталях, как создавалась система охлаждения самого большого дата-центра в России.


    Условия задачи таковы


    Тип строения. NORD-4 сразу планировался многоэтажным: на первом этаже дата-центра находится энергоцентр, на втором и третьем – 8 залов на 2016 стойко-мест.
    Холодопроизводительность. Для отвода тепла от ИТ-оборудования мощностью 9000 кВт и сопутствующей инженерной инфраструктуры требовалось не менее 10 000 кВт холодопроизводительности.

    Температурный режим в зале. В холодных коридорах машинного зала температура должна быть в пределах 23–27 °С. В таких условиях оборудование работает стабильно, а инженеры в холодных коридорах не простужаются.

    Климатические условия на улице. Температура наружного воздуха для проекта взята из строительных норм и правил (СНиП). В Московском регионе зимой температура опускается до –42 °С, а в теплое время года достигает +37 °С.

    Сертификация. Дата-центр планировалось сертифицировать по стандартам Uptime Institute Tier III (проект, готовое здание и процессы эксплуатации). Согласно стандарту в дата-центре уровня Tier III любой компонент системы можно отключить для обслуживания без перерыва в работе. Это означает, что у каждого элемента есть резерв минимум N+1.

    График запуска. Дата-центр сразу строился с прицелом на поэтапный запуск, поэтому все системы нужно было спроектировать так, чтобы монтаж и пусконаладка новых мощностей не мешали уже работающим машинным залам.

    Тип ИТ-оборудования. NORD-4 – коммерческий дата-центр: он будет заполняться постепенно и самыми разными стойками. Это значит, что нельзя жестко закрепить схему расположения стоек в машинном зале и заранее изолировать горячие или холодные коридоры.

    Выбор схемы холодоснабжения


    Прежде чем остановиться на чиллерной схеме, которая и была реализована, мы рассмотрели несколько альтернатив.

    Кондиционеры прямого расширения (DX). Такую конфигурацию часто называют просто фреоновой. В машинных залах располагаются шкафные фреоновые кондиционеры с испарителем, компрессором, терморегулирующим вентилем. На крыше или рядом со зданием дата-центра – внешние блоки c конденсатором. Кондиционеры и внешние блоки соединяются между собой медными фреонопроводами.
    В этой схеме кондиционер охлаждает воздух непосредственно в машинном зале без промежуточного теплоносителя (вода, воздух).


    Принцип работы фреоновой схемы охлаждения.

    Эта система работает в 5 наших дата-центрах, поэтому хорошо нам знакома. По сравнению с чиллерной схемой у нее есть ряд преимуществ: она дешевле по капитальным вложениям, проще и быстрее в монтаже. Так как все кондиционеры автономны, для резервирования системы достаточно добавить нужное количество лишних кондиционеров.

    Несмотря на эти плюсы, для проекта NORD-4 она не подошла из-за следующих ограничений:

    • длина фреонопроводов: для эффективного охлаждения она не должна превышать 50 метров по горизонтали, если есть перепад высот – еще меньше. С многоэтажным дата-центром было сложно уложиться в эти ограничения.

    • низкая энергоэффективность: в длительной перспективе фреоновая схема менее выгодна, чем та же чиллерная. У компрессора фреонового кондиционера только два состояния – включен и выключен. В такой схеме нет возможности охлаждения без работающего компрессора, т. е. электричество на охлаждение будет расходоваться, даже когда на улице холодно.

    Kyoto Cooling. Это двухконтурная схема с естественным воздушным охлаждением (фрикулингом). Во внутреннем контуре циркулирует воздух дата-центра, а в наружный контур подается уличный воздух. В теплообменнике-рекуператоре роторного типа, или «колесе», горячий воздух от ИТ-оборудования охлаждается за счет уличного воздуха. В работе Kyoto Cooling не участвуют компрессоры (то самое естественное охлаждение) при низких уличных температурах.


    Принцип работы Kyoto Cooling.

    Этот вариант подкупал своей энергоэффективностью: в режиме фрикулинга электричество расходуется только на привод электродвигателей вентиляторов. Дата-центры, использующие эту схему, могут похвастаться одним из самых низких PUE – 1,09–1,13. В отличие от чиллерной схемы, Kyoto Cooling работает без воды, поэтому нет риска протечек.

    В то же время система Kyoto Cooling предъявляла специфические требования к планировке здания:

    • теплообменник «колесо» со всеми вентиляционными камерами занимает много места. Фактически под него нужно отдельное техническое помещение, которое сложно вписать в готовый проект здания.
    • у воздуха маленькая теплоемкость: чтобы передать большой объем тепла, нужны большие воздуховоды. Функцию воздуховодов могут выполнять коридоры, но это опять-таки нужно предусмотреть на этапе проектирования здания.
    • внутри машинного зала необходимо изолировать горячие коридоры. Это сложно сделать, когда стойки разнокалиберные и зал заполняется постепенно.
    • дополнительные расходы на фильтры. Уличный воздух, который приходит на колесо, нужно фильтровать, иначе пыль будет попадать в машинные залы.



    «Колесо» с горизонтальным расположением оси.

    По стоимости система получалась дорогой. Чтобы Kyoto Cooling справлялся с охлаждением только за счет уличного воздуха, на улице должно быть не жарче 25 °С. Для летнего периода в дополнение к «колесу» нам все равно пришлось бы закупить холодильные машины на полную мощность. Кроме того, решение было для нас новым и неопробованным, а пускаться в эксперименты на таком масштабном объекте не хотелось.

    Чиллер-фанкойл. Еще одной альтернативой стала двухконтурная чиллерная схема на этиленгликоле и воде. Внешний контур с незамерзающим раствором этиленгликоля соединяет чиллеры и теплообменник. Внутренний контур с водой идет от теплообменника к шкафным кондиционерам. Таким образом, воздух в машинных залах охлаждается с помощью теплоносителей – воды и раствора этиленгликоля.

    Похожую схему мы использовали в самом первом своем дата-центре OST-1. Возможность естественного охлаждения в холодное время года – основное преимущество этой схемы. При фрикулинге электричество расходуют только вентиляторы и насосы. Компрессоры, самый «прожорливый» элемент системы, стоят выключенными.

    Чиллерная схема выглядела самым подходящим вариантом для проекта NORD-4. Она не упиралась в ограничения, как фреоновая схема, и в долгосрочной перспективе была более энергоэффективной. В отличие от Kyoto Cooling, она не требовала специальных решений в планировке здания, но при этом также поддерживала режим фрикулинга.

    Выбор оборудования


    Чиллеры. Мы проанализировали энергетическую и экономическую эффективность оборудования с близкими техническими параметрами: из стоимости оборудования и его расчетного энергопотребления в течение года высчитывалось, как скоро разница в цене по сравнению с самой дешевой моделью отобьется за счет экономии на электроэнергии. Фактически мы сравнивали CAPEX и OPEХ. Как правило, получалось, что чем дороже машина, тем дольше она работала в режиме фрикулинга и тем меньше потребляла электричества в течение года. Благодаря такому сравнению мы увидели, что срок окупаемости для дорогих моделей сопоставим с более дешевыми.

    Просмотрели оборудование более 10 вендоров: Emerson, Uniflair, Stulz, Climaventa, Hiref, Aermec, Climacore, Clivet, Hitema, Clint, Ferroli. По результатам нашего исследования самым подходящим для наших целей оказался чиллер Stulz CyberCool-2 номинальной холодопроизводительностью 950 кВт. Чиллер работает на «теплом» хладоносителе: температура этиленгликоля на выходе из чиллера – 16 °С, на входе – 22 °С. Обычно температура этиленгликоля +7 и +12 °С.

    Высокая температура хладоносителя обеспечивает более длительный период естественного охлаждения за счет уличного воздуха. Если этиленгликоль теплее, чем наружный воздух, то система охлаждения отводит тепло без включения компрессоров.


    Анализ энергоэффективности чиллера Stulz CyberCool-2.

    Чиллер переходит в режим полного фрикулинга, когда на улице прохладнее +6 °С, а в режим частичного – при температурах от +6 до +19 °С. При полном фрикулинге компрессоры выключены, и электричество расходуют только вентиляторы и насосы.

    Холодопроизводительность чиллера регулируется благодаря 4-ступенчатым винтовым компрессорам. Они работают в четырех режимах и могут варьировать производительность: 0, 25, 50,100 %. Мощность регулируется и у электронно-коммутируемых вентиляторов.

    Контроллер чиллера питается от встроенного ИБП, поэтому при переключении питания в дата-центре он продолжает работать и не тратит время на перезагрузку.


    Чиллеры Stulz CyberCool-2.

    Кондиционеры. Как в случае с чиллерами, более дорогие модели кондиционеров оказались более энергоэффективными. Так получилось и с выбранным в итоге Stulz ASD1000CW. По нашим расчетам, высокая стоимость кондиционера Stulz компенсируется менее чем за год за счет использования вентиляторов с электронной коммутацией.

    Температура воды на входе в кондиционер 18 °С, на выходе – 24 °С. Благодаря высокой температуре теплоносителя в системе кондиционеры работают выше точки росы, поэтому не тратится лишняя энергия на конденсацию влаги и последующее увлажнение воздуха.


    Кондиционер Stulz ASD1000CW.

    Каждый кондиционер регулирует холодопроизводительность с помощью 2-ходового клапана, изменяя расход воды (схема с переменным расходом). В более распространенной схеме с постоянным расходом кондиционер регулирует температуру воздуха с помощью 3-ходового клапана, пропуская часть воды через теплообменник, а часть через байпас. На выходе из кондиционера потоки смешиваются. В нашей схеме такого не происходит, и получается сохранить высокую температуру обратной воды.

    При переменном расходе насосы поддерживают постоянное давление на входах в кондиционеры. За этим следит система автоматического регулирования.


    Сравнение схем с постоянным и переменным расходом воды.

    Итоговая реализация


    В каждом машинном зале располагается 14 кондиционеров, в энергоцентрах – по 4 штуки. Схема резервирования N+1.



    На крыше дата-центра работают 14 чиллеров. Чиллерные группы будут монтироваться в четыре этапа в соответствии с запуском машинных залов: 4+3+4+3. На каждом этапе поддерживается резерв не менее N+1: 3+1, 6+1, 9+2, 12+2. К настоящему моменту установлено 7 чиллеров (6+1).



    Все остальные элементы системы мы разместили в хладоцентре на четвертом техническом этаже над машинными залами. Здесь располагаются насосы, баки-аккумуляторы, основную запорно-регулирующую арматуру, промежуточные теплообменники, трубную разводку водяного и гликолевых контуров системы охлаждения. Так мы упростили для себя управление запорной арматурой, разгрузили этажи с машинными залами и обезопасили себя от масштабных протечек рядом с ИТ-оборудованием. Технический этаж гидроизолирован и оборудован 24 воронками системы аварийного дренажа. В случае аварии вся вылившаяся жидкость удаляется с технического этажа по трубам в подвал, в специальные накопительные емкости. Датчики протечки есть в комплектации каждого кондиционера, также существует сеть независимых датчиков системы мониторинга.

    Технический этаж.

    Наружный контур с раствором этиленгликоля соединяет чиллер и теплообменник: теплый гликоль температурой 22 °С идет к чиллеру, охлаждается до 16 °С и поступает в теплообменник. Каждый чиллер с насосом, трубопроводом и теплообменником образует независимый холодильный узел. При отказе одного из элементов из работы выводится весь узел.


    Взаимодействие наружного и внутреннего контуров в чиллерной схеме.

    Внутренний водяной контур, занимающий весь технический этаж, соединяет теплообменник с кондиционерами: к кондиционерам поступает вода температурой 18 °С, от кондиционеров к теплообменнику возвращается вода 24 °С.

    Во внутреннем контуре предусмотрены баки-аккумуляторы общим объемом 46 куб. м. При перерывах в работе чиллеров (например, при переключении с города на ДГУ) эти баки поддерживают автономную работу системы до 8 минут. Получается своего рода «бесперебойное охлаждение».

    Кровля с чиллерами и технический этаж.


    Трубопроводы внутреннего контура на одном из этажей NORD-4.

    Выводы


    Главное достоинство получившейся системы холодоснабжения – ее высокая энергоэффективность. Добиться этого удалось благодаря следующим решениям:

    • Повышенная температура теплоносителей – этиленгликоля и воды.
    • Переменный расход теплоносителя во внутреннем водяном контуре. Такая схема исключает смешение холодной и горячей воды. В результате мы получили повышенную разницу температур горячей и холодной воды и бОльший период фрикулинга.
    • Вентиляторы с электронной коммутацией в шкафных кондиционерах и чиллерах.

    По нашим расчетам, при полной проектной нагрузке дата-центра среднегодовой механический PUE («по холоду») составит не более 1,21.

    DataLine

    181,00

    Экосистема на базе дата-центров TIER III

    Поделиться публикацией
    Комментарии 20
      –1
      Посмотрел на схему с потоками воздуха и вдруг вспомнилось, что в институте меня вроде бы учили, что холод нужно подавать сверху. Речь, правда, шла о морозильных камерах (промышленных, размером с тот же дата-центр). В дата-центре какая-то другая физика? Почему холод подают снизу?
        0
        А как происходит забор горячего воздуха в этих морозильных камерах?
        В ДОЦах холодный воздух подаётся непосредственно к лицевой панели оборудования, а снизу проходят трубы или сверху уже значения не имеет.
          0
          > А как происходит забор горячего воздуха в этих морозильных камерах?

          Никак не происходит. Тепло забирается радиаторами под потолком.

          > В ДОЦах холодный воздух подаётся непосредственно к лицевой панели оборудования, а снизу проходят трубы или сверху уже значения не имеет.

          Не подается он к лицевой панели. Он подается в дырочки в полу, т.е. снизу. Ни разу не видел подачу непосредственно к лицевой панели.
            0
            > Не подается он к лицевой панели. Он подается в дырочки в полу, т.е. снизу. Ни разу не видел подачу непосредственно к лицевой панели.
            В случае когда перед этими дырочками в полу стоит вентилятор, то он поднимает холодный воздух как раз до лицевой панели оборудования. Хотя для изолированных коридоров это необязательно.

            Либо системы вроде APC InRow

            Так-же рекомендую ознакомиться со статьёй о охлаждении.
          0
          Тепло от оборудования идёт наверх, где попадает в кондиционеры, охлаждается и снизу подаётся обратно в холодные коридоры. Здесь основная фишка в том, что снизу охлаждаются только холодные коридоры. Для создания нужного микроклимата этого достаточно и не надо тратить мощность на охлаждение всего помещения.
            –1
            Вы описали «как оно есть». А я спрашиваю «почему оно так?».

            Почему подается снизу? Холод же нужно подавать сверху, а снизу нужно подавать тепло.
              0
              По поводу охлаждения коридоров, а не всего помещения — в посте нет фоток, но обычно коридор закрыт «крышей» и охлаждать всё помещение не нужно.
                0
                Изоляция холодных или горячих коридоров (построение крышии боковых дверей) можно сделать заранее, когда известно, что в рядах будут располагаться стойки одного типа. Когда стойки разные, как в нашем случае, сделать такую изоляцию удобнее уже после установки стоек. Чтобы не было паразитного воздухообмена (холодный воздух не смешивался с горячим), мы устанавливаем в свободные юниты специальные заглушки (на фото салатовые вставки). Вообще полная изоляция холодных и горячих коридоров в нашем случае вещь опциональная.


                  +1
                  Так в том и дело, целесообразнее пустить холодный воздух под фальшполом и менять плитки сплошные на перфорированные при необходимости увеличить/уменьшить воздушный поток, чем выстраивать какие-либо системы для подачи холода сверху в коридор, закрытый крышей
                +1
                По то физике, когда горячий воздух поднимается вверх, а холодным дуют снизу, что бы оборудование засасывало холодный воздух. Всё просто :)
                  0
                  Холодный сам умеет опускаться, дуть не надо.
                  +1

                  Можно и сверху, но тогда надо строить воздуховод к ряду. А так, у вас под полом ограниченное пространство которое позволяет сохранять нужный напор воздуха (если конечно фальшпол у вас не "поехал" и сохраняет герметичность).
                  Можно порассуждать про фальшпотолок с нужными свойствами, но это жуткий эксклюзив + крепить так кондеи сложнее (да и хрен их найдешь с нужной мощностью и такой возможностью крепежа), + мало кто соглашается, чтобы вода шла над стойками). А так же, это не убирает необходимость делать фальшпол. Ну и т.д.


                  А вообще… Да, датацентрам пока не удалось посрамить физику :(

                    0
                    Т.е., правильно ли я понял:

                    Фальшпол нужно делать в любом случае, а если уже сделали фальшпол, то уже автоматически получили систему распределения воздуха, не протягивая никаких труб. Остается загнать под пол одну входящую трубу холодного воздуха и всё готово.
                      0

                      Если очень грубо, то так. Только трубы нет, кондеи дуют прямо под фальшпол, фальшпол это и есть некая труба сохраняющая давление воздуха. Да и фальшпол делают не только в целях охлаждения, там еще куча проводов, трапы для воды или приямки с насосами для удаления воды, датчики протечки, иногда Пиво или просто склад картриджей… (но так делать не стоит!) и т.д.)


                      А на потолке есть еще вентиляция, 3 контура вентилящии могут занять большую часть полезной площади потолка.

                        0
                        Нельзя сказать, что фальшпол — это обязательно и без него никак. Есть системы с альтернативными способами подачи воздуха, но в наших дата-центрах практически везде мы используем фальшпол. В этом случае недостаточно просто сделать фальшпол, поставить перфорированные плитки и «загнать» под него воздух. Необходимо правильно рассчитать объем подфальшпольного пространства и объем подаваемого воздуха, чтобы обеспечить необходимый уровень избыточного давления холодного воздуха.
                      0
                      Физика в дата-центре та же самая: теплый воздух поднимается вверх, холодный остается внизу. Сверху собирается подушка горячего воздуха, который разбирается шкафными кондиционерами. Внизу в холодном коридоре образуется слой холодного воздуха, забираемого серверами на охлаждение. Холодный внизу, теплый вверху, они не смешиваются, всем хорошо. Если холодного воздуха из-под фальшпола поступает достаточно, то его хватает на всю высоту стойки. Если серверы берут больше, чем подается из-под фальшпола, подушка горячего воздуха над холодным коридором опускается вниз, верхние юниты начинают брать теплый воздух и могут перегреться (это если нет изоляции холодных коридоров). Такая схема лаконична и проверена десятилетиями.
                      Действительно, можно заливать холодный воздух в холодные коридоры сверху, но делать это нужно через воздуховоды, которые стоят денег, занимают очень много места. Если понадобится поменять расстановку стоек, они потребуют переконфигурации и т.д. Иногда так действительно делают, но не от хорошей жизни, а, например, когда в помещении почему-либо невозможно поставить фальшпол.
                      На хладокомбинате холод подают сверху, потому что холодный воздух сам опускается вниз и равномерно остужает то, что сложено в камере. Если подавать снизу и не перемешивать, внизу будет холодно, а наверху останется слой теплого воздуха.

                      0
                      Спасибо за очередную хорошую статью! Очень интересные обзоры получаются. Видно, что инженерная составляющая сделана «по фен-шую».
                      Жаль, что ваша служба HR работает по какому-то другому принципу — несколько раз отправлял резюме не одну из вакансий, но ответа так и не получил, вообще никакого.
                        0
                        Спасибо. Рады, что вам интересно.
                        Давайте дадим коллегам шанс исправиться :)
                        Напишите в личку. Прослежу, чтобы ваше резюме дошло до адресата. И если у нас есть подходящие вакансии, ответ обязательно будет.
                        0
                        Прямо космос какой-то ) Если когда-нибудь дорастем до ваших размеров, учтем в проектировании )
                          0
                          Температура воды на входе в кондиционер 18 °С, на выходе 24 °С. Благодаря высокой температуре теплоносителя в системе кондиционеры работают выше точки росы, поэтому не тратится лишняя энергия на конденсацию влаги и последующее увлажнение воздуха.

                          Какая кратность воздухообмена при таких параметрах? Интересует именно ситуация при полной тепловой нагрузке и за вычетом объема оборудования из объема помещения.
                          Не торопитесь с ответом.

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое