company_banner

Фрикулинг в дата-центрах Selectel: как все устроено


    Привет, Хабр! Пару недель назад выдался жаркий денек, который мы обсуждали в «курилке» рабочего чата. Буквально через несколько минут разговор о погоде перерос в беседу о системах охлаждения дата-центров. Для технарей, тем более сотрудников Selectel, в этом нет ничего удивительного, мы постоянно говорим на подобные темы.

    В процессе обсуждения мы решили опубликовать статью о системах охлаждения в дата-центрах Selectel. Сегодняшняя статья — о фрикулинге, технологии, применяющейся в двух наших дата-центрах. Под катом — подробный рассказ о наших решениях и их особенностях. Техническими деталями поделились руководитель отдела сервисного обслуживания систем кондиционирования и вентиляции Леонид Лупандин и старший технический писатель Николай Рубанов.

    Системы охлаждения в Selectel



    Здесь коротко о том, какие системы охлаждения используем во всех своих объектах. К фрикулингу перейдем в следующем разделе. У нас несколько дата-центров в Москве, Санкт-Петербурге и Ленинградской области. Погодные условия в этих регионах разные, поэтому мы используем различные системы охлаждения. Кстати, в московском дата-центре часто поводом для шуток было то, что ответственные за охлаждение — специалисты с фамилиями Холодилин и Мороз. Так получилось случайно, но все же…

    Вот список ДЦ с используемой системой охлаждения:

    • Берзарина — фрикулинг.
    • Цветочная 1 — фреон, классические промышленные кондиционеры для ЦОД.
    • Цветочная 2 — чиллеры.
    • Дубровка 1 — чиллеры.
    • Дубровка 2 — фреон, классические промышленные кондиционеры для ЦОД.
    • Дубровка 3 — фрикулинг.

    В своих дата-центрах мы стремимся поддерживать температуру воздуха у нижней границы рекомендованного по ASHRAE диапазона. Это 23°C.

    О фрикулинге


    В двух дата-центрах, Дубровка 3 и Берзарина, мы установили системы фрикулинга, причем разные.

    Система фрикулинга в ДЦ Берзарина

    Основной принцип систем фрикулинга — отказ от теплообменников, так что охлаждение вычислительного оборудования происходит за счет обдува при помощи уличного воздуха. Он очищается при помощи фильтров, после чего поступает в машинный зал. Осенью и зимой холодный воздух нужно «разбавлять» теплым, чтобы температура воздуха, которым обдувается оборудование, не менялась. Летом в Москве и Санкт-Петербурге требуется доохлаждение.

    Регулируемые воздушные заслонки

    Почему фрикулинг? Да потому что это эффективная технология охлаждения оборудования. Системы фрикулинга в большинстве своем дешевле в эксплуатации, чем классические системы охлаждения с кондиционерами. Еще один плюс фрикулинга в том, что системы охлаждения оказывают не такое сильное негативное влияние на окружающую среду, как кондиционеры с фреоном.

    Схема прямого фрикулинга с доохлаждением без фальшпола

    Важный момент: фрикулинг используется в наших дата-центрах вместе с системами доохлаждения. Зимой проблем с забором внешнего холодного воздуха нет — за окном прохладно, иногда даже очень, поэтому дополнительные системы охлаждения не нужны. А вот летом температура воздуха повышается. Если бы мы использовали чистый фрикулинг, то температура внутри составляла бы около 27 °C. Напомним, что температурный стандарт у Selectel составляет 23°C.

    В Ленинградской области многолетняя среднесуточная температура даже в июле находится у отметки 20°C. И все бы ничего, но в некоторые дни очень жарко. В 2010 году в области был зафиксирован температурный рекорд в +37.8°C. Учитывая это обстоятельство, полностью рассчитывать на фрикулинг нельзя — одного жаркого дня в году с лихвой хватит для выхода температуры за границы стандарта.

    Поскольку Санкт-Петербург и Москва — мегаполисы с загрязненным воздухом, мы применяем тройную его очистку при заборе с улицы — фильтры стандартов G4, G5 и G7. Каждый последующий отсеивает пыль все более мелких фракций, так что на выходе у нас чистый атмосферный воздух.

    Воздушные фильтры

    Дубровка 3 и Берзарина — фрикулинг, но разный


    По ряду причин мы используем разные системы фрикулинга в этих дата-центрах.

    Дубровка 3


    Первым ДЦ с фрикулингом была Дубровка 3. Здесь используется прямой фрикулинг, дополненный АБХМ, абсорбционной холодильной машиной, которая работает на природном газе. Машина применяется как доохлаждение на случай летней жары.

    Охлаждение дата-центра по схеме фрикулинга с фальшполом

    Такое гибридное решение позволило добиться PUE ~1.25.

    Почему АБХМ? Это эффективная система, где вместо фреона используется вода. АБХМ оказывает минимальное воздействие на окружающую среду.

    В качестве источника энергии АБХМ-машина использует природный газ, который подведен к ней трубопроводом. Зимой, когда машина не нужна, газ можно сжигать для подогрева переохлажденного наружного воздуха. Это намного дешевле, чем использовать электричество.

    Вид на АБХМ

    Идея использовать АБХМ в качестве системы доохлаждения принадлежит одному из наших сотрудников, инженеру, который увидел подобное решение и предложил применить в Selectel. Мы сделали модель, протестировали ее, получили отличный результат и решили его масштабировать.

    Строилась машина около полутора лет, вместе с системой вентиляции и самим ЦОД. В 2013 году она была введена в эксплуатацию. Проблем с ней практически нет, но для работы нужно пройти дообучение. Одна из особенностей АБХМ в том, что машина поддерживает разность давлений внутри и снаружи помещения ДЦ. Это нужно для того, чтобы горячий воздух выходил через клапанную систему.

    Из-за разности давлений пыли в воздухе практически нет, поскольку она просто вылетает наружу, даже если появляется. Избыточное давление выталкивает частицы.

    Расходы на техническое обслуживание системы, возможно, чуть выше, чем в случае обычного охлаждения. Но АБХМ позволяет экономить за счет снижения расхода электричества на нагрев воздуха и его доохлаждение.

    Берзарина


    Схема движения воздушного потока внутри серверного помещения

    Здесь используется фрикулинг с адиабатической системой доохлаждения. Она применяется летом, когда воздух становится слишком теплым, с температурой выше 23°C. В Москве это случается нередко. Принцип работы адиабатической системы — охлаждение воздуха при прохождении через фильтры с жидкостью. Представьте себе мокрую тряпку, с которой испаряется вода, охлаждая ткань и прилегающий слой воздуха. Примерно так и работает адиабатическая система охлаждения в дата-центре. На пути воздушного потока распыляются мельчайшие капли воды, что снижает температуру воздуха.

    Принцип работы адиабатического охлаждения

    Здесь фрикулинг решили использовать, потому что дата-центр расположен на последнем этаже здания. А значит, выбрасываемый наружу нагретый воздух сразу уходит вверх, а не подавляет другие системы, как это могло бы случиться, будь ДЦ размещен на нижних этажах. Благодаря этому показатель PUE ~1.20

    Когда этот этаж освободился, мы обрадовались, поскольку получили возможность проектировать все, что хотим. Главной задачей было создание ДЦ с эффективной и недорогой системой охлаждения.

    Плюс адиабатического охлаждения в простоте самой системы. Она проще, чем системы с кондиционерами и еще проще, чем АБХМ, и позволяет экономить энергию, затраты которой минимальны. Тем не менее, ее необходимо тщательно контролировать, чтобы не получилось, как у Facebook в 2012 году. Тогда из-за проблем с настройкой параметров работы в дата-центре образовалось самое настоящее облако и пошел дождь. Это не шутка.

    Щиты управления

    Система работает всего второй год, за это время мы выявили ряд небольших проблем, которые устраняем с проектировщиками. Но это не страшно, поскольку в наше время важно постоянно быть в поиске чего-то нового, не забывая проверять уже имеющиеся решения.

    Мы постоянно ищем возможности применения новых технологий. Одно из них — оборудование, которое нормально работает при температуре выше 23°. Возможно, расскажем об этом в одной из будущих статей, когда проект выйдет на финальную стадию.

    Если хотите узнать подробности о других системах охлаждения в наших ДЦ, то вот статья со всей информацией.

    В комментариях задавайте вопросы, постараемся ответить на все, что сможем.
    Selectel
    ИТ-инфраструктура для бизнеса

    Похожие публикации

    Комментарии 10

      +2

      интересно! у вас наша игра крутится, не думал что у вас так всё интересно! спасибо!

        0

        Интересно! А скажите для тех, кто в танке, почему все же используют фильтры, а не держат потоки внутреннего и внешнего воздуха разделенными, чтобы не фильтровать и не иметь расходников принципиально?
        На первый взгляд, можно же просто что-то типа рекуператора сделать, но с закрытым внутренним контуром?

          0
          Так а на рекуператоре разве пыль, сажа и т. д. осаждаться не будут, нарушая теплообмен?
            0

            Будет, конечно, но его же и помыть можно с брандспойта раз в месяц, а с серверами так не проканает

              0
              Видать, дешевле (и надёжнее?) получается фильтровать, чем усложнять систему.
                +1
                Видать, дешевле (и надёжнее?) получается фильтровать, чем усложнять систему.

                Не совсем так — рекуператоры просто имеют более низкий КПД, так как эффективность теплопереноса повышается с ростом разницы температур. Таким образом рекуператор будет максимально эффективно работать зимой, а весной и осенью с его работой могут возникать проблемы. Летом тем более.
                В итоге вы экономите на фильтрах(да и то на рекуператорах их всё же лучше ставить), но доохлаждение требуется значительно чаще.
                  0
                  Ясно, спасибо.
          0
          Система получается тогда аналогичной ДЦ Facebook, но pue=1.2, а в Facebook = 1.07. Интересно, чем это вызвано?
            +1

            Подскажите, а почему она Дубровке вы подогреваете внешний воздух зимой, а не смешиваете горячие и холодные потоки? Или это технологически сложно?

              0

              Ага, тоже интересно. Или морозы настолько суровые, что отток тепла через стены превышает генерацию тепла серверами?

            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

            Самое читаемое