- Видишь резерв 2N?

- Да.

- А его нет.

Что это и почему это важно?

В недавней статье про PDU мы коснулись вопроса наличия в PDU функции мониторинга токов отдельных BANK (или «банок»), необходимой для отслеживания парных (параллельных) нагрузок в стойке на уровне «банок» PDU.

Клиенты ЦОД часто слышат термины «парные» и «параллельные» нагрузки, но, по нашим наблюдениям, не все до конца понимают, что это такое, почему это важно и, главное, кто за них отвечает. Давайте попробуем разобраться в этих понятиях.

Прежде всего надо отметить, что «парные» и «параллельные нагрузки» (далее «парные», так как это слово короче ?) – это синонимы, одинаково часто употребляемые в отрасли. Данные термины отражают суммарный уровень нагрузки, одновременно потребляемой с двух взаиморезервирующих линий А и B.

Для простоты рассмотрим систему резервирования 2N.

Как известно, «N» – это «need», то есть потребность, а «2» – показатель избыточности. Резервирование по схеме 2N означает, что вам выделено ресурсов в два раза больше, чем необходимо для работы оборудования.

Казалось бы, есть двойной резерв и все хорошо, но есть одно НО. Избыточность ресурса дает вам возможность потреблять с двух вводов больше, чем N. Как только вы превысите этот порог, ~~карета превратится в тыкву~~ 2N превратится в N, то есть вы лишитесь резервирования 2N, за которое, вероятно, заплатили немалые деньги.

Допустимый лимит парной нагрузки равен величине N, которую нельзя превышать.

Рассмотрим пример. Серверная стойка с резервированием по питанию 2N, реализованным посредством двух PDU по 32 Ампера. Каждая PDU традиционно имеет две BANK по 16 Ампер. N всей PDU в данном случае равняется 32 А, а каждой из BANK – 16 А.

*Схема организации питания серверной стойки с двумя PDU, в каждой из которой по две BANK*

На иллюстрации выше мы видим, что сумма токов BANK2 A и BANK2 B равна 9.3 А. Если одна из «банок» отключится, то параллельная «банка» возьмет на себя эти 9.3 А и система резервирования отработает штатно.

С BANK 1 A и BANK 1 B ситуация сложнее. Их суммарный ток равен 16.5 А, что выше номинала автомата одной «банки» 16 А. Следовательно, при отключении одной из «банок» вторая будет перегружена и тоже отключится.

Опасность данной проблемы состоит в том, что она «скрытая». Пока работают два ввода, каждая линия по отдельности не перегружена, и система мониторинга не будет направлять уведомление о превышении тока до момента отключения одной из линий. Таким образом, при отсутствии контроля уровня парной нагрузки потребитель не будет знать, сохранен ли у него уровень резервирования 2N.

Проблема сохранения проектного уровня резервирования решается с помощью контроля парных нагрузок. Вести контроль можно либо вручную, суммируя нагрузки взаиморезервирующих линий, либо используя виртуальные датчики в системе мониторинга.

Если парные нагрузки не превышены, а оборудование подключено верно, то уровень резервирования 2N позволит продолжить работу и на одном вводе питания.

График из системы мониторинга, иллюстрирующий корректную работу системы резервирования электропитания в стойке при отключении одной PDU

Как видно по графику, с одной PDU связь прервалась (в данном случае это не сетевая проблема, а отключение электропитания), но вторая взяла на себя двойную нагрузку. После восстановления работы первой PDU, электроснабжение стойки вернулось в прежнее штатное состояние с равномерным распределением нагрузки между вводами. Отключение одного ввода питания в стойке не повлекло отключения оборудования в стойке.

Распределение парных нагрузок между линиями

Часто встречается мнение, что нагрузки должны быть распределены между линиями равномерно. Если каждая линия нагружена не более, чем на 50%, то такая схема действительно позволит оставаться в рамках лимита парных нагрузок и избавит вас от необходимости суммировать нагрузки вручную или в BMS, но это, к сожалению, всего лишь один из частных случаев парных нагрузок. На самом деле парная нагрузка не должна превышать допустимую нагрузку на одну из линий, а если линии разного номинала, то за лимит берется номинал наименьшей. При этом процент распределения нагрузки между линиями для сохранения резерва не важен (он может быть существенен для режимов работы оборудования, но это другая история).

Если представить два сосуда с водой, то правило для уровня резервирования 2N можно сформулировать так: воду из двух сосудов всегда можно перелить в один (наименьший, если они разного объема). Продемонстрируем это на примерах.

Пример 1. Сосуды одинакового объема. Один сосуд заполнен на 45%, второй на 55%, что позволяет перелить воду в один сосуд. Такое более-менее равномерное распределение нагрузки характерно для линий питания ИТ-стоек.

*Типичное распределение нагрузки в серверных стойках*

Пример 2. Сосуды одинакового объема. Один сосуд заполнен на 100%, а второй на 0%, что тоже позволяет перелить воду в один. Такое распределения нагрузки характерно для вводов электропитания ЦОД, когда городской ввод активен, а ввод дизель-генераторных установок (ДГУ) находится в резерве.

A picture containing text, screenshot, circle, electric blue Description automatically generated — *Типичное распределение нагрузки на вводах электропитания ЦОД*

Пример 3. Сосуды разного размера. Большой сосуд заполнен на 70% (что соответствует 100% емкости маленького), а маленький на 0%. Это позволяет перелить воду в один сосуд наименьшей емкости. Такая ситуация может возникнуть, когда мощность городского ввода превышает мощность установленных ДГУ. Например, мощность городского ввода 1500 кВт, а ДГУ – 1000 кВт. Тогда лимитом для парной нагрузки является 1000 кВт.

*Распределение нагрузки на вводах электропитания с разной мощностью*

Стоит обратить внимание на то, что лимит мощности ДГУ равен N, а не N+1. Если у вас три ДГУ по 500 кВт с резервированием N+1, то вы не должны считать их мощность как 1500 кВт. N в этом случае составляет 1000 кВт, так как избыточный ДГУ может быть в любой момент выведен из работы, например для техобслуживания. Опытная служба эксплуатации дополнительно еще и умножит 1000 кВт на коэффициент 0.9 и примет за N 900 кВт, чтобы всегда иметь резерв и не нагружать оборудование на 100%.

Пример 4. Системы c резервированием N+1 можно контролировать согласно тем же принципам. Имеем 5 кондиционеров с резервированием N+1 (need = 4).

*Распределение нагрузки в системе охлаждения с резервированием по схеме N+1*

Каждый из 5 сосудов заполнен на 80%, что позволяет в любой момент «выключить» один сосуд, перелив «воду» в 4 оставшихся.

*Распределение нагрузки в системе охлаждения N+1 в случае отключения одного из элементов*

В каких точках нужно контролировать парные нагрузки и как распределяются зоны ответственности?

За парные нагрузки между городским вводом и ДГУ, между ГРЩ А и Б, между ИБП, между шинопроводами, между трассами холодоснабжения и между кондиционерами отвечает ЦОД. Этих точек контроля в ЦОД не так много (условно несколько десятков), значения в них периодически можно было бы измерять даже вручную, а тем более легко это делать с помощью виртуальных датчиков в системе мониторинга.

Из критических в ЦОД остаются парные нагрузки на уровне серверной стойки. Это уже зона ответственности клиентов, про которую они, к сожалению, не всегда знают. А даже если и знают, то суммировать парные нагрузки, глядя на показания дисплеев противоположных PDU, очень неудобно. Тем более что зачастую нагрузки динамически меняются и зависят от времени суток: с утра может быть норма, вечером – превышение, а ночью показатели возвращаются к норме.

Если вспомнить, что в современном ЦОД количество стоек может превышать 1000, то становится очевидно, что контролировать такой объем вручную невозможно. На помощь в данном случае приходят PDU с функцией мониторинга токов «банок» и системы мониторинга с виртуальными датчиками парных нагрузок.

Ниже приведен пример представления стойки в системе мониторинга, на котором выделены виртуальные датчики суммы нагрузок парных «банок».

*Представление стойки в BMS ЦОД Linxdatacenter*

Многие ЦОДы контролируют электропитание стоек на уровне вводных автоматов PDU (в щитах или в отводных блоках), что хорошо работает для PDU без «банок», но не дает представления о распределении нагрузок между «банками» PDU, если они есть (а чаще всего они есть в любой PDU, потому что подключать розетку 10 А сразу к автомату 32 А не очень хорошо).

Хотя парные нагрузки в стойке – это зона ответственности клиента, службе эксплуатации ЦОД намного легче контролировать их с помощью своей системы мониторинга и информировать клиента в случае превышения их лимитов.

Современная система мониторинга дополнительно позволяет передавать эти данные в личный кабинет клиента. Например, мы недавно запустили портал, где клиенты могут видеть вес, токи, парные нагрузки и параметры воздушной среды для каждой своей стойки. Данные в ЛК поступают из системы мониторинга ЦОД посредствам функции API.

Graphical user interface, application, Teams Description automatically generated — *Визуализация информации о стойках на клиентском портале Linx*

У клиентов теперь есть возможность, получив сообщение от службы поддержки ЦОД о превышении лимита парных токов, из своего офиса в онлайн-режиме посмотреть текущие уровни потребления каждой стойки и статистику за требуемый период, проанализировать эти данные и принять решение, как лучше устранить данную проблему.

Надеемся, что данная статья поможет вам проверить и настроить работу критических систем, в результате чего ваше оборудование всегда будет иметь уровень резервирования, заложенный в проекте и ожидаемый вами.

Парные нагрузки в ЦОД, или как не остаться без резервирования