PDU и все-все-все: распределение питания в стойке

Одна из стоек внутренней виртуализации. Заморочились с цветовой индикацией кабелей: оранжевый обозначает нечетный ввод по питанию, зеленый – четный.

Мы тут чаще всего рассказываем про “крупняк” – чиллеры, ДГУ, ГРЩ. Сегодня речь пойдет о “мелочах” – розетки в стойках, они же Power Distribution Unit (PDU). В наших дата-центрах более 4 тысяч стоек, забитых ИТ-оборудованием, поэтому в деле я видел много всякого: классические PDU, “умные” – с мониторингом и управлением, обычные блоки розеток. Сегодня расскажу, какие PDU бывают и что лучше выбрать в конкретной ситуации.

Какие бывают PDU

Простой блок розеток. Да, тот самый, который живет у каждого дома или в офисе.
Формально это не совсем PDU в смысле промышленного использования в стойках с ИТ-оборудованием, но и эти устройства имеют своих поклонников. Единственный плюс такого решения – дешевизна (стоимость стартует от 2 тыс. руб.). Еще они могут выручить, если используешь открытые стойки, куда стандартный PDU никак не впихнуть, а терять юниты под горизонтальный PDU не хочется. Это снова к вопросу об экономии.

Минусов сильно больше: у таких устройств не всегда есть внутренняя защита от КЗ и перегруза, мониторить показатели и тем более не получится управлять розетками. Чаще всего размещаться они будут внизу стойки. Это не самое удобное положение розеток для расключения оборудования.

В общем, “пилоты” можно использовать, если:

• у вас тысячи серверов и вам нужно сэкономить,
• вы можете себе позволить вслепую подключать оборудование, не понимая, что там происходит с реальным потреблением,
• готовы к downtime оборудования.

Мы такое не используем, но у нас есть клиенты, которые достаточно успешно это практикуют. Правда, они строят инфраструктуру под свои сервисы таким образом, что отказ десятков серверов не сказывается на работоспособности клиентского приложения.


Дешево и сердито.


Вертикальное размещение.

“Тупые” PDU. Собственно, это классический PDU для использования в стойках с ИТ-оборудованием, и это уже хорошо. У них соответствующий форм-фактор для размещения по бокам стойки, за счет чего к ним удобно подключать оборудование. Есть внутренняя защита. Мониторинга у таких PDU нет, а значит, мы не будем знать, какое оборудование сколько потребляет, и что вообще происходит внутри. Таких PDU у нас почти не осталось, и в целом они постепенно уходят из массового использования.

Стоят такие PDU от 25 тыс. рублей.



“Умные” PDU с мониторингом. У этих устройств есть “мозги”, и они умеют отслеживать параметры энергопотребления. Есть дисплей, куда выводятся основные показатели: напряжение, текущий ток и мощность. Отслеживать их можно по отдельным группам розеток: секциям или банкам. К такой PDU можно подключиться удаленно, настроить отправку данных в систему мониторинга. Они пишут логи, по которым можно посмотреть все, что с ней происходило, например, когда именно выключилась PDU.

Еще они умеют считать потребление (кВт*ч) для технического учета, чтобы понимать, сколько стойка потребляет за определенное количество времени.

Это стандартные PDU, которые мы предлагаем своим клиентам в аренду, и таких PDU большинство в наших дата-центрах.

Если будете покупать, приготовьтесь выложить от 75 тыс. рублей за штуку.






График из нашего внутреннего мониторинга PDU.

“Умные” PDU с управлением. К выше описанным умениям у этих PDU добавляется управление. Самые крутые PDU управляют и мониторят каждую розетку: можно включать/выключать, что бывает нужно в ситуациях, когда есть задача удаленно перезагрузить сервер по питанию. В этом и прелесть, и опасность таких PDU: рядовой пользователь по незнанию может зайти в веб-интерфейс, что-то нажать и одним махом перезагрузить/выключить всю систему. Да, система дважды предупредит о последствиях, но практика показывает, что даже алармы не всегда защищают от необдуманных действий пользователя.

Большая проблема “умных” PDU – это перегрев и отказ контроллера и дисплея. PDU обычно устанавливаются на задней части стойки, там, где идет выдув горячего воздуха. Там жарко, и контроллеры не выдерживают. PDU при этом не нужно менять целиком, контроллер можно поменять на горячую.

Ну и по стоимости совсем кусаче – от 120 тыс. рублей.


PDU с управлением можно узнать по индикации под каждой розеткой.

На мой взгляд, функция управления в PDU дело вкуса, а вот мониторинг – это must have. В противном случае, нельзя будет отследить потребление и нагрузку. Почему это важно, расскажу чуть позже.

Как рассчитать нужную мощность PDU?

На первый взгляд, тут все достаточно просто: мощность PDU подбирается в соответствии с мощностью стойки, но есть нюансы. Допустим, вам нужна стойка 10 кВт. Производители PDU предлагают модели на 3, 7, 11, 22 кВт. Выбираете 11 кВт, и, к сожалению, вы будете не правы. Выбрать нам придется 22 кВт. Зачем же нам такой большой запас. Сейчас все объясню.

Во-первых, производители часто указывают мощность PDU в киловаттах, а не в киловольт-амперах, что более правильно, но не очевидно для обывателя.
Иногда производители сами вносят дополнительную путаницу:

Вот тут сначала говорится про 11 кВт,



А в подробном описании речь уже о 11000 VA:



Если вы имеете дело с чайниками и подобными потребителями, то разницы между кВт и кВА не будет. Стойка на 10 кВт с чайниками будет потреблять 10 кВА. А вот если у нас ИТ-оборудование, то там появляется коэффициент (cos φ): чем новее оборудование, тем ближе этот коэффициент к единице. В среднем по больнице для ИТ-оборудования можно брать 0,93–0,95. Поэтому стойка с 10 кВт с ИТ будет потреблять 10,7 кВА. Вот формула, по которой мы получили 10,7 кВА.

Pполн.= Pакт./Cos(φ)
10/0.93=10.7 кВА

Ну и вы зададите резонный вопрос, 10,7 – это же меньше 11. Зачем нам ПДУ на 22 кВт? Есть второй момент: уровень электропотребления у оборудования будет меняться в зависимости от времени суток, дня недели. При распределении питания нужно учитывать этот момент и закладывать ~10% на колебания и скачки, чтобы в момент повышения потребления PDU не ушли в перегруз и не оставили без питания оборудование.


График потребления стойки 10 кВт за 4 дня.

Получается, что к имеющимся у нас 10,7 кВт мы должны прибавить еще 10%, и в итоге ПДУ под 11 кВт нам уже не подходит.


Фрагмент таблицы мощности конкретных моделей PDU по версии DataLine. С учетом перевода из кВа в кВт и запаса на скачки в течение суток.

Особенности монтажа

Удобнее всего работать с PDU, когда она крепится вертикально, слева и справа стойки. В этом случае она не занимает полезного пространства. Штатно в стойку можно установить до четырех PDU — два слева и два справа. Чаще всего ставят по одной PDU с каждой стороны. На каждую PDU приходит по одному вводу питания.


Стандартный “обвес” стойки — 2 PDU и 1 АВР.

Иногда в стойке нет места под вертикальные PDU, например, если это открытая стойка. Тогда на помощь приходят горизонтальные PDU. Единственное — в этом случае придется смириться с потерей от 2 до 4 юнитов в стойке в зависимости от модели PDU.


Здесь PDU съела 4 юнита. Такой тип PDU также используется, когда нужно разграничить двух клиентов в одной стойке. В этом случае у каждого клиента будет отдельная пара PDU.

Бывает, что стойку выбрали недостаточно глубокую, и сервер торчит, перекрывая PDU. Здесь самое печальное не то, что часть розеток будет простаивать, а то, что если такая PDU сломается, то придется ее похоронить прямо в стойке, или же отключать и вытаскивать все мешающее оборудование.


Не делайте так — 1.


Не делайте так — 2.

Подключение оборудования

Даже самая навороченная PDU не поможет, если оборудование подключено неправильно и нет возможности мониторить потребление.

Что может пойти не так? Немного матчасти. На каждую стойку приходят два ввода питания, в стандартной стойке два PDU. Получается, у каждого PDU свой ввод. Если с одним из вводов (читай PDU) что-то происходит, то стойка продолжает жить на втором. Чтобы эта схема работала, нужно соблюдать некоторые правила. Вот основные (полный список найдете здесь):

Оборудование должно быть подключено в разные PDU. Если у оборудования один блок питания и одна вилка, то к PDU оно подключается через АВР (устройство автоматического ввода резерва), или ATS (Automatic Transfer Switch). В случае неполадок с одним из вводов или самим PDU, АВР переключает оборудование на здоровое PDU/ввод. Оборудование ничего не почувствует.

Парная нагрузка на двух вводах/PDU. Резервный ввод спасет, только если он выдержит нагрузку упавшего ввода. Для этого нужно оставлять запас: загружать каждый ввод меньше чем наполовину от номинальной мощности, а суммарная нагрузка на двух вводах была менее 100 % от номинала. Только в этом случае оставшийся ввод выдержит двойную нагрузку. Если у вас не так, то фокус с переключением на резерв не состоится — оборудование останется без питания. Чтобы не допустить самого страшного, мы мониторим этот параметр.

Балансировка нагрузки между секциями PDU. Розетки PDU объединены в группы — секции. Обычно из 2 или 3 штуки. У каждой секции свой лимит по мощности. Важно не превышать его и распределять нагрузку равномерно по всем секциям. Ну и тут также работает история с парными нагрузками, про которую говорили выше.

Подытожу

1. По возможности выбирайте PDU c функцией мониторинга.
2. При выборе модели PDU оставляйте запас по мощности.
3. Монтируйте PDU так, чтобы была возможность заменить его, не беспокоя ИТ-оборудование.
4. Подключайте правильно: подключайте оборудование к двум PDU, не перегружайте секции и помните о парных нагрузках.