![Электропитание ЦОД Selectel](https://habrastorage.org/webt/2p/vh/yg/2pvhyg-yqju0gcvycof3rq8ttqk.png)
Работа любого дата-центра держится на «трех китах» — электроснабжении, охлаждении и системах безопасности. А ключевой инфраструктурой среди них, вне сомнения, является система электроснабжения.
Бесперебойная основа
Дата-центр Selectel «Цветочная 2» рассчитан на потребляемую мощность 2500 кВА и соответствует уровню Tier III, согласно которому каналы электропитания и охлаждения продублированы по схеме резервирования 2N. Это дает значительное преимущество в части надежности электроснабжения как клиентам, размещающим свое оборудование, так и службе эксплуатации самого ЦОД — работы по техническому обслуживанию или замене вышедших из строя компонентов могут производиться без отключения электропитания дата-центра (в том числе, оборудования клиентов).
![Безопасность - самое главное. Таблички Работают люди](https://habrastorage.org/webt/kj/qk/6d/kjqk6d8ciozjkosktp-23lozlzc.jpeg)
Электричество поступает в дата-центр по двум независимым вводам от городской электросети и подается на две трансформаторные подстанции ТП 10(6)/0,4. Подстанции являются собственностью Selectel и расположены в комплексе зданий, также принадлежащих компании. Это еще один важный для клиентов момент в части надежности инфраструктуры — в России довольно большое число дата-центров расположены на арендованных площадях, а потому зависят от конъюнктуры рынка аренды и даже от настроений собственников.
![Трансформаторные подстанции ТП 10(6)/0,4 ЦОД Selectel](https://habrastorage.org/webt/mz/th/bu/mzthbu3q6_ktjxlythehu2qmdkk.jpeg)
В трансформаторных подстанциях высокое «городское» напряжение 6 кВ понижается до 380 В (400 В), и далее подается на главные распределительные щиты (ГРЩ) с системой защитной автоматики.
![Автоматика защиты электропитания ЦОД](https://habrastorage.org/webt/f3/v9/kc/f3v9kc2nsp3xkl2qchzydz-z_ik.jpeg)
Это электропитание может иметь различного рода помехи (всплески и провалы, высокочастотный шум и др.), а потому не пригодно для чувствительных к помехам серверов и коммуникационного оборудования, а также систем кондиционирования и автоматики самого дата-центра.
![Главные распределительные щиты (ГРЩ)](https://habrastorage.org/webt/z3/1c/gu/z31cgu7ifuytqyblksl_-ad5w3m.jpeg)
Поэтому по шинопроводам электропитание 380 В (400 В) далее подается на 2 группы промышленных ИБП (источников бесперебойного питания), каждая из которых представляет собой модуль 6х400 кВА с функцией двойного преобразования. Здесь переменное напряжение выпрямляется в напряжение постоянного тока, а затем вновь преобразуется в переменное 380 В (400 В), но уже с идеальной формой синусоиды.
![Группы промышленных ИБП в ЦОД Selectel](https://habrastorage.org/webt/3u/cb/d_/3ucbd_-dmoio3fl5paqurpuj3-o.jpeg)
Кроме функции очистки от помех, ИБП выполняют и другую важнейшую задачу — обеспечивают электропитание дата-центра от АКБ (аккумуляторных батарей) в случае полного отключения внешнего «городского» электроснабжения на время перехода на аварийный источник электроснабжения — ДГУ (дизель-генераторные установки). Для этих целей ИБП соединены с взаимно резервируемыми матрицами из 130 аккумуляторных 12 В батарей. Заряда этих батарей хватает на период работы дата-центра под полной нагрузкой до 10 минут. При пропадании внешнего электропитания, автоматика АВР (автоматического ввода резерва) запускает в отдельном помещении три ДГУ мощностью 1800 кВА каждая, которые могут обеспечивать электроэнергией дата-центр неограниченно долгое время.
![Электропитание дата-центра от АКБ (аккумуляторных батарей) в ЦОД Selectel](https://habrastorage.org/webt/sc/vx/sw/scvxswbzx2_kdjjfogvxmr6yaia.jpeg)
ДГУ имеют резервирование N+1, то есть для нормальной работы ЦОД «Цветочная 2» достаточно двух ДГУ, плюс одна ДГУ — в резерве. На территории дата-центра хранится запас топлива на 48 часов работы ДГУ, а также имеется сервисное соглашение с двумя поставщиками по экстренному подвозу топлива в случае продолжительного городского блэкаута.
![Автоматика АВР (автоматического ввода резерва) запускает в отдельном помещении три ДГУ мощностью по 1800 кВА](https://habrastorage.org/webt/az/xg/ry/azxgrytraevq9m-n0iconbix6zc.jpeg)
В среднем требуется до 3 минут для запуска ДГУ и их выхода на режим рабочей нагрузки — заряда батарей ИБП с запасом хватает на эту операцию. Чтобы обеспечить уверенный запуск дизелей даже в зимнее время, происходит постоянный подогрев охлаждающей жидкости в ДГУ, и этот параметр контролируется как при регулярных обходах, так и удаленно через систему мониторинга.
![С выхода двух ВРУ электропитание подается соответственно на 2 группы ИБП](https://habrastorage.org/webt/vr/26/at/vr26atgp8hi3o0havuxxhth3vgy.jpeg)
Вводы внешнего «городского» электропитания и ДГУ подключены параллельно друг другу через АВР и их выходы запитывают вводно-распределительные устройства (2х ВРУ). С выхода двух ВРУ электропитание подается соответственно на 2 группы ИБП, затем с каждой группы ИБП по отдельным шинопроводам подается на щиты гарантированного электропитания (ЩГП), и затем уже непосредственно в машинные залы к распределительным шкафам питания стоек (ЩС). В этих шкафах напряжение 380 В (400 В) разделяется на шины 230 В для питания компьютерного и сетевого оборудования. ИБП обеспечивают европейский стандарт питания 400/230 В.
В каждый машинный зал приходит 4 раздельных шинопровода от двух независимых источников, причем проложены они разными путями во избежание одновременного механического повреждения. Так происходит резервирование питания по схеме 2N.
![В каждый машинный зал приходит 4 раздельных шинопровода от двух независимых источников](https://habrastorage.org/webt/np/-5/ez/np-5ezr5hapnwoeav3irithzvno.jpeg)
Точный учет потребления
Каждый шкаф ЩС имеет в своем составе интеллектуальное устройство, ведущее учет потребления электроэнергии в каждой стойке с записью показаний в лог-файл. Хотя для клиентов, размещающих свои серверы или стойки в машинном зале, расход электроэнергии не влияет на стоимость аренды, для персонала дата-центра эти сведения крайне важны. Необычно высокое или наоборот, низкое потребление говорит о возможной неисправности и требует внимания персонала.
![Учет потребления электроэнергии в цод Селектел ведется на уровне каждой стойки](https://habrastorage.org/webt/op/zm/e1/opzme1wixwwqylqlrn4kri_lqes.jpeg)
![Интеллектуальное устройство, ведущее учет потребления электроэнергии в каждой стойке (ЦОД Селектел ЦВ-2)](https://habrastorage.org/webt/vx/nm/rt/vxnmrtn1syspldansksiyffpx6e.jpeg)
С распределительных шкафов электропитание подается на стойки также по 2-м раздельным кабелям (по заказу клиентов, в т.ч. с устройством АВР в стойке). Серверы, имеющие по 2 блока питания (БП), подключаются к розеткам от разных вводов в стойку, а оборудование с одним БП — к розеткам АВР (опционально).
![Электропитание подается на стойки также по 2-м раздельным кабелям](https://habrastorage.org/webt/u4/0z/re/u40zrejgxhtvrw2fknrymxgoawc.jpeg)
Обслуживание и мониторинг — залог надежности электропитания
Какая бы степень надежности ни закладывалась изначально в систему электропитания дата-центра, оборудование требует постоянного мониторинга и регулярного обслуживания. Вся информация о состоянии систем электропитания, включая ДГУ, собирается на больших экранах в Центре мониторинга. Кроме того, в случае возникновения отклонений от нормы, сообщения приходят на планшеты дежурных инженеров.
![Selectel: Информация о состоянии систем электропитания, включая ДГУ, собирается на больших экранах в Центре мониторинга](https://habrastorage.org/webt/aw/hn/ab/awhnabdmagwsdkkxsiaugp5avfm.jpeg)
Согласно регламенту, дежурные инженеры и электрики совершают постоянные обходы машинных залов и, соответственно, помещений, где размещено силовое электрооборудование. Каждый сотрудник имеет при себе планшет с планом осмотра. На планшете кроме плана обхода, также присутствует описание задачи осмотра в каждой точке обхода.
![Каждый сотрудник службы мониторинга ЦОД имеет при себе планшет с планом осмотра](https://habrastorage.org/webt/ve/ir/iq/veiriqpzzf_g9jrdrngszssqwea.jpeg)
После осмотра помещения или участка с оборудованием, сотрудник делает отметку в планшете, и по окончанию обхода автоматически формируется протокол обхода, который сохраняется в архиве дата-центра. Внешне это похоже на то, как пилоты обязательно зачитывают инструкцию (чек-лист) по проверке систем самолета перед взлетом, даже если знают эту инструкцию наизусть.
Кроме мониторинга, электрооборудование с определенной периодичностью проходит регламентное обслуживание. Вначале оно в рабочем состоянии осматривается с помощью тепловизора на предмет греющихся контактов, затем отключается и протягиваются все контакты. Одновременно происходит очистка шкафов и иных агрегатов от пыли. К слову, вход в помещения с оборудованием разрешен только в бахилах, а в некоторые из них — еще и в пылезащитных комбинезонах. Вот такое сложное электрическое хозяйство обеспечивает питанием серверы и сетевое оборудование клиентов Selectel.