Система энергоснабжения — одна из самых критических составляющих инженерной инфраструктуры дата-центра. Без электричества дата-центр за доли секунды может превратиться в бесполезное здание с грудой простаивающего ИТ-оборудования. Чтобы такого не случалось, дата-центр имеет на борту дизельные генераторы и источники бесперебойного питания.
Сегодня подробно поговорим о системе энергоснабжения дата-центра: узнаем, какой путь проходит электричество до стойки и что происходит, когда в ЦОДе пропадает городское электричество. Сабж разберем на примере одного из наших дата-центров.
![](https://habrastorage.org/files/f7b/562/8cb/f7b5628cbe3f49ff9d4c0da610969078.gif)
Прежде, чем отправиться маршрутами электричества в дата-центре, разберем основные термины и определения, которые нам сегодня понадобятся.
Дата-центр подключается к городской электросети через два ввода. Эти вводы независимы: идут от разных подстанций и по отдельным трассам. Мы проследим путь электричества по одному из таких вводов от трансформатора до сервера в стойке.
Через вводы городское электричество попадает на понижающие трансформаторы дата-центра. Здесь 10 кВ преобразуются в 400 В.
Эти 400 В приходят на главный распределительный щит (ГРЩ). Отсюда питание расходится по всем инженерными системам и ИТ-оборудованию дата-центра.
![](https://habrastorage.org/r/w780q1/files/e30/283/3c0/e302833c0fa94a4885f28d919eb76ac3.jpg)
Два ряда серых шкафов — это и есть ГРЩ. Каждый ряд (секция) питается от своего ввода и дублирует тот, что стоит напротив.
ГРЩ включает в себя:
В помещении с ГРЩ также находится щит, в котором собраны выходы со всех ДГУ (обычно их от 3 до 5 шт.). Когда пропадает городское электроснабжение, питание из этого щита подается в ГРЩ и расходится дальше по всему дата-центру.
![](https://habrastorage.org/files/861/f03/cef/861f03cef88049758940f55418065871.JPG)
Все вырабатываемое ДГУ электричество поступает на медную распределительную шину и оттуда идет на вводной автомат от ДГУ.
Итак, попадая в ГРЩ, 400В поступают на вводной автомат от города. Далее электричество попадает на распределительную шину и отводные автоматы. АВР в случае перебоев с городской электросетью, переключает дата-центр на питание от ДГУ. От ГРЩ электропитание идет уже гарантированное, но все еще:
а) “грязное”: городское напряжение не слишком стабильно, бывают скачки, временные повышения и понижения.
б) не бесперебойное: ДГУ потребуется до 30 секунд, чтоб завестись и выйти на рабочую нагрузку.
Обе эти проблемы решает источник бесперебойного питания (ИБП). Именно туда поступает электричество после ГРЩ. ИБП выравнивает напряжение до заданного значения, а при потере питания от города ИБП автоматически переключает свою нагрузку на аккумуляторные батареи. На батареях ЦОД может работать автономно около 15 минут. Этого более чем достаточно, чтобы ДГУ успели завестись.
![](https://habrastorage.org/r/w780q1/files/5f5/51a/237/5f551a237ed94c3eb75798ea4de055ed.jpg)
ИБП обыкновенный.
![](https://habrastorage.org/r/w780q1/files/eaf/afd/d14/eafafdd1481e49bb901a796ef1cdddaa.jpg)
Стеллажи с аккумуляторными батареями.
От ИБП питается распределительный щит ИБП (ЩИБП). От отводных автоматов ЩИБП электричество поступает на распределительные щиты машинных залов (ЩР), кондиционеров (ЩК), аварийного освещения (ЩС) и другие щиты.
В ЩР для каждой стойки устанавливается свой отводной автомат нужного номинала и фазности. Например, чтобы запитать стойку мощностью в 6,5 кВт устанавливаем однофазный автомат 32А.
![](https://habrastorage.org/r/w780q1/files/e24/45b/5bf/e2445b5bf2fc43e9b95a52b28eef53f2.jpg)
ЩР в машинном зале.
В машинных залах NORD 4 вместо ЩР используются шинопроводы, находящиеся под фальшполом.
![](https://habrastorage.org/r/w780q1/files/f94/951/c9e/f94951c9e35e4d568551ed2323c5c2ce.jpg)
На шинопроводе устанавливаются отводные коробки с автоматами, ведущими к стойкам.
Осталось запитать оборудование в стойке. Для этого в стойку устанавливается два PDU, которые подключаются к разным лучам питания. Оборудование с двумя блоками питания подключается в разные PDU. Если у оборудования один блок питания, то к PDU оно подключается через АВР. При потере питания на одном из PDU АВР переключает нагрузку на второй.
Принципиально важно правильно подключить оборудование к АВР и PDU. Если напутать, то никакое резервирование по питанию в дата-центре не поможет пережить вашему серверу перебои с городским электроснабжением.
![](https://habrastorage.org/r/w780q1/files/d98/b32/05f/d98b3205f55744b4b246fe50f2f87453.jpg)
Схема правильного подключения серверов с одним и двумя блоками питания в стойку.
Вот такой путь проходит электричество по одному лучу от трансформатора до сервера в стойке. Аналогичным маршрутом электричество добирается до стойки и по второму лучу. На общей схеме все вышеописанное выглядит вот так:
![](https://habrastorage.org/files/ed9/011/96f/ed901196fb1842889778455f5f3ed051.gif)
Теперь разберем ситуацию, когда в дата-центре пропадает городское электроснабжение. При этом сценарии происходит следующее:
— ИБП переключаются на питание от аккумуляторных батарей;
— автоматический ввод резерва в ГРЩ запускает ДГУ и переключает дата-центр на питание от них.
Вот как это происходит:
/>
Когда питание по городской сети возобновляется, то тот же АВР автоматически возвращает дата-центр на питание от городской сети:
![](https://habrastorage.org/r/w780q1/files/161/1a4/57b/1611a457be0349089648fc4be3130904.jpg)
Одна из групп ДГУ на площадке OST.
В этом посте мы подробно разобрали, как система электроснабжения выглядит в динамике. Если хочется узнать подробности по мощностям, маркам и схемам резервирования каждого из элемента системы в дата-центре TIER III, то можно пробежаться по нашей последней экскурсии по NORD 4. Задавайте вопросы в комментах, если что-то интересное для вас осталось за кадром.
Сегодня подробно поговорим о системе энергоснабжения дата-центра: узнаем, какой путь проходит электричество до стойки и что происходит, когда в ЦОДе пропадает городское электричество. Сабж разберем на примере одного из наших дата-центров.
![](https://habrastorage.org/files/f7b/562/8cb/f7b5628cbe3f49ff9d4c0da610969078.gif)
Поговорим по понятиям
Прежде, чем отправиться маршрутами электричества в дата-центре, разберем основные термины и определения, которые нам сегодня понадобятся.
Ввод — место подключения дата-центра к городской электросети.
Трансформатор — устройство для преобразования электрического напряжения, в нашем случае с 10 кВ до 400 В.
Луч — маршрут электричества от трансформатора до блока питания сервера.
Распределительный щит — устройство для приема, распределения электроэнергии и защиты при перегрузках и коротких замыканиях.
Дизель-генераторная установка (ДГУ) — автономная энергетическая установка, которая вырабатывает электричество посредством сжигания дизельного топлива. В дата-центре с помощью ДГУ обеспечивается гарантированное питание. Обычно ДГУ стоят выключенными, но теплыми. На запуск им нужно около 30 секунд.
Источник бесперебойного питания (ИБП) — устройство, питающее дата-центр при кратковременном отключении основного источника электроснабжения. Пропадание электричества хотя бы на секунду, приведет к отключению ИТ-оборудования. Задача ИБП не допустить этого перерыва.
Автоматический ввод резерва (АВР) — устройство, используемое в случаях, если система электроснабжения имеет не менее двух питающих вводов. В случае проблем с одним из вводов нагрузка автоматически переключается на второй. В дата-центрах АВР используется для переключения нагрузки дата-центра на ДГУ и для резервирования электроснабжения серверов с одним блоком питания.
Power distribution unit, PDU (распределитель питания) — устройство для распределения электроэнергии. В английской традиции PDU называют как электрические щиты, так и блоки розеток. У нас это только блоки розеток в стойке.
Да будет свет
Дата-центр подключается к городской электросети через два ввода. Эти вводы независимы: идут от разных подстанций и по отдельным трассам. Мы проследим путь электричества по одному из таких вводов от трансформатора до сервера в стойке.
Через вводы городское электричество попадает на понижающие трансформаторы дата-центра. Здесь 10 кВ преобразуются в 400 В.
Эти 400 В приходят на главный распределительный щит (ГРЩ). Отсюда питание расходится по всем инженерными системам и ИТ-оборудованию дата-центра.
![](https://habrastorage.org/files/e30/283/3c0/e302833c0fa94a4885f28d919eb76ac3.jpg)
Два ряда серых шкафов — это и есть ГРЩ. Каждый ряд (секция) питается от своего ввода и дублирует тот, что стоит напротив.
ГРЩ включает в себя:
- вводной автоматический выключатель (вводные автоматы). Если на пути от ГРЩ до нагрузки произойдет короткое замыкание или превышение допустимого тока, то вводной автомат отключится. Принцип работы этих автоматов такой же, как у пробок в электрощитке у вас дома. В каждой секции ГРЩ два вводных автомата: один работает, когда дата-центр запитан от городской электросети, другой — при включенных ДГУ.
- распределительная шина. На нее поступает все электричество и передается дальше в ИБП или другие распределительные щиты.
В верхней части расположены кабели, по которым приходит электричество из трансформатора. В средней части — вводной автомат, внизу медная распределительная шина.
- автоматический ввод резерва (АВР). Он контролирует вводные автоматы от города и ДГУ, дает команды на запуск и остановку ДГУ, переключает питание дата-центра с трансформаторов на ДГУ и обратно.
На дисплее отображается, от какого источника питается дата-центр. В данный момент питание приходит от городской сети (LN1). LN 2 — это резервное линия питания от ДГУ.
- отводные автоматы. Они защищают от перегруза и короткого замыкания каждую трассу, которая отходит на другие щиты и конечные потребители: стойки, ИБП, кондиционеры, освещение и пр.
- секционный переключатель. У нас два ГРЩ, так как к дата-центру подведены 2 ввода. Он позволяет питать обе секции ГРЩ от одного ввода, когда нужно отремонтировать один из траснформаторов.
В помещении с ГРЩ также находится щит, в котором собраны выходы со всех ДГУ (обычно их от 3 до 5 шт.). Когда пропадает городское электроснабжение, питание из этого щита подается в ГРЩ и расходится дальше по всему дата-центру.
Все вырабатываемое ДГУ электричество поступает на медную распределительную шину и оттуда идет на вводной автомат от ДГУ.
Итак, попадая в ГРЩ, 400В поступают на вводной автомат от города. Далее электричество попадает на распределительную шину и отводные автоматы. АВР в случае перебоев с городской электросетью, переключает дата-центр на питание от ДГУ. От ГРЩ электропитание идет уже гарантированное, но все еще:
а) “грязное”: городское напряжение не слишком стабильно, бывают скачки, временные повышения и понижения.
б) не бесперебойное: ДГУ потребуется до 30 секунд, чтоб завестись и выйти на рабочую нагрузку.
Обе эти проблемы решает источник бесперебойного питания (ИБП). Именно туда поступает электричество после ГРЩ. ИБП выравнивает напряжение до заданного значения, а при потере питания от города ИБП автоматически переключает свою нагрузку на аккумуляторные батареи. На батареях ЦОД может работать автономно около 15 минут. Этого более чем достаточно, чтобы ДГУ успели завестись.
![](https://habrastorage.org/files/5f5/51a/237/5f551a237ed94c3eb75798ea4de055ed.jpg)
ИБП обыкновенный.
![](https://habrastorage.org/files/eaf/afd/d14/eafafdd1481e49bb901a796ef1cdddaa.jpg)
Стеллажи с аккумуляторными батареями.
От ИБП питается распределительный щит ИБП (ЩИБП). От отводных автоматов ЩИБП электричество поступает на распределительные щиты машинных залов (ЩР), кондиционеров (ЩК), аварийного освещения (ЩС) и другие щиты.
В ЩР для каждой стойки устанавливается свой отводной автомат нужного номинала и фазности. Например, чтобы запитать стойку мощностью в 6,5 кВт устанавливаем однофазный автомат 32А.
![](https://habrastorage.org/files/e24/45b/5bf/e2445b5bf2fc43e9b95a52b28eef53f2.jpg)
ЩР в машинном зале.
В машинных залах NORD 4 вместо ЩР используются шинопроводы, находящиеся под фальшполом.
![](https://habrastorage.org/files/f94/951/c9e/f94951c9e35e4d568551ed2323c5c2ce.jpg)
На шинопроводе устанавливаются отводные коробки с автоматами, ведущими к стойкам.
Осталось запитать оборудование в стойке. Для этого в стойку устанавливается два PDU, которые подключаются к разным лучам питания. Оборудование с двумя блоками питания подключается в разные PDU. Если у оборудования один блок питания, то к PDU оно подключается через АВР. При потере питания на одном из PDU АВР переключает нагрузку на второй.
Принципиально важно правильно подключить оборудование к АВР и PDU. Если напутать, то никакое резервирование по питанию в дата-центре не поможет пережить вашему серверу перебои с городским электроснабжением.
![](https://habrastorage.org/files/d98/b32/05f/d98b3205f55744b4b246fe50f2f87453.jpg)
Схема правильного подключения серверов с одним и двумя блоками питания в стойку.
Вот такой путь проходит электричество по одному лучу от трансформатора до сервера в стойке. Аналогичным маршрутом электричество добирается до стойки и по второму лучу. На общей схеме все вышеописанное выглядит вот так:
![](https://habrastorage.org/files/ed9/011/96f/ed901196fb1842889778455f5f3ed051.gif)
Тушите свет
Теперь разберем ситуацию, когда в дата-центре пропадает городское электроснабжение. При этом сценарии происходит следующее:
— ИБП переключаются на питание от аккумуляторных батарей;
— автоматический ввод резерва в ГРЩ запускает ДГУ и переключает дата-центр на питание от них.
Вот как это происходит:
- ИБП фиксирует пропадание питания на входе и автоматически переключается на автономное питание от аккумуляторных батарей.
- Одновременно с этим АВР в ГРЩ также фиксирует перебой с городским питанием. АВР Ждет 5 секунд. Если питание не восстановилось, то АВР подает сигнал на запуск ДГУ.
- ДГУ запускаются и синхронизируются между собой за 15-30 секунд.
- Когда питание от ДГУ появляется на резервной линии, АВР размыкает автоматический выключатель основной линии и замыкает выключатель резервной линии с выдержкой 10 секунд. С этого момента дата-центр питается от ДГУ.
- ИБП видит восстановление питания на входе и возвращается в стандартный режим.
![](https://habrastorage.org/files/e1f/5e0/c46/e1f5e0c4613647349d0b1701391bb273.gif)
Когда питание по городской сети возобновляется, то тот же АВР автоматически возвращает дата-центр на питание от городской сети:
- АВР фиксирует возврат городского питания, ждет 5 секунд отключается от ДГУ.
- Одновременно с этим ИБП переходят на питание от батарей.
- АВР размыкает выключатель на резервной линии (питание от ДГУ), и через 5 секунд замыкает выключатель на основной линии питания от города. ИБП возвращается в стандартный режим.
- АВР ждет 60 секунд, после чего дает команду на остановку ДГУ.
![](https://habrastorage.org/files/161/1a4/57b/1611a457be0349089648fc4be3130904.jpg)
Одна из групп ДГУ на площадке OST.
В этом посте мы подробно разобрали, как система электроснабжения выглядит в динамике. Если хочется узнать подробности по мощностям, маркам и схемам резервирования каждого из элемента системы в дата-центре TIER III, то можно пробежаться по нашей последней экскурсии по NORD 4. Задавайте вопросы в комментах, если что-то интересное для вас осталось за кадром.