Системы ИБП с изолированно-параллельной шиной (IP-Bus) – ответ разработчиков на рост мощностей дата-центров. В мире уже построено много ЦОДов с IP-Bus, в том числе с сертификатом Tier IV Uptime Institute. К таким решениям присматриваются и российские заказчики.
В практике строительства ЦОДов наблюдается устойчивый тренд на их укрупнение. В мире появились объекты мощностью 100 МВт. Россия так же не остается в стороне, хотя и следует в данном направлении с некоторой задержкой. Еще 10 лет назад в нашей стране крупным считался дата-центр мощностью 5 МВт, а сегодня несколько ведущих операторов заявили о планах строительства объектов на 2000 и более стоек, что соответствует энергопотреблению 15 МВт и выше.
Для организации инженерных систем большой мощности, как показала мировая практика, наиболее целесообразной с экономической точки зрения является схема с параллельным N+x (N+1, N+2…) подключением устройств. Причем, единичная мощность самых больших в мире установок ИБП — динамических, которые можно применять в таких решениях, ограничивается мощностью (и стоимостью) самых больших дизельных двигателей, используемых для работы с ИБП.
Однако прямое параллельное включение ИБП, обеспечивая возможность создания эффективных конфигураций N + x, обладает рядом существенных недостатков:
Схема N + N (2N), отвечающая уровню отказоустойчивости Tier IV Uptime Institute, дает возможность путем строительства отдельных энергомодулей уйти от основных недостатков классических параллельных систем. Но такой подход обладает другими очевидными недостатками:
В силу указанных причин конфигурация N + N (2N) редко применяется для объектов мощностью свыше 10 МВт.
В 2005 г. было найдено решение, позволившее при сохранении основного преимущества параллельной схемы – оптимального числа модулей ИБП в схеме N + x – реализовать на практике системы мощностью до 20 МВт, оставаясь на низком напряжении 0,4 кВ. Это решение, получившее название конфигурация с изолированно-параллельной шиной (IP-Bus), отвечает самому высокому уровню отказоустойчивости (Tier IV Uptime Institute). В основе идеи IP-Bus – использование кольцевой шины для соединения отдельных модулей ИБП, каждый из которых изолирован с помощью дросселя (рис. 1).
Рис.1. Изолированно-параллельное включение ИБП
В системах IP-Bus каждый ИБП работает на свой выход нагрузки и одновременно подключен к общей шине (IP-Bus) через изолирующий дроссель, который выполняет несколько важных функций:
<img src="
" alt=«image»/>
Рис. 2. Пример распределения нагрузки в системе из 16 установок ИБП
В отличие от «прямой» параллельной конфигурации, в системе IP-Bus каждая установка ИБП управляет своим напряжением на выходе независимо от других – отсутствует централизованное устройство управления и исключается общая точка отказа. Если предположить, что поток мощности от одного ИБП по какой-либо причине внезапно пропадает, его нагрузка остается подключенной к IP-Bus с помощью IP-дросселя, который теперь работает в качестве резервного источника питания. При таком сценарии нагрузка будет автоматически и бесперебойно получать питание из шины IP-Bus (см. рис. 3).
Рис. 3. Пример резервирования системы при отказе/выключении одной установки ИБП
На практике шина IP-Bus обычно выполняется в виде кольца, как показано на рис. 4. Второй сегмент IP-Bus, зачастую называемый возвратной шиной (Return-Bus), играет роль резервного источника для нагрузок, позволяя напрямую подключать их к IP-Bus через отдельные выключатели – своего рода байпасы, что обеспечивает номинальное напряжение на нагрузке даже в аварийных ситуациях или при выполнении сервисных работ. Такие байпасы не являются общей точкой отказа, поскольку в начальный момент времени, пока не замкнется байпас, нагрузка бесперебойно продолжает получать питание от шины IP-Bus через IP дроссель как сказано выше.
Рис. 4 Пример работы нагрузки №2 напрямую от резервной шины IP Bus
Поведение системы IP-Bus при сценариях КЗ также существенно отличается от процессов в «прямой» параллельной конфигурации. В схеме IP-Bus возможные короткие замыкания благодаря использованию IP-дросселей оказывают лишь незначительное влияние на нагрузки. При этом токи КЗ не превышают 100 кА, что позволяет использовать стандартное коммутационное, защитное и шинное оборудование.
При коротком замыкании на стороне нагрузки ИБП (см. рис. 5) воздействие такого замыкания на всю систему относительно незначительно в силу того, что остающиеся в работе нагрузки изолированы от ИБП посредством двух последовательно включенных дросселей. С другой стороны, ток КЗ, отдаваемый ИБП на общую IP-шину, ограничен сопротивлением IP-дросселя. Поэтому изменения в напряжении на не пострадавших нагрузках незначительны и остаются в безопасной области кривой ITI (CBEMA).
Рис. 5. Пример распределения и величин токов КЗ в системе IP-Bus при КЗ на шине питания нагрузки, подключенной к ИБП 2
В случае короткого замыкания на шине IP-Bus, между точкой КЗ и ИБП или нагрузкой расположен только один IP-дроссель. Поэтому провал напряжения на нагрузках при таком сценарии будет намного больше, по сравнению со случаем КЗ в системе распределения нагрузки. При низком переходном сопротивлении ИБП начальное падение напряжения на нагрузке составит 30%. Для чувствительных блоков питания серверов, в соответствии с кривой ITI (CBEMA), такое падение напряжения допустимо в течение максимум 500 мс. Применение сегментированной направленной защиты, специально адаптированной к требованиям системы IP-Bus, позволяет очищать КЗ на шине IP-Bus в течение 60 мс путем выборочной изоляции очага КЗ и одновременно позволяет той части системы IP-Bus, на которую это непосредственно не влияет, оставаться полностью работоспособной.
Система IP Bus состоит из нескольких установок ИБП, количество которых определяется заданным уровнем резервирования N+x и включает следующие основные компоненты: ИБП с устройством накопления энергии, IP-дроссель для подключения установки ИБП к IP-шине и выключатели, необходимые для безопасной работы системы.
На рис. 6 показан один из вариантов системы IP Bus на базе роторного ИБП.
Элементы системы:
1. Внешняя сеть
2. Шина IP-Bus
3. Возвратная шина IP-Return-Bus
4. Роторный ДИБП с маховиком
5. ДГУ на длительный перерыв сети (опционально)
6. IP-дроссель
7. Обходной переключатель
8. IP-выключатели
9. Нагрузка
Рис. 6. Пример системы IP-Bus с применением роторного ИБП Piller UNIBLOCK и внешнего ДГУ с «нижним» включением
Согласно практическому опыту компании Piller, динамические ИБП с маховиками (рис. 6) в качестве устройств хранения резервной энергии являются идеальным решением для систем IP Bus поскольку кинетические накопители в составе ДИБП могут работать в режиме как мгновенного поглощения энергии, так и мгновенного разряда, что важно для стабилизации рабочих параметров системы IP-Bus при изменениях нагрузки.
Кроме того, мотор-генераторы в составе ДИБП обладают способностью поставлять высокие токи КЗ – до 20 х Inom, что позволяет системам IP-Bus за очень которое время справляться с очисткой КЗ, не подвергая соседние нагрузки негативным воздействиям короткого замыкания.
Статические ИБП с аккумуляторными батареями имеют ограниченные возможности мгновенно отдавать и принимать большие токи, а кроме того, токи КЗ самих ИБП относительно невысоки. По этим причинам решения IP-Bus на статических ИБП – это скорее эксперименты, и в действующих ЦОДах они практически не встречаются.
Первая в мире система IP-Bus была реализована в 2007 г. для ЦОДа мощностью 36 МВт в Эшберне (Вирджиния, США). На объекте были установлены две отдельные системы IP-Bus, каждая из которых включает 16 ИБП Piller UNIBLOCK UBT 1670 кВА с маховиками в конфигурации 14 + 2. На случай длительных пропаданий внешней сети каждый ДИБП резервируется отдельным дизельным генератором 2810 кВА с «нижним включением», который работает как на нагрузки бесперебойного, так и гарантированного электропитания
После успеха реализации первой системы IP-Bus такая конфигурация стала быстро набирать популярность в индустрии ЦОДов. Очередной важной вехой в развитии и признании технологии IP-Bus стало получение австралийским ЦОДом NEXTDC B2 с системой электропитания IP-Bus N + 1 сертификата Tier IV Design & Facility Uptime Institute в сентябре 2017 г.
Российский рынок ЦОДов только входит в этап строительства крупных объектов мощностью свыше 10 МВт. По результатам первых расчетов концепций и бюджетных оценок решений IP-Bus на нескольких проектах ЦОДов в России (в диапазоне мощностей 5--15 МВт) можно сделать следующие выводы. В сравнении с конфигурацией 2N на статических ИБП решения IP-Bus на базе ДИБП не дороже в начальных капитальных затратах, дают выигрыш 30--60% в занимаемой площади, более чем на 50% выгоднее по стоимости владения (ТСО) на отрезке 10 лет. В сравнении с распределенно-резервной конфигурацией N + 1 (DR 3/2, 4/3), реализуемой как на статических, так и на динамических ИБП, решения IP-Bus на базе ДИБП не дороже в начальных капитальных затратах (для ЦОДов мощностью 10 МВт и более), дают выигрыш 20--50% в занимаемой площади, выгоднее на 50% по ТСО на отрезке 10 лет.
Таким образом, уверен, что внедрение систем IP-Bus в российских ЦОДах – лишь вопрос времени.
В практике строительства ЦОДов наблюдается устойчивый тренд на их укрупнение. В мире появились объекты мощностью 100 МВт. Россия так же не остается в стороне, хотя и следует в данном направлении с некоторой задержкой. Еще 10 лет назад в нашей стране крупным считался дата-центр мощностью 5 МВт, а сегодня несколько ведущих операторов заявили о планах строительства объектов на 2000 и более стоек, что соответствует энергопотреблению 15 МВт и выше.
Для организации инженерных систем большой мощности, как показала мировая практика, наиболее целесообразной с экономической точки зрения является схема с параллельным N+x (N+1, N+2…) подключением устройств. Причем, единичная мощность самых больших в мире установок ИБП — динамических, которые можно применять в таких решениях, ограничивается мощностью (и стоимостью) самых больших дизельных двигателей, используемых для работы с ИБП.
Однако прямое параллельное включение ИБП, обеспечивая возможность создания эффективных конфигураций N + x, обладает рядом существенных недостатков:
- Низковольтные установки можно применять только в системах до 5 МВт. Это связано как с ограничениями по доступным номиналам низковольтных комплектных устройств (6300 А), так и с высокими токами короткого замыкания, значения которых могут превышать 150 кА.
- Решения на средневольтном напряжении, дающие возможность строить системы свыше 5 МВт, увеличивают стоимость энергосистемы и не всегда устраивают заказчиков в части эксплуатации.
- Общие компоненты системы – входная и выходная шины, байпас – являются общими точками отказа.
Схема N + N (2N), отвечающая уровню отказоустойчивости Tier IV Uptime Institute, дает возможность путем строительства отдельных энергомодулей уйти от основных недостатков классических параллельных систем. Но такой подход обладает другими очевидными недостатками:
- 100%-ное дублирование оборудования, т.е. высокие капитальные затраты;
- большая занимаемая площадь;
- максимальный уровень загрузки – 50% (на практике – не выше 40%);
- высокие затраты на эксплуатацию.
В силу указанных причин конфигурация N + N (2N) редко применяется для объектов мощностью свыше 10 МВт.
В 2005 г. было найдено решение, позволившее при сохранении основного преимущества параллельной схемы – оптимального числа модулей ИБП в схеме N + x – реализовать на практике системы мощностью до 20 МВт, оставаясь на низком напряжении 0,4 кВ. Это решение, получившее название конфигурация с изолированно-параллельной шиной (IP-Bus), отвечает самому высокому уровню отказоустойчивости (Tier IV Uptime Institute). В основе идеи IP-Bus – использование кольцевой шины для соединения отдельных модулей ИБП, каждый из которых изолирован с помощью дросселя (рис. 1).
Рис.1. Изолированно-параллельное включение ИБП
В системах IP-Bus каждый ИБП работает на свой выход нагрузки и одновременно подключен к общей шине (IP-Bus) через изолирующий дроссель, который выполняет несколько важных функций:
- позволяет перераспределять активную мощность между ИБП – модуль ИБП с меньшей нагрузкой «помогает» другим модулям, передавая избыток мощности через IP-шину (рис. 2);
- обеспечивает бесперебойное электроснабжение нагрузки в случае отключения ИБП для сервисных работ или при аварии (рис. 3, рис. 4);
- замедляет обмен реактивными токами между установками ИБП, за счет импедансов дросселей, так что отпадает необходимость в управлении реактивной мощностью внутри системы.
- эффективно ограничивает токи короткого замыкания в различных сценариях КЗ (рис. 5).
Благодаря возможности естественного распределения нагрузки без какого-либо внешнего управления системы IP-Bus, как правило, реализуются в конфигурациях с резервированием N + х (N + 1, N + 2…). Сокращение количества избыточных ИБП до минимума позволяет обеспечить загрузку установок ИБП в системе на высоком уровне — свыше 70%, что делает такие системы очень энергоэффективными.
<img src="
" alt=«image»/>Рис. 2. Пример распределения нагрузки в системе из 16 установок ИБП
В отличие от «прямой» параллельной конфигурации, в системе IP-Bus каждая установка ИБП управляет своим напряжением на выходе независимо от других – отсутствует централизованное устройство управления и исключается общая точка отказа. Если предположить, что поток мощности от одного ИБП по какой-либо причине внезапно пропадает, его нагрузка остается подключенной к IP-Bus с помощью IP-дросселя, который теперь работает в качестве резервного источника питания. При таком сценарии нагрузка будет автоматически и бесперебойно получать питание из шины IP-Bus (см. рис. 3).
Рис. 3. Пример резервирования системы при отказе/выключении одной установки ИБП
На практике шина IP-Bus обычно выполняется в виде кольца, как показано на рис. 4. Второй сегмент IP-Bus, зачастую называемый возвратной шиной (Return-Bus), играет роль резервного источника для нагрузок, позволяя напрямую подключать их к IP-Bus через отдельные выключатели – своего рода байпасы, что обеспечивает номинальное напряжение на нагрузке даже в аварийных ситуациях или при выполнении сервисных работ. Такие байпасы не являются общей точкой отказа, поскольку в начальный момент времени, пока не замкнется байпас, нагрузка бесперебойно продолжает получать питание от шины IP-Bus через IP дроссель как сказано выше.
Рис. 4 Пример работы нагрузки №2 напрямую от резервной шины IP Bus
Поведение системы IP-Bus при сценариях КЗ также существенно отличается от процессов в «прямой» параллельной конфигурации. В схеме IP-Bus возможные короткие замыкания благодаря использованию IP-дросселей оказывают лишь незначительное влияние на нагрузки. При этом токи КЗ не превышают 100 кА, что позволяет использовать стандартное коммутационное, защитное и шинное оборудование.
При коротком замыкании на стороне нагрузки ИБП (см. рис. 5) воздействие такого замыкания на всю систему относительно незначительно в силу того, что остающиеся в работе нагрузки изолированы от ИБП посредством двух последовательно включенных дросселей. С другой стороны, ток КЗ, отдаваемый ИБП на общую IP-шину, ограничен сопротивлением IP-дросселя. Поэтому изменения в напряжении на не пострадавших нагрузках незначительны и остаются в безопасной области кривой ITI (CBEMA).
Рис. 5. Пример распределения и величин токов КЗ в системе IP-Bus при КЗ на шине питания нагрузки, подключенной к ИБП 2
В случае короткого замыкания на шине IP-Bus, между точкой КЗ и ИБП или нагрузкой расположен только один IP-дроссель. Поэтому провал напряжения на нагрузках при таком сценарии будет намного больше, по сравнению со случаем КЗ в системе распределения нагрузки. При низком переходном сопротивлении ИБП начальное падение напряжения на нагрузке составит 30%. Для чувствительных блоков питания серверов, в соответствии с кривой ITI (CBEMA), такое падение напряжения допустимо в течение максимум 500 мс. Применение сегментированной направленной защиты, специально адаптированной к требованиям системы IP-Bus, позволяет очищать КЗ на шине IP-Bus в течение 60 мс путем выборочной изоляции очага КЗ и одновременно позволяет той части системы IP-Bus, на которую это непосредственно не влияет, оставаться полностью работоспособной.
Система IP Bus состоит из нескольких установок ИБП, количество которых определяется заданным уровнем резервирования N+x и включает следующие основные компоненты: ИБП с устройством накопления энергии, IP-дроссель для подключения установки ИБП к IP-шине и выключатели, необходимые для безопасной работы системы.
На рис. 6 показан один из вариантов системы IP Bus на базе роторного ИБП.
Элементы системы:
1. Внешняя сеть
2. Шина IP-Bus
3. Возвратная шина IP-Return-Bus
4. Роторный ДИБП с маховиком
5. ДГУ на длительный перерыв сети (опционально)
6. IP-дроссель
7. Обходной переключатель
8. IP-выключатели
9. Нагрузка
Рис. 6. Пример системы IP-Bus с применением роторного ИБП Piller UNIBLOCK и внешнего ДГУ с «нижним» включением
Согласно практическому опыту компании Piller, динамические ИБП с маховиками (рис. 6) в качестве устройств хранения резервной энергии являются идеальным решением для систем IP Bus поскольку кинетические накопители в составе ДИБП могут работать в режиме как мгновенного поглощения энергии, так и мгновенного разряда, что важно для стабилизации рабочих параметров системы IP-Bus при изменениях нагрузки.
Кроме того, мотор-генераторы в составе ДИБП обладают способностью поставлять высокие токи КЗ – до 20 х Inom, что позволяет системам IP-Bus за очень которое время справляться с очисткой КЗ, не подвергая соседние нагрузки негативным воздействиям короткого замыкания.
Статические ИБП с аккумуляторными батареями имеют ограниченные возможности мгновенно отдавать и принимать большие токи, а кроме того, токи КЗ самих ИБП относительно невысоки. По этим причинам решения IP-Bus на статических ИБП – это скорее эксперименты, и в действующих ЦОДах они практически не встречаются.
Первая в мире система IP-Bus была реализована в 2007 г. для ЦОДа мощностью 36 МВт в Эшберне (Вирджиния, США). На объекте были установлены две отдельные системы IP-Bus, каждая из которых включает 16 ИБП Piller UNIBLOCK UBT 1670 кВА с маховиками в конфигурации 14 + 2. На случай длительных пропаданий внешней сети каждый ДИБП резервируется отдельным дизельным генератором 2810 кВА с «нижним включением», который работает как на нагрузки бесперебойного, так и гарантированного электропитания
После успеха реализации первой системы IP-Bus такая конфигурация стала быстро набирать популярность в индустрии ЦОДов. Очередной важной вехой в развитии и признании технологии IP-Bus стало получение австралийским ЦОДом NEXTDC B2 с системой электропитания IP-Bus N + 1 сертификата Tier IV Design & Facility Uptime Institute в сентябре 2017 г.
Российский рынок ЦОДов только входит в этап строительства крупных объектов мощностью свыше 10 МВт. По результатам первых расчетов концепций и бюджетных оценок решений IP-Bus на нескольких проектах ЦОДов в России (в диапазоне мощностей 5--15 МВт) можно сделать следующие выводы. В сравнении с конфигурацией 2N на статических ИБП решения IP-Bus на базе ДИБП не дороже в начальных капитальных затратах, дают выигрыш 30--60% в занимаемой площади, более чем на 50% выгоднее по стоимости владения (ТСО) на отрезке 10 лет. В сравнении с распределенно-резервной конфигурацией N + 1 (DR 3/2, 4/3), реализуемой как на статических, так и на динамических ИБП, решения IP-Bus на базе ДИБП не дороже в начальных капитальных затратах (для ЦОДов мощностью 10 МВт и более), дают выигрыш 20--50% в занимаемой площади, выгоднее на 50% по ТСО на отрезке 10 лет.
Таким образом, уверен, что внедрение систем IP-Bus в российских ЦОДах – лишь вопрос времени.
