Исторически первыми возникли корпоративные центры обработки данных – именно так 10-15 лет назад начали называть модернизированные вычислительные центры крупных корпораций, а также «подросшие» серверные комнаты предприятий среднего бизнеса. Корпоративные дата-центры и сегодня по числу размещенных в них стоек значительно превосходят коммерческие. Однако, с появлением у заказчиков возможности размещать свои ИТ-ресурсы на специализированных ИТ-площадках сторонних организаций – коммерческих ЦОДах — их популярность стабильно растет.
Одна из основных причин этого – повышение привлекательности модели аутсорсинга. Все больше заказчиков осознают экономические преимущества этой модели, позволяющей оперативно и эффективно решать ИТ-задачи без существенных капитальных затрат (CAPEX). Кроме того, использование услуг коммерческих ЦОДов позволяет максимально быстро масштабировать свои ИТ-активы – причем, как расширять их, так и в случае необходимости — сворачивать. Это оптимальная модель, например, для решения задач по поддержке сезонных всплесков потребности в ИТ-сервисах.
На этом преимущества коммерческих ЦОДов не заканчиваются. Важным экономическим плюсом является то, что такие объекты позволяют оплачивать только реально использованные ресурсы. Кроме того, на базе коммерческих ЦОДов часто более эффективно решать задачи информационной безопасности, например, связанные с отражением атак DDoS. Сегодня всё больше коммерческих ЦОДов предлагают не только высокую отказоустойчивость, но и возможность реализации схем катастрофоустойчивости, с оперативным переводом нагрузки на другие площадки. Не следует забывать и о том, что аутсорсинг ИТ позволяет существенно сократить потребности в высокооплачиваемых специалистах, причём, не только по ИТ, но и по инженерным системам. Компании получают возможность сосредоточиться на основном бизнесе, передав решения задач по поддержке ИТ-систем в коммерческие ЦОДы.
За последние несколько лет общая плотность мощности (кВт на стойку) в ЦОДах – как корпоративных, так и коммерческих – значительно возросла. Лет десять назад типичный серверный шкаф потреблял 1-2 кВт электроэнергии, а устанавливаемые в нем блоки PDU представляли собой обычные удлинители, отличающееся от бытовых устройств разве что большим числом силовых розеток. Сегодня серверные шкафы требуют от PDU поддержки гораздо большей мощности. Типовой уровень – 4-5 кВт, но уже немало шкафов заполняются оборудованием, потребляющим 5-9 кВт. В эксплуатации находятся шкафы на 10-25 кВт и даже большей мощности.
Институт AFCOM выделяет четыре уровня мощности в расчете на одну стойку:
Эта классификация была предложена в 2014 году, а уже сегодня «экстремальный» уровень для многих компаний выглядит вполне рабочим. По данным Uptime Institute, 41% ЦОДов уже используют стойки мощностью свыше 20 кВт.
Рост мощности ИТ-оборудования, размещаемого в стойках, повышает требования к мониторингу уровня потребляемой энергии. Чем выше мощность, тем больше критичных ИТ-сервисов «живет» в каждой стойке, а возможное превышение уровня мощности чревато массой негативных последствий: от перегрева до банального отключения автомата. А рост популярности коммерческих ЦОДов приводит к тому, что такой мониторинг должен осуществляться не только локально, но и удаленно, через удобный интерфейс на любом удобном в данный момент для заказчика устройстве.
Блоки PDU с возможностями локального измерения потребляемого электричества появились на рынке более 20 лет назад. Однако большого распространения эти продукты не получили. Задачи более точного учета электричества, потребляемого ИТ-оборудованием, привели к появлению нового поколения PDU с более широкими функциями, в том числе удалённого мониторинга. Эти устройства и получили название «умных» (smart), или «интеллектуальных» PDU. За последние годы популярность таких устройств резко выросла, в том числе, благодаря упомянутым выше требованиям к мониторингу потребления ИТ-оборудования, размещаемого в коммерческих ЦОДах.
Коммерческие дата-центры, специализирующиеся на услугах colocation, тарифицируют свои сервисы, как правило, исходя из двух параметров: площадь и электрическая энергия. При этом практикуются три основные схемы учета энергии:
Поскольку на практике ИТ-оборудование потребляет, как правило, существенно меньше указанного номинала, то заказчиком чаще всего выгоднее использовать тарифы, учитывающие реальную загрузку. А значит, необходимы «умные» PDU.
Примером «умных» PDU являются продукты компании PDU eXpert. Основанная в 2009 году, PDU eXpert базируется в городе Веллингтоне (Великобритания) и является одним из ведущих европейских производителей оборудования распределения питания, контроля, мониторинга и управления энергией для центов обработки данных.
В портфеле продуктов PDU Expert «интеллектуальные» блоки PDU выпускаются в четырех вариантах:
Помимо набора функций, необходимых современным устройствам PDU, продукты PDU eXpert позволяют решать ряд других важных задач, в частности:
Потребность ЦОДов в «интеллектуальных» PDU обусловлена не только экономическими вопросами, но и задачами, связанными с обеспечением высокого уровня надежности. Если в стойках используются блоки PDU без функции мониторинга энергопотребления, конечно, можно вручную измерять потребление с помощью мультиметра. Но эта процедура требует достаточно больших временных затрат, а что ещё хуже, она существенно повышает риск возможных инцидентов из-за «человеческого фактора», поскольку процесс требует определенного вторжения в инфраструктуру (открытие двери шкафа, подключение измерительного прибора и пр.). Более того, поскольку такие измерения могут проводиться только время от времени, они не позволяют гарантированно засечь пики потребления, а также рассчитать общую мощность, потребленную ИТ-оборудованием за определенный период.
Поскольку каждое новое поколение ИТ-оборудования повышает требования к мощности, использование обычных (неинтеллектуальных) блоков PDU всё больше повышает риски. Не имея точных данных относительно энергопотребления, ИТ-администратор не будет знать, можно ли еще установить серверы в данную стойку, и если можно, то сколько. Модернизация серверов или даже обновление ПО способно изменить его энергопотребление, а отсутствие оперативных данных чревато превышением допустимой нагрузки на стойку с уже упомянутыми последствиями (перегрев, отключение автомата и пр.). Что же касается добавления новых серверов в стойку без наличия информации о текущем энергопотреблении, то этот процесс будет напоминать «русскую рулетку» и может привести к самым негативным последствиям.
Необходимость постоянного беспрерывного мониторинга энергопотребления связана еще и с изменившейся структурой энергопотребления ИТ-оборудования. Если 5-10 лет назад типичный сервер в спящем режиме потреблял примерно 50- 60% от максимальной мощности, то современное поколение серверов является гораздо более энергоэффективным: их уровень потребления в спящем режиме составляет 20-25% максимальной мощности, а то и меньше. В результате, потребление электричества стало гораздо более неравномерным, с большим числом пиков и провалов. Эпизодическое измерение потребления ручным способом не позволяет засечь все пиковые значения.
В современных центрах обработки данных для измерения эффективности часто используют показатель PUE, которому была посвящена наша предыдущая статья. Однако надо понимать, что значение PUE характеризует только эффективность инженерной инфраструктуры ЦОДа. Важной задачей является и оценка эффективности работы самой вычислительной среды, серверов и систем хранения данных. Помочь решить эту задачу помогут современные блоки PDU с возможностью измерения энергопотребления отдельных элементов оборудования.
Наличие данных по энергопотреблению позволит оценить, насколько оно меняется при изменении операционной среды, обновления ПО или аппаратных элементов сервера. Получив такие данные, специалисты могут использовать их для корреляции показателей производительности ИТ-оборудования с показателями энергопотребления. Результирующие данные могут помочь оценить то, насколько эффективен тот или иной апгрейд, а также планировать развитие вычислительной среды.
Кроме того, наличие информации по энергопотреблению на отдельных портах PDU позволяет выявить так называемые серверы-зомби. Дело в том, что в старых ЦОДах до 10% серверов могут уже не использоваться или на них может «крутится» ненужное ПО. Такие серверы не только занимают драгоценное место в стойках, но и потребляют электричество и ресурсы системы охлаждения. Ликвидация таких «зомби» позволит существенно повысить эффективность ЦОДа в целом.
Использование блоков PDU с возможностью индивидуального отключения силовых розеток, которые также присутствуют в портфеле продуктов PDU eXpert, позволит исключить неавторизованную активацию нового оборудования или его замену без соответствующего одобрения уполномоченных сотрудников. Несанкционированная установка оборудования может привести к превышению допустимой мощности стойки с последующим отключением автомата и прекращением предоставления ИТ-сервисов.
Эффективность использования «интеллектуальных» PDU существенно повышается при наличии централизованного ПО, способного собирать и анализировать данные с сотен таких блоков. Такое ПО выдает необходимую информацию через удобный интуитивно понятный интерфейс, который может быть адаптирован к потребностям различных категорий сотрудников. Пример такого ПО – система Symbiosis, которая была создана PDU eXpert совместно с партнерской компанией из Германии, специализирующейся на дизайне и разработке инженерных программных продуктов.
Важная особенность Symbiosis – возможность работать в гетерогенной среде с оборудованием разных типов и производителей. Это ПО поддерживает различные устройства производства PDU eXpert – блоки PDU, ATS, ИБП, – a также PDU других вендоров, различные кондиционеры и датчики. Оптимизированные универсальные драйверы SNMP позволяют работать с оборудованием самых разных поставщиков. При этом в отличие от большинства подобных решений, поддерживающих только базовую функцию GET, Symbiosis способно выполнять широкий набор функций по измерению параметров и их контролю.
В отличие от представленных на рынке систем управления класса DCIM, система Symbiosis избавлена от многих избыточных функций, является более гибкой и доступной по цене. При этом она подходит как для малых и средних серверных комнат, так и может масштабироваться для обслуживания комплекса из нескольких центров обработки данных.
Symbiosis позволяет пользователям устанавливать пороговые значения для каждого из подключенных устройств. После того как эти ограничения установлены, система будет автоматически предупреждать выбранных пользователей, в том числе посредством уведомлений по электронной почте.
ПО Symbiosis успешно используют множество заказчиков в разных странах. Например, один из крупнейших мировых операторов связи компания Vodafone приобрела продукт Symbiosis для управления «интеллектуальными» устройствами PDU от разных производителей и системой охлаждения в ЦОДе в г. Мюнхен. Другой пример – применение ПО Symbiosis в ЦОДе Kesington Council для управления интеллектуальными PDU KWX-N32A36x6-V1CB производства PDU eXpert.
Вне зависимости от размера и уровня энергопотребления ЦОДа, возможность отслеживать потребление энергии и производить его корреляцию с уровнем утилизации ИТ-ресурсов –ключевая функция для управления центром обработки данных и стратегического планирования его развития. Дополнение «интеллектуальных» PDU современным ПО управления, таким, как Symbiosis, позволяет с высокой степенью детализации и удобства не только контролировать энергопотребление, но и просчитывать это потребление арендаторами ЦОДа, предлагая им максимально привлекательные тарифы.
Одна из основных причин этого – повышение привлекательности модели аутсорсинга. Все больше заказчиков осознают экономические преимущества этой модели, позволяющей оперативно и эффективно решать ИТ-задачи без существенных капитальных затрат (CAPEX). Кроме того, использование услуг коммерческих ЦОДов позволяет максимально быстро масштабировать свои ИТ-активы – причем, как расширять их, так и в случае необходимости — сворачивать. Это оптимальная модель, например, для решения задач по поддержке сезонных всплесков потребности в ИТ-сервисах.
На этом преимущества коммерческих ЦОДов не заканчиваются. Важным экономическим плюсом является то, что такие объекты позволяют оплачивать только реально использованные ресурсы. Кроме того, на базе коммерческих ЦОДов часто более эффективно решать задачи информационной безопасности, например, связанные с отражением атак DDoS. Сегодня всё больше коммерческих ЦОДов предлагают не только высокую отказоустойчивость, но и возможность реализации схем катастрофоустойчивости, с оперативным переводом нагрузки на другие площадки. Не следует забывать и о том, что аутсорсинг ИТ позволяет существенно сократить потребности в высокооплачиваемых специалистах, причём, не только по ИТ, но и по инженерным системам. Компании получают возможность сосредоточиться на основном бизнесе, передав решения задач по поддержке ИТ-систем в коммерческие ЦОДы.
Когда плотность растет
За последние несколько лет общая плотность мощности (кВт на стойку) в ЦОДах – как корпоративных, так и коммерческих – значительно возросла. Лет десять назад типичный серверный шкаф потреблял 1-2 кВт электроэнергии, а устанавливаемые в нем блоки PDU представляли собой обычные удлинители, отличающееся от бытовых устройств разве что большим числом силовых розеток. Сегодня серверные шкафы требуют от PDU поддержки гораздо большей мощности. Типовой уровень – 4-5 кВт, но уже немало шкафов заполняются оборудованием, потребляющим 5-9 кВт. В эксплуатации находятся шкафы на 10-25 кВт и даже большей мощности.
Институт AFCOM выделяет четыре уровня мощности в расчете на одну стойку:
- низкий — до 4 кВт;
- средний — 5-8 кВт;
- высокий — 9-15 кВт;
- экстремальный — 16 кВт и выше.
Эта классификация была предложена в 2014 году, а уже сегодня «экстремальный» уровень для многих компаний выглядит вполне рабочим. По данным Uptime Institute, 41% ЦОДов уже используют стойки мощностью свыше 20 кВт.
Рост мощности ИТ-оборудования, размещаемого в стойках, повышает требования к мониторингу уровня потребляемой энергии. Чем выше мощность, тем больше критичных ИТ-сервисов «живет» в каждой стойке, а возможное превышение уровня мощности чревато массой негативных последствий: от перегрева до банального отключения автомата. А рост популярности коммерческих ЦОДов приводит к тому, что такой мониторинг должен осуществляться не только локально, но и удаленно, через удобный интерфейс на любом удобном в данный момент для заказчика устройстве.
Экономика
Блоки PDU с возможностями локального измерения потребляемого электричества появились на рынке более 20 лет назад. Однако большого распространения эти продукты не получили. Задачи более точного учета электричества, потребляемого ИТ-оборудованием, привели к появлению нового поколения PDU с более широкими функциями, в том числе удалённого мониторинга. Эти устройства и получили название «умных» (smart), или «интеллектуальных» PDU. За последние годы популярность таких устройств резко выросла, в том числе, благодаря упомянутым выше требованиям к мониторингу потребления ИТ-оборудования, размещаемого в коммерческих ЦОДах.
Коммерческие дата-центры, специализирующиеся на услугах colocation, тарифицируют свои сервисы, как правило, исходя из двух параметров: площадь и электрическая энергия. При этом практикуются три основные схемы учета энергии:
- В первом случае стоимость аренды стойки зависит от максимально допустимой мощности на стойку, при этом реальное энергопотребление в расчет не принимается. В этом случае заказчики платят фиксированную цену вне зависимости от того, сколько по факту потребило установленное в стойке оборудование. Минусом этого варианта для заказчиков является то, что когда оборудование потребляет мало электричества, им приходится переплачивать.
- Второй вариант — оплата за реально потребленное электричество. В этом случае используются «интеллектуальные» PDU, которые позволяют учитывать потребление.
- 3В некоторых случаях практикуется комбинированная схема, когда в тарифе учитывается как максимальная мощность стойки, так и реальное потребление. В этом случае фиксированная составляющая стоимости, которая основана на максимально допустимой мощности, будет меньше, чем в первом варианте. Но к этой сумме будет добавляться та, которая рассчитывается, исходя из потребленного электричества.
Поскольку на практике ИТ-оборудование потребляет, как правило, существенно меньше указанного номинала, то заказчиком чаще всего выгоднее использовать тарифы, учитывающие реальную загрузку. А значит, необходимы «умные» PDU.
Решения от PDU eXpert
Примером «умных» PDU являются продукты компании PDU eXpert. Основанная в 2009 году, PDU eXpert базируется в городе Веллингтоне (Великобритания) и является одним из ведущих европейских производителей оборудования распределения питания, контроля, мониторинга и управления энергией для центов обработки данных.
В портфеле продуктов PDU Expert «интеллектуальные» блоки PDU выпускаются в четырех вариантах:
- Модели с индексом N1 обеспечивают общий контроль мощности, проходящей через весь PDU, включая общий ток (A), входное и выходное напряжение (В) и потребление электричества (кВт⋅ч) всеми подключенными к PDU устройствами;
- Модели N2 отличаются от моделей N1 тем, что позволяют осуществлять мониторинг на уровне каждой отдельной розетки. Они дают возможность получать данные по энергопотреблению отдельных устройств, подключенных к PDU;
- Устройства N3 имеют все те же функции, что модели N1, но дополнительно позволяют удаленно включать и выключать отдельные розетки;
- Наиболее функциональные модели N4 обеспечивают и возможность мониторинга отдельных розеток (как N2), и их удаленного включения/отключения (как N3).
Помимо набора функций, необходимых современным устройствам PDU, продукты PDU eXpert позволяют решать ряд других важных задач, в частности:
- Оперативное переключение нагрузки между основным (primary) и резервным (backup) источниками питания. Такое переключение осуществляется за время менее 8 мс, что означает сохранение бесперебойной подачи электричества на нагрузку. Функцией автоматического ввода резерва наделены продукты с индексом ATS – Automatic Transfer Switch;
- Мониторинг рабочей среды. Этот функционал реализуется благодаря возможности подключения к PDU до восьми различных датчиков: температуры/влажности, дыма, инфракрасного излучения, открывания двери, воздушного потока, попадания воды.
Надежность
Потребность ЦОДов в «интеллектуальных» PDU обусловлена не только экономическими вопросами, но и задачами, связанными с обеспечением высокого уровня надежности. Если в стойках используются блоки PDU без функции мониторинга энергопотребления, конечно, можно вручную измерять потребление с помощью мультиметра. Но эта процедура требует достаточно больших временных затрат, а что ещё хуже, она существенно повышает риск возможных инцидентов из-за «человеческого фактора», поскольку процесс требует определенного вторжения в инфраструктуру (открытие двери шкафа, подключение измерительного прибора и пр.). Более того, поскольку такие измерения могут проводиться только время от времени, они не позволяют гарантированно засечь пики потребления, а также рассчитать общую мощность, потребленную ИТ-оборудованием за определенный период.
Поскольку каждое новое поколение ИТ-оборудования повышает требования к мощности, использование обычных (неинтеллектуальных) блоков PDU всё больше повышает риски. Не имея точных данных относительно энергопотребления, ИТ-администратор не будет знать, можно ли еще установить серверы в данную стойку, и если можно, то сколько. Модернизация серверов или даже обновление ПО способно изменить его энергопотребление, а отсутствие оперативных данных чревато превышением допустимой нагрузки на стойку с уже упомянутыми последствиями (перегрев, отключение автомата и пр.). Что же касается добавления новых серверов в стойку без наличия информации о текущем энергопотреблении, то этот процесс будет напоминать «русскую рулетку» и может привести к самым негативным последствиям.
Необходимость постоянного беспрерывного мониторинга энергопотребления связана еще и с изменившейся структурой энергопотребления ИТ-оборудования. Если 5-10 лет назад типичный сервер в спящем режиме потреблял примерно 50- 60% от максимальной мощности, то современное поколение серверов является гораздо более энергоэффективным: их уровень потребления в спящем режиме составляет 20-25% максимальной мощности, а то и меньше. В результате, потребление электричества стало гораздо более неравномерным, с большим числом пиков и провалов. Эпизодическое измерение потребления ручным способом не позволяет засечь все пиковые значения.
Эффективность
В современных центрах обработки данных для измерения эффективности часто используют показатель PUE, которому была посвящена наша предыдущая статья. Однако надо понимать, что значение PUE характеризует только эффективность инженерной инфраструктуры ЦОДа. Важной задачей является и оценка эффективности работы самой вычислительной среды, серверов и систем хранения данных. Помочь решить эту задачу помогут современные блоки PDU с возможностью измерения энергопотребления отдельных элементов оборудования.
Наличие данных по энергопотреблению позволит оценить, насколько оно меняется при изменении операционной среды, обновления ПО или аппаратных элементов сервера. Получив такие данные, специалисты могут использовать их для корреляции показателей производительности ИТ-оборудования с показателями энергопотребления. Результирующие данные могут помочь оценить то, насколько эффективен тот или иной апгрейд, а также планировать развитие вычислительной среды.
Кроме того, наличие информации по энергопотреблению на отдельных портах PDU позволяет выявить так называемые серверы-зомби. Дело в том, что в старых ЦОДах до 10% серверов могут уже не использоваться или на них может «крутится» ненужное ПО. Такие серверы не только занимают драгоценное место в стойках, но и потребляют электричество и ресурсы системы охлаждения. Ликвидация таких «зомби» позволит существенно повысить эффективность ЦОДа в целом.
Использование блоков PDU с возможностью индивидуального отключения силовых розеток, которые также присутствуют в портфеле продуктов PDU eXpert, позволит исключить неавторизованную активацию нового оборудования или его замену без соответствующего одобрения уполномоченных сотрудников. Несанкционированная установка оборудования может привести к превышению допустимой мощности стойки с последующим отключением автомата и прекращением предоставления ИТ-сервисов.
Управляемость
Эффективность использования «интеллектуальных» PDU существенно повышается при наличии централизованного ПО, способного собирать и анализировать данные с сотен таких блоков. Такое ПО выдает необходимую информацию через удобный интуитивно понятный интерфейс, который может быть адаптирован к потребностям различных категорий сотрудников. Пример такого ПО – система Symbiosis, которая была создана PDU eXpert совместно с партнерской компанией из Германии, специализирующейся на дизайне и разработке инженерных программных продуктов.
Важная особенность Symbiosis – возможность работать в гетерогенной среде с оборудованием разных типов и производителей. Это ПО поддерживает различные устройства производства PDU eXpert – блоки PDU, ATS, ИБП, – a также PDU других вендоров, различные кондиционеры и датчики. Оптимизированные универсальные драйверы SNMP позволяют работать с оборудованием самых разных поставщиков. При этом в отличие от большинства подобных решений, поддерживающих только базовую функцию GET, Symbiosis способно выполнять широкий набор функций по измерению параметров и их контролю.
В отличие от представленных на рынке систем управления класса DCIM, система Symbiosis избавлена от многих избыточных функций, является более гибкой и доступной по цене. При этом она подходит как для малых и средних серверных комнат, так и может масштабироваться для обслуживания комплекса из нескольких центров обработки данных.
Symbiosis позволяет пользователям устанавливать пороговые значения для каждого из подключенных устройств. После того как эти ограничения установлены, система будет автоматически предупреждать выбранных пользователей, в том числе посредством уведомлений по электронной почте.
ПО Symbiosis успешно используют множество заказчиков в разных странах. Например, один из крупнейших мировых операторов связи компания Vodafone приобрела продукт Symbiosis для управления «интеллектуальными» устройствами PDU от разных производителей и системой охлаждения в ЦОДе в г. Мюнхен. Другой пример – применение ПО Symbiosis в ЦОДе Kesington Council для управления интеллектуальными PDU KWX-N32A36x6-V1CB производства PDU eXpert.
Вне зависимости от размера и уровня энергопотребления ЦОДа, возможность отслеживать потребление энергии и производить его корреляцию с уровнем утилизации ИТ-ресурсов –ключевая функция для управления центром обработки данных и стратегического планирования его развития. Дополнение «интеллектуальных» PDU современным ПО управления, таким, как Symbiosis, позволяет с высокой степенью детализации и удобства не только контролировать энергопотребление, но и просчитывать это потребление арендаторами ЦОДа, предлагая им максимально привлекательные тарифы.
