В июне этого года было анонсировано сразу несколько важных событий в индустрии дата-центров. Для начала стало известно, что получено разрешение на строительство первого в Республике Бангладеш и единственного в своем роде в Азии национального ЦОДа категории Tier IV. Следом за этим японский технический гигант Fujitsu объявил о глобальной модернизации своих австралийских дата-центров — тоже до уровня Tier IV. Последние новости дали почву для размышлений об эволюции ЦОДов и сути их классификации, о чем сегодня мы и поговорим.
/ фото Arthur Caranta CC
У клиентов операторов дата-центров всегда были определенные ожидания и требования к предоставляемой инфраструктуре. В основном речь шла о надежности и безопасности — самых значимых показателях при выборе центра обработки данных. Вехой в становлении стандартизации стало объединение в 1989 году единомышленников в группу Uninterruptible Uptime Users Group (UUUG). По словам Эдварда Рафтера (Edward Rafter), инженера, проектировавшего ЦОДы на раннем этапе развития индустрии в США, это событие ознаменовало собой поворотный момент в обмене опытом и стало первым толчком к оценке инфраструктуры дата-центров.
В 1993 году организация Uptime Institute с помощью ассоциации компаний, ответственных за обслуживание наиболее важных ЦОДов в Америке, создала базу по обмену опытом. На ее основе начали вырабатываться способы оценки эффективности центров обработки данных. Были проанализированы аспекты, которые влияют на принятие бизнес-решений: около 30 факторов работоспособности дата-центров, относящихся к расположению, воздействию на окружающую среду и качеству обслуживания и 16 подсистем технического характера. На последних и было сосредоточено внимание Uptime Institute при разработке классификации. Она была оформлена в 1990-х в качестве стандартизованной методологии.
Uptime Institute обладает правами на сертификацию ЦОДов в соответствии с Tier-системой при проектировании, строительстве и эксплуатации инфраструктуры во всем мире. Дата-центры в России разрабатываются в соответствии с требованиями стандарта TIA-942 Ассоциации изготовителей оборудования для передачи данных (TIA) Института американских национальных стандартов. Требования TIA охватывают сферы строительства, электроснабжения, охлаждения, контроля безопасности, резервирования, ремонтопригодности и ввода в эксплуатацию.
Uptime Institute и внутренние ГОСТы используются в России как дополнения к стандартам TIA. Важно, что TIA-942, представленный в 2005 году, в свою очередь, основывается на стандарте Uptime Institute. Более того, между Uptime Institute и TIA достигнуто соглашение, в результате которого Ассоциация отказалась от использования в своей методологии термина Tier. Теперь он всецело связан с деятельностью Uptime Institute.
Если говорить о различиях двух подходов, стоит отметить, что система Uptime Institute не стремится обеспечивать жесткую техническую спецификацию того, как следует проектировать и строить ЦОДы. Стандарт TIA, напротив, диктует конкретные требования по ресурсам и доступности для каждого уровня. В отличие от Uptime Institute, TIA не имеет полномочий для проведения официальной процедуры оценки дата-центров. Также нет группы оценщиков, следящей за соблюдением стандартов. Однако конкретные требования к каждому уровню находятся в открытом доступе и не предусмотрено никакой платы за их использование. В противоположность этому Uptime Institute проводит платную сертификацию ЦОДов.
Известны четыре уровня стандарта Uptime Institute:
Каждый следующий уровень сертификации включает в себя требования для всех предыдущих уровней.
Дата-центр первого уровня предоставляет выделенную инфраструктуру для поддержки IT-систем за пределами офиса, источник бесперебойного питания для фильтрации скачков напряжения и обработки кратковременных отключений, специальное охлаждающее оборудование, которое продолжает функционировать и по завершении рабочего дня, генератор для защиты систем от продолжительных отключений электроэнергии.
ЦОДы второго уровня включают в себя резервные возможности для критически важных компонентов в целях обеспечения ремонта и повышенной защиты IT-процессов от сбоев. Резервируемые системы включают в себя оборудование для питания и охлаждения, такие как источники бесперебойного питания, чиллеры или насосы, а также генераторы.
Центр обработки данных Tier III не требует прекращения работы оборудования для замены «железа» и обслуживания. К компонентам добавляется резервный канал питания и охлаждения так, чтобы каждый элемент, необходимый для поддержки IT-системы, можно было отключить, и это не сказалось на работе.
ЦОДы Tier IV в дополнение ко всем особенностям предыдущего уровня характеризуются повышенной (еще большей, чем у Tier III) отказоустойчивостью, то есть сбои отдельных элементов или перебои резервного канала не сказываются на IT-операциях.
Принято считать, что ожидаемый уровень безотказной работы дата-центра Tier I составляет 99,671% (1729 минут годового простоя); Tier 2 — 99,741% (1361 минут годового простоя); Tier III — 99,982% (95 минут годового простоя); Tier IV — 99,995% (26 минут годового простоя).
Uptime Institute принимает заявки операторов дата-центров на независимую оценку инфраструктуры. Это добровольная процедура, к которой прибегают не все компании. При этом, исходя из базовой идеи классификации, прозрачность в вопросе выбора ЦОДа — благо для клиентов. Поэтому, начиная с 2015 года, Uptime Institute принялся стимулировать операторов к прохождению сертификации.
Организация объявила о новом параметре оценки дата-центров — энергоэффективности. Предлагаются два уровня соответствия: «одобренный» и «активированный». Результат оценки, по мнению Uptime Institute, свидетельствует о передовом опыте компании в отрасли. Подтвержденная энергоэффективность дата-центра выступает дополнительным аргументом для выбора клиентами.
В целом классификация важна для клиента, так как она выступает гарантией соответствия ожиданиям конечного результата в вопросе безотказной работы и производительности. Джо Хертвик (Joe Hertvik), глава консалтинговой компании Hertvik Business Services, определяет несколько сценариев использования рейтинговой системы:
Набор подсистем, на которых Uptime Institute концентрирует свое внимание, говорит о том, что оценка инфраструктуры позволяет взвешенно принимать решения при выборе дата-центров и формировать адекватные ожидания.
Существует распространенное заблуждение: уровень качества услуг дата-центров возрастает с каждым Tier. На самом деле, классификация ЦОДов не нацелена на то, чтобы определить лучший тип дата-центров. Каждый Tier предназначен для удовлетворения разнообразных бизнес-потребностей и требований к производительности. Различным предприятиям нужна различная инфраструктура, и для большинства организаций хостинг в центре Tier IV попросту неэффективен.
В 2013 году портал Data Center Dynamics опросил группу экспертов, чтобы выяснить, стоит ли переплачивать за переход на более высокий Tier. Раул Шеуол (Rahul Shewale), консультант в Capgemini, и доктор Карлос Гарсия де ла Ночеда (Dr Carlos Garcia de la Noceda) сошлись во мнении, что ЦОД Tier III может обладать более надежной инфраструктурой и быть более эффективным с экономической точки зрения, чем Tier IV. А Уильям Энгл (William Angle), директор CS Technology, участвовавший в создании первого в мире объекта Tier IV, полагает, что почти 60% всех сбоев происходит из-за людей, а не из-за инфраструктуры — поэтому не всегда есть смысл обращаться к максимальным конфигурациям.
Сотрудники Uptime Institute же сообщают, что расходы на инфраструктуру ЦОДов и операционные сложности возрастают от уровня к уровню, и владельцам следует выбирать Tier, который лучше соответствует потребностям конкретного бизнеса.
«Tier IV не всегда «лучше» решения Tier II. Инфраструктура центра обработки данных должна соответствовать коммерческому применению, иначе компании могут вложить чрезмерно большой капитал или взять на себя слишком большой риск», — говорится на сайте организации.
Если вспомнить последние новости, можно заметить, что стремление Бангладеша и Fujitsu к ЦОДам Tier IV объясняется климатическими и сейсмическими обстановками, но не лучшими характеристиками этих дата-центров в сравнении с другими. Строительство мега-ЦОДа власти Бангладеш анонсировали еще в 2014 году, и тогда же появилась информация о выборе под эти цели района, подверженного землетрясениям.
Представители Uptime Insitute заявили, что риски землетрясения не учитываются при сертификации Tier, однако, по словам Гэри Вонга (Gary Wong) из телекоммуникационной компании Instor Solutions, метод сейсмической изоляции учитывается Uptime Insitute для присуждения Tier IV в сейсмически опасных районах. Что касается обновления статуса дата-центров Fujitsu в Австралии, оно было вызвано отключением из-за удара молнии в 2015 году, рассказал исполнительный директор Fujitsu в Австралии и Новой Зеландии Майк Фостер (Mike Foster).
На практике получается, что возможностей дата-центров Tier I и Tier II обычно достаточно для предприятий, которые могут справиться со случайным простоем сервера в нерабочее время. Для компаний, чей бизнес функционирует в режиме 24 часа в сутки по всему миру, или для компаний, где любой простой отрицательно скажется на операционной деятельности, инвестиции в Tier III или Tier IV могут себя оправдать.
Иначе говоря, Tier I подойдет для малых предприятий, в которых IT-инфраструктура лишь расширяет внутренние бизнес-процессы и не является основным инструментом. Tier II будет достаточным для малых предприятий, чьи IT-запросы в основном ограничены традиционными рабочими часами и позволяют отключать систему в нерабочее время. Крупные предприятия с обязательствами по круглосуточному обслуживанию клиентов и автоматизации бизнес-процессов, работающие в сферах, где качество сервиса является конкурентным преимуществом, могут выбирать между Tier III и Tier IV. При этом защита от простоев в случае с Tier III является достаточной в большинстве ситуаций.
Например, мы в «ИТ-ГРАД» выбрали для размещения части своей распределенной инфраструктуры ЦОД SDN в Санкт-Петербурге, который является дата-центром уровня Tier III. Этого достаточно, чтобы предоставлять востребованные IT-услуги, начиная от co-location и заканчивая арендой IaaS-облака, сертифицированного в соответствии с требованиями стандарта PCI DSS.
Для обеспечения должной надежности в SDN используются такие решения, как динамические источники бесперебойного питания, собственная распределительная подстанция, модульная структура, охлаждение силами установки KyotoCooling B.V. на основе роторного теплообмена. Безопасность дата-центра обеспечивается многоуровневой защитой с несколькими периметрами.
![](https://habrastorage.org/r/w1560/web/5a3/ee1/9c1/5a3ee19c1cde46d4b6e742bf53fe38b9.png)
Поддержка температурно-влажностного режима в SDN
В Москве в качестве облачной площадки мы выбрали один из крупнейших московских дата-центров DataSpace, вмещающий 12 машинных залов на 1000 стоек. DataSpace также прошел полный цикл сертификации Tier III Gold по стандартам Uptime Institute, имея полное резервирование инженерных систем и обеспечивая высокий уровень готовности с возможностью проведения как регламентных, так и ремонтных работ без прерывания ИТ- и бизнес-процессов. Услуги colocation предоставляются на основе Соглашения об Уровне Обслуживания (SLA), по условиям которого мы получаем 100%-ную доступность оборудования, приложений и данных, что выше, чем по стандарту сертификации Tier III Facility
Таким образом, в дискуссии о лучшем Tier не существует универсального ответа — Tier IV не является «серебряной пулей» и подходит лишь ограниченному типу организаций. При выборе уровня дата-центра компании в первую очередь необходимо исходить из целей, которые она собирается решать и финансовых возможностей — все зависит от области задач конкретной компании.
P.S. Еще несколько материалов по теме из Первого блога о корпоративном IaaS:
![](https://habrastorage.org/web/85a/c33/1ed/85ac331edd024e95921c82e4e1178a25.jpg)
Классификация Uptime Institute
У клиентов операторов дата-центров всегда были определенные ожидания и требования к предоставляемой инфраструктуре. В основном речь шла о надежности и безопасности — самых значимых показателях при выборе центра обработки данных. Вехой в становлении стандартизации стало объединение в 1989 году единомышленников в группу Uninterruptible Uptime Users Group (UUUG). По словам Эдварда Рафтера (Edward Rafter), инженера, проектировавшего ЦОДы на раннем этапе развития индустрии в США, это событие ознаменовало собой поворотный момент в обмене опытом и стало первым толчком к оценке инфраструктуры дата-центров.
В 1993 году организация Uptime Institute с помощью ассоциации компаний, ответственных за обслуживание наиболее важных ЦОДов в Америке, создала базу по обмену опытом. На ее основе начали вырабатываться способы оценки эффективности центров обработки данных. Были проанализированы аспекты, которые влияют на принятие бизнес-решений: около 30 факторов работоспособности дата-центров, относящихся к расположению, воздействию на окружающую среду и качеству обслуживания и 16 подсистем технического характера. На последних и было сосредоточено внимание Uptime Institute при разработке классификации. Она была оформлена в 1990-х в качестве стандартизованной методологии.
Uptime Institute обладает правами на сертификацию ЦОДов в соответствии с Tier-системой при проектировании, строительстве и эксплуатации инфраструктуры во всем мире. Дата-центры в России разрабатываются в соответствии с требованиями стандарта TIA-942 Ассоциации изготовителей оборудования для передачи данных (TIA) Института американских национальных стандартов. Требования TIA охватывают сферы строительства, электроснабжения, охлаждения, контроля безопасности, резервирования, ремонтопригодности и ввода в эксплуатацию.
Uptime Institute и внутренние ГОСТы используются в России как дополнения к стандартам TIA. Важно, что TIA-942, представленный в 2005 году, в свою очередь, основывается на стандарте Uptime Institute. Более того, между Uptime Institute и TIA достигнуто соглашение, в результате которого Ассоциация отказалась от использования в своей методологии термина Tier. Теперь он всецело связан с деятельностью Uptime Institute.
Если говорить о различиях двух подходов, стоит отметить, что система Uptime Institute не стремится обеспечивать жесткую техническую спецификацию того, как следует проектировать и строить ЦОДы. Стандарт TIA, напротив, диктует конкретные требования по ресурсам и доступности для каждого уровня. В отличие от Uptime Institute, TIA не имеет полномочий для проведения официальной процедуры оценки дата-центров. Также нет группы оценщиков, следящей за соблюдением стандартов. Однако конкретные требования к каждому уровню находятся в открытом доступе и не предусмотрено никакой платы за их использование. В противоположность этому Uptime Institute проводит платную сертификацию ЦОДов.
Известны четыре уровня стандарта Uptime Institute:
- Tier I — базовая инфраструктура без резервирования;
- Tier II — инфраструктура с резервными мощностями;
- Tier III — инфраструктура, поддерживающая параллельный ремонт;
- Tier IV — отказоустойчивая инфраструктура.
Каждый следующий уровень сертификации включает в себя требования для всех предыдущих уровней.
Дата-центр первого уровня предоставляет выделенную инфраструктуру для поддержки IT-систем за пределами офиса, источник бесперебойного питания для фильтрации скачков напряжения и обработки кратковременных отключений, специальное охлаждающее оборудование, которое продолжает функционировать и по завершении рабочего дня, генератор для защиты систем от продолжительных отключений электроэнергии.
ЦОДы второго уровня включают в себя резервные возможности для критически важных компонентов в целях обеспечения ремонта и повышенной защиты IT-процессов от сбоев. Резервируемые системы включают в себя оборудование для питания и охлаждения, такие как источники бесперебойного питания, чиллеры или насосы, а также генераторы.
О наших центрах обработки данных
Центр обработки данных Tier III не требует прекращения работы оборудования для замены «железа» и обслуживания. К компонентам добавляется резервный канал питания и охлаждения так, чтобы каждый элемент, необходимый для поддержки IT-системы, можно было отключить, и это не сказалось на работе.
ЦОДы Tier IV в дополнение ко всем особенностям предыдущего уровня характеризуются повышенной (еще большей, чем у Tier III) отказоустойчивостью, то есть сбои отдельных элементов или перебои резервного канала не сказываются на IT-операциях.
Принято считать, что ожидаемый уровень безотказной работы дата-центра Tier I составляет 99,671% (1729 минут годового простоя); Tier 2 — 99,741% (1361 минут годового простоя); Tier III — 99,982% (95 минут годового простоя); Tier IV — 99,995% (26 минут годового простоя).
Зачем нужна классификация ЦОДов?
Uptime Institute принимает заявки операторов дата-центров на независимую оценку инфраструктуры. Это добровольная процедура, к которой прибегают не все компании. При этом, исходя из базовой идеи классификации, прозрачность в вопросе выбора ЦОДа — благо для клиентов. Поэтому, начиная с 2015 года, Uptime Institute принялся стимулировать операторов к прохождению сертификации.
Организация объявила о новом параметре оценки дата-центров — энергоэффективности. Предлагаются два уровня соответствия: «одобренный» и «активированный». Результат оценки, по мнению Uptime Institute, свидетельствует о передовом опыте компании в отрасли. Подтвержденная энергоэффективность дата-центра выступает дополнительным аргументом для выбора клиентами.
В целом классификация важна для клиента, так как она выступает гарантией соответствия ожиданиям конечного результата в вопросе безотказной работы и производительности. Джо Хертвик (Joe Hertvik), глава консалтинговой компании Hertvik Business Services, определяет несколько сценариев использования рейтинговой системы:
- Оценка рисков при передаче инфраструктуры облачному провайдеру.
- Настройка дата-центра с целью обеспечения его соответствия конкретным бизнес-потребностям.
- Предоставление сертификата клиентам в качестве дополнительного преимущества.
- Выбор уровня доступности сети при оценке рисков.
Набор подсистем, на которых Uptime Institute концентрирует свое внимание, говорит о том, что оценка инфраструктуры позволяет взвешенно принимать решения при выборе дата-центров и формировать адекватные ожидания.
Какой Tier выбрать?
Существует распространенное заблуждение: уровень качества услуг дата-центров возрастает с каждым Tier. На самом деле, классификация ЦОДов не нацелена на то, чтобы определить лучший тип дата-центров. Каждый Tier предназначен для удовлетворения разнообразных бизнес-потребностей и требований к производительности. Различным предприятиям нужна различная инфраструктура, и для большинства организаций хостинг в центре Tier IV попросту неэффективен.
В 2013 году портал Data Center Dynamics опросил группу экспертов, чтобы выяснить, стоит ли переплачивать за переход на более высокий Tier. Раул Шеуол (Rahul Shewale), консультант в Capgemini, и доктор Карлос Гарсия де ла Ночеда (Dr Carlos Garcia de la Noceda) сошлись во мнении, что ЦОД Tier III может обладать более надежной инфраструктурой и быть более эффективным с экономической точки зрения, чем Tier IV. А Уильям Энгл (William Angle), директор CS Technology, участвовавший в создании первого в мире объекта Tier IV, полагает, что почти 60% всех сбоев происходит из-за людей, а не из-за инфраструктуры — поэтому не всегда есть смысл обращаться к максимальным конфигурациям.
Сотрудники Uptime Institute же сообщают, что расходы на инфраструктуру ЦОДов и операционные сложности возрастают от уровня к уровню, и владельцам следует выбирать Tier, который лучше соответствует потребностям конкретного бизнеса.
«Tier IV не всегда «лучше» решения Tier II. Инфраструктура центра обработки данных должна соответствовать коммерческому применению, иначе компании могут вложить чрезмерно большой капитал или взять на себя слишком большой риск», — говорится на сайте организации.
Если вспомнить последние новости, можно заметить, что стремление Бангладеша и Fujitsu к ЦОДам Tier IV объясняется климатическими и сейсмическими обстановками, но не лучшими характеристиками этих дата-центров в сравнении с другими. Строительство мега-ЦОДа власти Бангладеш анонсировали еще в 2014 году, и тогда же появилась информация о выборе под эти цели района, подверженного землетрясениям.
Представители Uptime Insitute заявили, что риски землетрясения не учитываются при сертификации Tier, однако, по словам Гэри Вонга (Gary Wong) из телекоммуникационной компании Instor Solutions, метод сейсмической изоляции учитывается Uptime Insitute для присуждения Tier IV в сейсмически опасных районах. Что касается обновления статуса дата-центров Fujitsu в Австралии, оно было вызвано отключением из-за удара молнии в 2015 году, рассказал исполнительный директор Fujitsu в Австралии и Новой Зеландии Майк Фостер (Mike Foster).
На практике получается, что возможностей дата-центров Tier I и Tier II обычно достаточно для предприятий, которые могут справиться со случайным простоем сервера в нерабочее время. Для компаний, чей бизнес функционирует в режиме 24 часа в сутки по всему миру, или для компаний, где любой простой отрицательно скажется на операционной деятельности, инвестиции в Tier III или Tier IV могут себя оправдать.
Иначе говоря, Tier I подойдет для малых предприятий, в которых IT-инфраструктура лишь расширяет внутренние бизнес-процессы и не является основным инструментом. Tier II будет достаточным для малых предприятий, чьи IT-запросы в основном ограничены традиционными рабочими часами и позволяют отключать систему в нерабочее время. Крупные предприятия с обязательствами по круглосуточному обслуживанию клиентов и автоматизации бизнес-процессов, работающие в сферах, где качество сервиса является конкурентным преимуществом, могут выбирать между Tier III и Tier IV. При этом защита от простоев в случае с Tier III является достаточной в большинстве ситуаций.
Например, мы в «ИТ-ГРАД» выбрали для размещения части своей распределенной инфраструктуры ЦОД SDN в Санкт-Петербурге, который является дата-центром уровня Tier III. Этого достаточно, чтобы предоставлять востребованные IT-услуги, начиная от co-location и заканчивая арендой IaaS-облака, сертифицированного в соответствии с требованиями стандарта PCI DSS.
Для обеспечения должной надежности в SDN используются такие решения, как динамические источники бесперебойного питания, собственная распределительная подстанция, модульная структура, охлаждение силами установки KyotoCooling B.V. на основе роторного теплообмена. Безопасность дата-центра обеспечивается многоуровневой защитой с несколькими периметрами.
![](https://habrastorage.org/web/5a3/ee1/9c1/5a3ee19c1cde46d4b6e742bf53fe38b9.png)
Поддержка температурно-влажностного режима в SDN
В Москве в качестве облачной площадки мы выбрали один из крупнейших московских дата-центров DataSpace, вмещающий 12 машинных залов на 1000 стоек. DataSpace также прошел полный цикл сертификации Tier III Gold по стандартам Uptime Institute, имея полное резервирование инженерных систем и обеспечивая высокий уровень готовности с возможностью проведения как регламентных, так и ремонтных работ без прерывания ИТ- и бизнес-процессов. Услуги colocation предоставляются на основе Соглашения об Уровне Обслуживания (SLA), по условиям которого мы получаем 100%-ную доступность оборудования, приложений и данных, что выше, чем по стандарту сертификации Tier III Facility
Таким образом, в дискуссии о лучшем Tier не существует универсального ответа — Tier IV не является «серебряной пулей» и подходит лишь ограниченному типу организаций. При выборе уровня дата-центра компании в первую очередь необходимо исходить из целей, которые она собирается решать и финансовых возможностей — все зависит от области задач конкретной компании.
P.S. Еще несколько материалов по теме из Первого блога о корпоративном IaaS: