Внимательно читающие Хабр в последние несколько месяцев не могли не заметить, что тема энергоэффективности, экономии ресурсов и «альтернативных источников энергии» поднимается здесь все чаще (например: раз и два). Многие читатели до сих пор отчего-то считают, что «green»-технологии в IT это какая-то "придурь зажравшихся американцев", которые борются зимой против «глобального похолодания», летом — против «глобального потепления», и все это «не для нас», мы прекрасно обойдемся и без этого.
Однако, кроме «экологичности», которая, без сомнения, важна, основную роль в столь большом интересе к энергосберегающим технологиям играют прежде всего простые и вполне очевидные, меркантильные, практические соображения. Если вам кажется, что экономия электричества в датацентре это только лишь «придурь экологов», значит вам не приходилось еще встречаться с по настоящему большими проектами и по настоящему большими счетами за электричество, или же сталкиваться с тем фактом, что лимиты по электропитанию в датацентре останавливают рост вашей IT-инфраструктуры, и, как следствие, прибылей вашей компании.
Например, в конце 2008 года компания Facebook платила около миллиона долларов ежемесячно только по счетам за электричество в своих датацентрах.
Переход на более высокие нормы энергоэффективности в датацентре и экономия ресурсов, в первую очередь электропитания и охлаждения, может принести компаниям экономию средств, выражающуюся во вполне полновесных, и немалых, долларах.
Компания NetApp давно и успешно занимается исследованиями по поиску эффективных решений в IT и «начала перестройку с себя», использовав эти решения в разработке своих собственных датацентров.
Именно об этом сегодняшняя статья.
Как повысить эффективность использования датацентра?
Автор: Дейв Роббинс, NetApp
С 2005 года, количество потребленного IT-оборудованием (сервера, системы хранения, сетевая инфраструктура) электричества выросло в среднем в шесть-восемь раз из расчета на каждые $1000, резко увеличив так называемые «скрытые» затраты датацентров, и вызвав во многих случаях значительные проблемы. В результате, многие корпоративные датацентры вынуждены искать новые способы стать эффективнее в плане энергопотребления и степени использования имеющихся активов, таких как объемы хранения и серверные ресурсы.
Если вы намереваетесь устанавливать и использовать новейшие IT-решения и технологии, при этом не заботясь об эффективности использования, вы рискуете потратить на обеспечение их работы, по сравнению с прошлыми годами, неожиданно большое количество электроэнергии (которая может обойтись вашей компании в довольно кругленькую сумму). Но более важно то, что если вы не поднимете эффективность и степень использования оборудования, может статься так, что датацентр в котором вы планируете разместиться, просто окажется не в состоянии обеспечить вам необходимые объемы электропитания и охлаждения. На практике, 42–43% всех датацентров в Европе и США уже работают в условиях лимитов по электропитанию.
В этой статье я опишу эту проблему несколько более детально, и рассмотрю какие у вас имеются средства для увеличения эффективности использования датацентров, а также приведу некоторые наши IT-практики по увеличению эффективности, и опишу ряд следствий для администраторов систем хранения.
Скрытые затраты в IT
Если вы устанавливаете недорогой сервер в датацентре уровня tier-2, прямые затраты на его электропитание и охлаждение в год составят, по нашим подсчетам, около $8000. Связанные операционные издержки датацентра — еще около $1000-1300 в год.
Большинство IT-подразделений не включают эти расходы в бизнес-планы установки нового сервера. В большинстве случаев большинство IT-организаций не видят счетов за электричество, пока датацентр не упрется в лимиты, установленные энергетической компанией. По этой причине они часто просто не в курсе, что такие «скрытые затраты» существуют.
Поскольку эти затраты являются «невидимыми» (чаще всего проходят все вместе по графе «прочие расходы»), руководство датацентра не имеет способов и методов управлять ими.
Опрос многих компаний в США и Евросоюзе показал:
- 47% не мониторят загрузку серверов.
- 55% управляющих датацентрами не следят за суммами в счетах за электричество.
- 43% датацентров в Евросоюзе работают в условиях лимита по энергопотреблению.
- 42% существующих датацентров в США, при нынешних темпах их роста, достигнут лимита по электропитанию в течение ближайших 18–24 месяцев.
Ключ к готовности вашего датацентра к будущему, а также к контролю над «скрытыми расходами», это увеличение энергоэффективности и повышение степени использования имеющихся ресурсов, чтобы, сохранив интенсивность роста компании, замедлить объемы затрат на экстенсивное расширение инфраструктуры.
Этого можно достичь несколькими путями:
- Поддержка датацентром более высокой «энергетической плотности»
- Модернизация текущего или разработка нового эффективного «сетевого ядра» системы
- Виртуализация серверов и систем хранения, позволяющая легче масштабировать и перемещать приложения
Мы в NetApp за прошедшие годы получили огромный опыт во всех трех перечисленных аспектах повышения эффективности, создавая наши собственные датацентры, для наших внутренних IT-нужд.
Редизайн датацентра для достижения большей эффективности и плотности
Для того, чтобы улучшить показатели эффективности и плотности в наших датацентрах, мы нашли, что нам необходимо изменить множество старых и привычных подходов к их построению. Вот некоторые моменты из того, что мы изменили, добиваясь повышенной эффективности:
- Хотя процессы управления и обслуживания оборудования в датацентре и общая IT-стратегия компании это типично «дискретные функции», мы нашли, что согласованная их работа позволяет достичь более значительных результатов и получить более эффективное решение.
- Фальшполы в датацентре — пережиток времен мэйнфреймов. «Холодные» и «горячие» зоны и каналы (hot/cold aisles) обеспечивают подвод охлаждения (а также и электропитания) сверху, что более энергоэффективно.
- «Хай-тек» задачи иногда можно решить с помощью «лоу-тек» решений. Простые занавесы из виниловой пленки служат нам физическим барьером между «холодными» и «горячими» коридорами движения воздуха, препятствуя их нежелательному перемешиванию и экономя нам более 1 миллиона киловатт в год.
- Датацентр не обязательно должен быть слишком холодным. (об этом аспекте я уже писал на Хабре в отдельной статье, прим. track) Мы постепенно подняли температуру подаваемого на охлаждение оборудования воздуха до 21º С, а температура потока воздуха в «горячем коридоре» составила 35º С. В результате мы меньше тратим энергии на охлаждение и удлинили период охлаждения обычным «внешним», «забортным» воздухом до 65% времени в год.
Датацентр British Telecom, одного из клиентов NetApp. Хорошо видна конструкция из прозрачных пластиковых занавесов, разделяющих «холодные» и «горячие» зоны, и препятствующие неконтролируемому перемешиванию воздушных потоков разных температур.
Одна из важнейших метрик эффективности датацентра это параметр power usage effectiveness (PUE), соотношение между суммарно потребленной датацентром мощностью, и той мощностью, что потреблена только лишь IT-оборудованием. Возможные потребители электричества в датацентре приведены на рисунке 1 ниже.
Рисунок 1) Потребители электричества в датацентре.
Текущий показатель PUE для хорошо спроектированного датацентра сегодня составляет приблизительно 2,0: прочее оборудование обеспечения работы датацентра потребляет столько же электричества, сколько и все IT-оборудование.
Другие важные параметры эффективности датацентра включают в себя:
- Какая мощность подводится к шкафу. Типичная, принятая большинством датацентров величина составляет сегодня 3kW. Другими словами, оборудование, размещенное в шкафу потребляет максимум 3kW электрической мощности.
- Сколько места отводится на шкаф. Шкаф размещения оборудования занимает 2,6 квадратных метра площади.
Применяя техники, подобные описанным выше, NetApp получает возможность понизить показатели PUE в своих датацентрах ниже обычных в отрасли величин PUE=2,0, одновременно обеспечивая большую энергетическую плотность на шкаф и занимая значительно меньше места.
Например, наш датацентр второго поколения использует регулятор воздушного потока и специальную управляемую заслонку в «холодном» канале, которая регулирует интенсивность охлаждения, не допуская его переизбытка, и удерживая ровно необходимый для данной загрузки оборудования объем охлаждения, что позволило нам достичь показателей PUE, составляющих 1,40 при 801 шкафе, с подводом 3,5KW на шкаф. Это экономит компании в среднем $1,7 миллиона в год, по сравнению с таким же датацентром, работающим с PUE равном стандартным 2,0.
Рисунок 2) Схема распределения воздушных потоков в датацентре второго поколения NetApp.
Наш проект датацентра третьего поколения реализован в датацентре на 720 шкафов, потребляющих 8kW/шкаф с параметром PUE равным 1,30, что экономит компании $4,3 миллиона в год, если сравнивать со «стандартным датацентром» с PUE равном 2,0. Мы в настоящее время также развертываем комбинированный датацентр (для IT-услуг плюс задачи инженерного подразделения), в котором будет размещено 1800 шкафов с подводимой мощностью 12kW/шкаф, с оценочными показателями PUE, равными 1,2. Горячий воздух из этого датацентра будет отапливать офис в зимние месяцы.
Прим. Track: Это очень высокий показатель. Ранее я писал пост о хостинговой компании AISO автономно питающейся электричеством от солнечных батарей и аккумуляторного питания ночью, показатель PUE созданного ими хостингового датацентра, достигнутый при предельно строгом режиме экономии электроэнергии составил 1,14, который можно считать своеобразным рекордом и близким к предельно достижимым показателям на сегодня.
То есть все не-IT-шные службы, включающие в себя системы охлаждения, бесперебойного питания, вентиляции, освещения и прочего потребляют всего около 0,14 от потребления собственно IT-части оборудования датацентра.
Рисунок 3) Схема третьего поколения дизайна датацентров NetApp.
Вы можете прочитать больше о использованной стратегии повышения эффективности в нашей статье в Tech OnTap, а также в опубликованном white paper.
Датацентр NetApp «третьего поколения» в Research Triangle Park (RTP). Видны пластиковые занавесы, отделяющие «холодные» каналы движения воздуха (с лицевой стороны стоек) и «горячие»( с тыльной), и препятствующие нежелательному их перемешиванию, а также идущие сверху кабельные вводы.
Увеличение эффективности и плотности размещения в вашем датацентре недостаточно само по себе. Вам также понадобится увеличить «степень утилизации» IT-активов, уже развернутых в вашем датацентре, путем редизайна, если необходимо, сетевой инфраструктуры, консолидации максимально возможного числа ресурсов, и виртуализации как серверов, так и систем хранения. Вы можете прочитать об одном из подходов к построению виртуализованного датацентра с использованием комбинации из серверной системы Cisco Unified Compute System (UCS) и универсального хранилища NetApp в этой статье.
Редизайн ядра сети
В проекте редизайна ядра сети датацентра у нас было две цели:
- Стандартизировать «универсальную сетевую фабрику».
- Передизайнить сетевую инфраструктуру и топологию, устранив изолированные «острова приложений»
Появление конвергентных сетевых адаптеров (Converged Network Adapters, CNA) и протокола Fibre Channel over Ethernet (FCoE) сделало возможным объединить все существующие у нас устройства Fibre Channel в единой сетевой фабрике. Устранение деления сетевой инфраструктуры сети хранения на несколько технологически несовместимых сегментов позволило снизить энергопотребление в датацентре. По одному кабелю вы можете обеспечить соединение с любой сетью —SAN, LAN, или HPC— что помогает быстро развертывать и запускать новые приложения и сервисы.
Большинство нынешних сетей разрабатываются таким образом, чтобы изолировать бизнес-приложения из традиционно понимаемых соображений безопасности и производительности. К сожалению, такие изолированные IT-ресурсы ограничивают и ухудшают степень использования оборудования. Объединение сетей дает возможность обеспечить консолидацию хранилищ, повысить степень использования оборудования и прокладывает дорогу к полной виртуализации серверов и систем хранения данных.
Виртуализация
Редизайн ядра сети позволил получить большие преимущества от процесса виртуализации серверной инфраструктуры и инфраструктуры хранения. Существующие ресурсы могут быть полностью консолидированы и общий объединенный пул ресурсов становится доступен любым нуждающимся в них приложениям. Так как приложения свободно могут перемещаться как внутри датацентра, так и между датацентрами, то и время недоступности сервисов и приложений значительно снижается.
NetApp активно занимается переносом старых серверов своего датацентра в виртуальные машины, а также консолидацией хранилищ. Например, анализ серверного хозяйства инженерных лабораторий показал, что могут быть перенесены в виртуальные машины около 4600 серверов x86. Вся эта кухня потребляла около $1,4 миллиона в год только на электропитание и охлаждение и занимала 190 шкафов в датацентре. Перенос физических серверов в виртуальные с коэффициентом 20:1 привел к тому, что все эти сервера были перенесены в 230 хост-серверов виртуальных машин, на которые мы тратим всего $70000 в год на электричество и охлаждение, а размещены они всего в 10 шкафах. О начальной фазе одного из таких проектов компании, в нашей инженерной лаборатории в Бангалоре, Индия, рассказывается в недавней статье в Tech OnTap.
Другая статья на Tech OnTap фокусируеся на подходе NetApp к консолидации хранилищ в одном из наших корпоративных датацентров. Результаты проведенных работ таковы:
- Степень использования системы хранения увеличилась в среднем на 60%
- Снижен занимаемый объем с 24.83 шкафов, до 5.48
- Заменены 50 систем хранения на 10
- Уменьшено энергопотребление до 41184 kWh в месяц
- Получен существенный прирост емкости и производительности
Общий подход описан в нашем white paper: Reducing power consumption through storage efficiency.
Многие пользователи и клиенты NetApp получают сходные результаты в своих датацентрах. Например, крупный телеком-оператор (BT, прим. track) консолидировал 3103 физических сервера в 134 хоста виртуальных машин (23:1) и увеличил степень использования хранилищ с 25% до 70%, при этом сэкономив $2,25 миллиона на электропитании и освободив 660 шкафов и 8500 сетевых портов. В результате время возврата инвестиций составило 8 месяцев, заказанные IT-службой новые сервера запускаются в течении того же дня (против 3-5 дней ранее), а время резервного копирования сократилось с 96 часов до менее 30 минут.
Датацентры British Telecom освобождают свои датацентры от 75 тонн ставшего лишним оборудования в ходе проведенного компанией перехода в виртуальную серверную среду.
Результаты с точки зрения администратора хранения
Переход к коллективно используемым ресурсам и виртуализированной экосистеме дает ряд значительных результатов для администраторов хранения. Так как теперь ресурсы серверов и систем хранения доступны отовсюду, включая и источники извне самого датацентра, привычные методы организации доступа и работы меняются.
Вот что говорит Джессика Ю, руководитель группы систем хранения в IT-подразделении NetApp, описывая преимущества на основании своего собственного опыта:
В преимущества совместно используемых ресурсов входит:
- Экономия пространства. Гибкость в распределении ресурсов, возможность эффективнее распределять ресурсы внутри всей организации, упростить планирование расхода пространства, позволяет значительно снизить требования к пространству хранения.
- Простота администрирования. Меньшее количество физических серверов, требующих внимания и физического обслуживания также упрощают общую инфраструктуру и снижают стоимость обслуживания. Более простая архитектура ведет к лучшей стандартизации, а также возможности лучшей и в большем объеме автоматизации процессов.
- Отказоустойчивость. Совместно используемые хранилища данных имеют средства обеспечения избыточности, которая позволяет продолжать работу в случае аппаратных сбоев компонент.
- Улучшенная эффективность хранения. Виртуализация системы хранения позволяет нам использовать технологию thin provisioning для всех приложений. Стандартизация также привела к возможности использовать дедупликацию с более высокими показателями эффективности, так как больше поддающихся дедупликации данных хранятся централизованно, могут быть обработаны процессом дедупликации, и дать больший эффект высвобождения свободного места.
С применением совместно используемых хранилищ все стандартизируется. Вследствие этого мы можем гораздо проще планировать, закупать оборудование и внедрять проекты, использующие хранилища данных. Раньше мы использовали многочисленный «зоопарк» разнообразных систем хранения. При этом планирование и процессы роста становились настоящим кошмаром, пожирая как ресурсы датацентра, так и время админов:
- Раньше на согласования и утрясания процессов расширения емкости хранения уходили недели; сейчас мы можем решить все наши вопросы по планированию распределения пространства хранения в рамках ежемесячной встречи.
- Раньше мы тратили дни на обсуждения вопросов структуры хранения с нашей проектной командой, теперь все задачи по формулированию требований и разработке шаблона решения укладываются в несколько часов.
- Задача поиска нужного количества места под задачу на различных наших системах хранения ранее занимала часы. Сейчас этот процесс сокращен до минут
- Наша виртуализованная IT-система сделала выполнение большинства задач более простым делом, так что то, что раньше решалось привлечением дорогостоящей поддержки уровня 3, теперь решается персоналом уровня 2.
- Внедрение продукта SnapManager for Virtual Infrastructure (SMVI) в нашей системе VMware позволило нам делегировать часть задач, которые раньше требовали внимания и участия администраторов систем хранения, на уровень администраторов серверов, которые теперь сами могут выполнять такие задачи, как создание снэпшотов их данных, или восстановление данных из них.
Все это сэкономило нам многие недели человеко-часов, и позволило использовать силы персонала более эффективно, с большей отдачей.
Выводы
Датацентры сегодня встали перед насущной необходимостью повышать эффективность использования оборудования и ресурсов, чтобы продолжать соответствовать требованиям бизнеса в условиях прекратившегося роста (а порой и сократившегося) IT-бюджета, но при этом продолжающегося роста объемов электропотребления и тепловыделения нового IT-оборудования. В статье были намечены некоторые шаги, с использованием которых вы сможете улучшить эффективность использования ресурсов электропитания и охлаждения вашего датацентра, а также увеличить степень использования IT-ресурсов.
Dave Robbins
Руководитель IT-подразделения компании (Chief Technology Officer for IT)
NetApp
Работая в IT с 1979 года, Дейв видел и участвовал во множестве технологических (р)эволюций в мире IT, которые сформировали его понимание аспектов эффективности датацентров и грядущих облачных технологий.
В NetApp, он отвечает за определение и выбор новых IT-технологий, а также разработку дальнейшего плана развития IT-отдела компании.
PS. В то время, пока переводилась эта статья, пришло известие, что упоминаемый в статье «датацентр третьего поколения» в Research Triangle Park (RTP), запущенный в 2009 году, был удостоен первой среди датацентров престижной награды EPA Energy Star за успешное внедрение энергосберегающих технологий и высокую эффективность использования электроэнергии, набрав 99 из 100 возможных очков при оценке по методике, утвержденной EPA.
Этот датацентр занимает свыше 12 тысяч квадратных метров площади, содержит 2160 шкафов с оборудованием, он на 80% более энергоэффективен, и обошелся при создании на треть дешевле, чем в чем «средний по индустрии» датацентр.
