Как обнаружить и ликвидировать места с перегревом оборудования в дата-центре

Original author: PaulLin
  • Translation

Краткое содержание


Инженеры дата-центров часто сталкиваются с проблемой перегрева серверов и предпринимают много различных действий для ее устранения. Некоторые их действия дают возможность решить проблему, но только на короткое время, и в то же время могут создавать ещё больше точек перегрева. Самый простой и экономически эффективный способ, который позволяет устранить проблему, в результате которой экономится энергия, что в свою очередь позволяет избежать капитальных затрат на охлаждающее оборудование — это управление воздушным потоком. В этой статье описываются основные причины перегрева серверов, даются рекомендации по их выявлению и устранению, а также рассматриваются типичные действия инженеров в такой ситуации.


Вступление


Согласно исследованию, проведенному Uptime Institute, 10% стоек вырабатывают больше тепла, чем прописано в руководстве по эксплуатации. По мере того, как удельная мощность стойки в центре обработки данных увеличивается в среднем до 5 кВт или больше, ожидается, что процент мест с горячими точками увеличится.

Если горячие точки будут активными на протяжении длительного периода, это может стать серьезной угрозой не только для надежности и производительности оборудования, но также для гарантий или соглашений по обслуживанию. Поэтому сотрудникам дата центра необходимо как можно раньше принять меры, чтобы избежать этих рисков.

Для начала нам необходимо выяснить, что же такое «горячие точки», причины их появления и как их идентифицировать. Как правило, после обнаружения точек с повышенной температурой инженеры дата центра предпринимают различные меры для их устранения. Некоторые действия включают в себя: установку предельно низкой температуры охлаждения, размещение перфорированных плиток в горячем коридоре и размещение вентиляторов на подставке перед проблемными зонами. Эти простые действия могут временно исправить проблему, но также могут привести к лишней потери энергии или даже создать еще больше мест с избытком тепла.

Понимание основных причин появления горячих точек имеет решающее значение в борьбе с перегревом оборудования. Это также дает дополнительные преимущества в виде экономии энергии и помогает избежать дополнительных экономических затрат на покупку дополнительного охлаждающего оборудования. В приведенном документе описывается первопричина «горячих точек», даются рекомендации по их определению, рассматриваются типичные действия и рекомендации по их устранению.

Что такое горячие точки?


В большинстве случаев специалисты измеряют температуру в горячем коридоре или в неправильном месте холодного коридора и думают, что обнаружили горячую точку. Далее предпринимаются меры по разрешению проблемы, но иногда оказывается, что выбранный способ по устранению горячей точки не только не помогает, а наоборот создаёт еще больше мест с избытком тепла. Понимание того, что такое горячая точка на самом деле, основных причин появления и правильных способов идентификации, имеет решающие значение в решении проблемы перегрева.

Определение


Горячая точка — это не случайное место с повышенной температурой внутри центра обработки данных. Горячая точка определяется, как зона, где размещено ИТ-оборудования, с температурой превышающей допустимое значение, установленное в рекомендациях ASHRAE TC 9.9. Горячие точки возникают чаще всего в верхней части стойки. Рекомендованные и допустимые диапазоны температур можно найти в рекомендациях по тепловым нормам ASHRAE.

Основные причины


Зачастую в Дата-центрах установлено избыточное количество охлаждающего оборудования, особенно когда холоднопроизводительность определяется номинальной «заводской» мощностью IT-оборудования. Если оборудования для охлаждения достаточно, почему тогда появляются горячие точки?

Реальная причина кроется не в чрезмерной тепловой нагрузке или недостатке охлаждающих устройств, а в их неправильном использовании. Другими словами, охлаждения достаточно, но из-за отсутствия управления воздушными потоками, холодный воздух не попадает в места, где он нужен в определённый момент времени, в результате чего образуются зоны с избытком тепла.

image
Рис 1. Пример использования охлаждения в обычном и реальном дата центре.

На Рис 1 показан пример не совсем правильного использования охлаждения, основанный на реальном исследовании, проведенном Schneider Electric. Речь идет об традиционном центре обработки данных с охлаждением по периметру. Фальшпол и подвесной потолок используются в качестве распределительной камеры для приточного и вытяжного воздуха. Сначала холодный воздух подается в напольную камеру с определенным давлением и скоростью с помощью блоков CRAH. Далее холодный воздух перемещается в зону со стойками через перфорированную плитку (54% воздушного потока CRAH) и открытые вырезы в плитах фальшпола (46% воздушного потока CRAH). Утечка воздуха из вырезов приводит к потере охлаждающей способности, поскольку воздух не попадает на фронтальную часть стойки, а вместо этого обходит его.

Большая часть воздушного потока от перфорированных плиток, а именно 96,29% от перфорированного воздушного потока, проходит через оборудование в стойках. Небольшая часть холодного воздуха, 3,71% перфорированного воздушного потока, проходит в обход серверов возвращаясь обратно в охлаждающие юниты. Отсутствие управления воздушным потоком приводит к потере охлаждающей способности. Между тем, некоторые серверы не могут получить достаточное количество холодного воздуха и поэтому вынуждено компенсируют разницу, втягивая горячий воздушный поток (7,15% воздушного потока) с тыльной стороны стойки, что зачастую становится причиной появления горячей точки в переднем верхнем углу. Следовательно, действия, которые уменьшают утечку, обход и рециркуляцию воздуха, помогают в устранении зон с избытком тепла.

Законы энергосбережения и сохранения массы воздушного потока позволяют рассчитать процентное соотношение различных типов воздушных потоков, описанных выше в этом дата центре:

  • 52% всего воздушного потока CRAH поступает на фронтальную часть стоек;
  • 46% доступной охлаждающей мощности теряется из-за утечки через вырезы для укладки кабеля, отверстия под стойками или неуместные перфорированные плиты, а 2% охлаждения CRAH теряется из-за обходного воздуха. Эти проблемы образуются в связи с отсутствием управления воздушным потоком;
  • 7,2% от общего потока воздуха рециркулируется (то есть горячий поток воздуха рециркулирует обратно в переднюю часть стоек, что является одной из основных причин возникновения горячих зон);
  • 92,9% от общего потока воздуха, что составляет 52% от общего потока воздуха CRAH, возвращается обратно в блоки CRAH (CRAH — Computer Room Air Handler) через потолок.

Как определить горячую точку?


Если обнаружить горячую точку как можно раньше, то это дает возможность предотвратить перегрев и неправильную работу оборудования. Существует три основных способа обнаружения горячей точки:

  • Почувствовать гуляя по дата центру.
  • Измерять температуру в ручном режиме.
  • Автоматический мониторинг.

Самый дешевый и простой метод обнаружения горячих точек заключается в том, что бы почувствовать повышенную температуру прикладывая руки к передней части стойки с оборудованием. Это не очень точный метод, но он довольно эффективен для экстремально горячих зон.

Измерение температур в ручном режиме является хорошим методом, поскольку измерители показывают точную температуры. Применяют различное оборудование для измерения температуры:

  • Пластиковые температурные полосы — температурный термометр или термометр с пластиковой полосой — это тип термометра, который содержит термочувствительные жидкие кристаллы в пластиковой полосе, которые меняют цвет в зависимости от температуры.
  • Температурные пистолеты.
  • Градусники.
  • Ифракрасный датчик (FLIR) в камерах.

Измерение температуры в ручном режиме является недорогим, но эффективные способом для определения мест с избытком тепла. Даже инфракрасные камеры, позволяющие создавать тепловые диаграммы с точными температурными данными в режиме реального времени, доступны сегодня примерно за 300 долларов США.

Инженеры дата-центров могут использовать эти инструменты для сбора температурных данных на входе в сервер в передней части стойки, и выходе с тыльной стороны, что позволяет получить данные о разнице температур и определить эффективность охлаждения.

Автоматический мониторинг — лучший метод, поскольку он может отображать температуру внутри дата-центра в режиме реального времени. Автоматический мониторинг проводится с помощью программного обеспечения, позволяющего управлять инфраструктурой центра обработки данных (DCIM), который в режиме реального времени отправляет по электронной почте или в текстовом виде уведомление конкретному человеку, при достижении определённого температурного порога. С помощью функционала DCIM вы можете получить фактическую температуру на входе и выходе устройства в зависимости от ваших требований. StruxureWareTM компании Schneider Electric может служить примером такого типа программного обеспечения DCIM, оно позволяет получать подробные трехмерные тепловые карты, используя данные с установленных датчиков, в реальном времени. Это самый дорогой и точный метод. Кроме того, само оборудование (серверы), зачастую имеют термодатчики, которые контролируют температуру компонентов и уведомляют о высокой тепловой нагрузке, посредством мониторинга, доступного через IPMI.

Дополнительные способы выявления или предотвращения потенциальных горячих точек включают в себя:

  • Использование блоков управления питанием PDU (Power Distribution Unitn), способных измерять потребляемую мощность, в стойках с более высокой плотностью оборудования, т.е. когда ожидается потребление больше, чем 5 кВт.
  • Применение программного обеспечение CFD, позволяющего спрогнозировать появление горячих точек после предполагаемых перемещений оборудования, добавления нового в процессе эксплуатации или же ещё на этапе проектирования ЦОД — снижает риск появления возможных проблем. Моделирование при помощи CFD предоставляет подробный трехмерный анализ профилей температуры и давления перед стойкой, а также отображает распределение воздушного потока вокруг стойки, что позволяет узнать о потенциальных зонах перегрева. Реальная сила программного комплекста заключается в определении мест, где холодный воздух утрачивается или смешивается с горячим, что приводит к не эффективному использованию охлаждения в целом.

Типичные способы устранения проблемы


Как только горячая точка обнаружена, инженеры дата-центра предпринимают различные действия по устранению проблемы. Однако не все используемые способы эффективны. В следующем разделе описываются стандартные действия и объясняется, насколько они могут быть полезными или наоборот. Обратите внимание, что большинство из нижеуказанных пунктов не сокращают обход или рециркуляцию воздуха.

  • Установка предельно низкой температуры охлаждения (только для временного использования в чрезвычайных ситуациях).
  • Размещение перфорированных плиток в горячем корридоре (неэффективная практика).
  • Размещение стоек и перфорированных плиток рядом с охлаждающим оборудованием (неэффективная практика).
  • Установка вентиляторов на подставке перед проблемной стойкой (только для временного использования).
  • Запуск воздуха через лед в холодный коридор (неэффективная практика).
  • Развёртывание переносного блока охлаждения (только для временного использования).
  • Установка дополнительного охлаждающего оборудования (скорее всего, не требуется).
  • Перераспределение проблемных нагрузок (эффективное действие).

Установка предельно низкой температуры охлаждения (только для временного использования в чрезвычайных ситуациях)


Кажется логичным, что более низкая температура поступающего воздуха поможет решить проблему горячих точек. Однако пользоваться этим нужно в крайней необходимости, поскольку это может снизить общую эффективность и производительность системы охлаждения. Эффект этого действия зависит от загрузки блоков CRAC / CRAH. Если система охлаждения имеет дополнительную мощность (т.е. работает при нагрузке менее 100% и не имеет своего термодинамического предела), то снижение заданного значения может иметь положительный эффект. Когда CRAC / CRAH находится в непосредственной близости от горячей зоны, то установка предельно низкой температуры охлаждения может снизить температуру.

Если блок охлаждения уже работает на своей максимальной мощности (нагрузка 100%), то невозможно понизить заданное значение температуры, поскольку система уже находится в своем рабочем максимуме и ничего не сможет сделать для решения проблемы с перегревом. Каждая система охлаждения имеет свою максимальная мощность. Эта «максимальная» мощность уменьшается при уменьшении заданного значения.

Размещение перфорированных плит в горячем коридоре (неэффективная практика)


Некоторые думают, что разместить перфорированные плитки в горячем коридоре это хороший метод, так как нет понимания пользы схемы с горячим/холодным коридором и любая горячая зона воспринимается, как проблемная. Этот способ не устраняет горячие точки в холодных коридорах, а иногда может даже создать больше проблем. Кроме того, размещение перфорированных плит в горячем коридоре уменьшает доступные возможности охлаждающего оборудования. Схема расположения рядов с горячим / холодным коридором является лучшей практикой. Важно, чтобы холодный коридор оставался холодным, потому что это так называемый «резервуар холодного воздуха» для оборудования.

В первые дни мэйнфреймов с воздушным охлаждением, охлаждение реализовалось с помощью фальшпола, а охлаждающее оборудование контролировало температуру обратного воздуха. Этот подход работал благодаря равномерному, хорошо перемешиваемому воздуху в помещении. Сегодня схемы расположения горячих и холодных коридоров специально создают области с горячими и холодными температурами, которые по замыслу, приводят к неравномерной температуре возвратного воздуха. Люди, привыкшие к равномерной температуре воздуха в помещении, могут разместить перфорированные плитки с охлаждением в горячем коридоре, полагая, что они решают проблему с перегревом оборудования.

Размещение стоек и перфорированных плиток рядом с охлаждающим оборудованием (неэффективная практика)


Некоторые думают, что хороший способ для получения максимальных охлаждающих мощностей, это разместить стойки и перфорированные плиты в нескольких футах от охлаждающего оборудования. На самом деле это может дать противоположный эффект. Указанные выше действия могут привести к недостаточной подпитке оборудования холодным воздухом, что в следствии не решит проблему с горячими зонами. Хотя этот метод может помочь забрать большую часть переработанного горячего воздуха. Причина, по которой этот способ может привести к недостаточной подпитке оборудования, заключается в том, что воздух, выходящий из вентилятора блока охлаждения, обычно движется с очень высокой скоростью, что создает низкое статическое давление в этой области. Это означает, что перфорированные плиты дают очень мало холодного воздуха в этой области и могут даже всасывать воздух в подпольный пленум. Правильно — если стойки размещены на расстоянии не менее 3 плиток от охлаждающих блоков.

Легкий способом определения проблемы со скоростью воздуха под фальшполом — это поместить небольшой лист бумаги на перфорированную плитку. Если бумага втягивается перфорированной плиткой, ее следует заменить сплошной, чтобы сбалансировать давление под фальшполом.

Установка вентиляторов на подставке перед проблемной стойкой (только для временного использования)


Иногда полагают, что установка вентиляторов это хороший способ, так как поток воздуха направляется непосредственно на место с избытком тепла. Однако такое действие следует использовать только временно и в чрезвычайных ситуациях, к примеру, когда оборудование может отключится по причине перегрева. Этот метод (показанный на Рис 2) может устранить горячую точку за счет снижения текущей температуры оборудования. Пьедестальные вентиляторы, по сути, работают как смесители, смешивая отработанный воздух оборудования и холодный поступающий. Это создает температуру, которая выше температуры подачи, но холоднее, чем выхлопной воздух от оборудования. Что также позволит увеличить поток воздуха проходящий через оборудование. Смешивание горячего и холодного воздуха приведет к снижению эффективности системы охлаждения, а так же к неадекватному использованию ресурсов. Помимо прочего, вентиляторы являются дополнительным источником тепла в центре обработки данных.

image
Рис 2. Пример опорных вентиляторов, размещенных перед проблемной стойкой для устранения горячих точек.

Запуск воздуха через лед в холодный коридор (неэффективная практика)


Некоторые считают, что это хорошая практика, так как лед — простое решение. Хотя это решение, изображенное на Рис 3, может помочь смягчить проблему, но остается риск разлива воды из контейнеров, которые наполняются по мере таяния льда. Даже если использовать закрытые пакеты со льдом, это все равно непрактичный метод. Существуют гораздо более эффективные и более простые решения, о которые будет написано в следующем разделе.

Развёртывание переносного блока охлаждения (только для временного использования)


Некоторые считают, что это так же хороший способ, так как поток холодного воздуха направляется прямо перед конкретным местом с избытком тепла. Однако этот метод необходимо использовать только временно и в чрезвычайных ситуациях, например, если оборудование может быть отключено. К сожалению, этот способ часто используют как постоянное решение проблемы. Портативные охлаждающие устройства обычно эксплуатируют в случае проблем с системой охлаждения, поскольку сотрудники дата-центра легко могут их установить.

Однако самые эффективные, практичные и экономически выгодные методы для устранения и распространения горячих точек будут обсуждаться в следующем разделе.

image
Рис 3а. Пример использования вентиляторов, обдувающих лёд через холодный проход.

image
Рис 3б. Пример ящиков со льдом, хранящихся в морозильной камере.

Установка дополнительного охлаждающего оборудования (скорее всего, не требуется)


В основном появление горячей точки связывают с недостатком охлаждающих мощностей, в следствие чего некоторые думают, что добавление оборудования это хороший метод решения проблемы. Однако в большинстве случаев охлаждения достаточно, но оно не может достигнуть необходимого места, в связи с отсутствием управления воздушным потоком. Кроме того, это действие не всегда решает проблему горячих зон, однако сопровождается значительными капиталовложения. Согласно исследованию, проведенному Uptime Institute, в серверных комнатах у которых охлаждающая способность в 15 раз выше требуемой, все равно присутствовали горячие зоны у 7–20% стоек. Причиной этого является то, что холодный воздух поступает в обход воздухозаборников оборудования. Правильный подход заключается в том, чтобы сначала применить эффективные методы решения проблемы, обсуждаемые в следующем разделе, а затем только проверить, действительно ли нужно больше холодильных установок.

Разделение стоек с высокой плотностью оборудования (хороший метод)


Это действие включает перемещение серверов из одной стойки в другую для устранения температурной проблемы — перераспределение оборудования. На самом деле это хороший метод решения, который обсуждается в следующем разделе.

Лучшие способы исправления горячих точек


Большинство из перечисленных выше общепринятых методов решения проблемы горячих точек не рекомендовано, поскольку они не устраняют две основные причины появления зон с избытком тепла: байпас (обход воздуха нужной зоны) и рециркуляцию. Полное устранение обхода и рециркуляции означает, что потоки горячего и холодного воздуха полностью разделяются, это означает, что горячие точки просто не могут существовать. Первые четыре метода, указанные ниже, эффективны, потому как они решают проблему обходного воздуха и рециркуляции. Последняя рекомендация является лучшей, но должна быть выполнена только после внедрения практичных методов управления воздушным потоком.

  1. Управление воздушным потоком в стойке.
  2. Управление потоком воздуха в комнате.
  3. Перераспределени нагрузки.
  4. Изменение расположение датчика температуры воздуха.
  5. Разрешение DCIM контроля воздушного потока охлаждающих устройств.

Управление потоком воздуха в стойке


Многие горячие точки появляются из-за рециркуляции горячего отработанного воздуха внутри или вокруг стойки. Поэтому улучшение управления воздушным потоком в стойке играет важную роль в устранении проблемы. Открытые U-образные полки и кабельные укладки, являются частой причиной рециркуляции, что приводит к появлению горячих точек. Использование заглушек для заполнения неиспользуемого места и щеток для кабельных вводов — один из самых простых и экономически эффективных способов улучшить ламинарность потока в стойке.

Для получения дополнительной информации об управлении воздушным потоком с помощью заглушек см. Технический документ 44, «Повышение производительности охлаждения в стойке с помощью заглушек управления воздушным потоком».

Для некоторых коммутаторов и маршрутизаторов необходим двухсторонний холодный воздушный поток. Если говорить о дата-центрах с традиционным потоком воздуха между стойками, то горячий воздух, выходящий из коммутатора / маршрутизатора, может возвращаться, в следствии чего создавать точки перегрева. Стоечные системы распределения воздуха, изображенные на Рис 4а, могут использоваться для подачи холодного воздуха с обеих сторон, исключая возможность образования горячих зон.

Для получения дополнительной информации по этой теме см. Техническую документацию 50, Опции охлаждения для стоечного оборудования с боковым потоком воздуха.

В местах с достаточным количеством охлаждения и высокой плотностью оборудования, могут появляться горячие точки. В этой ситуации может помочь модернизация вентиляторных устройств, которые улучшат воздушный поток и увеличивают охлаждающую способность.

Устройства, показанные на Рис 4b, могут эффективно «заимствовать» воздух из соседних стоек, для того, чтобы обеспечить отвод дополнительного тепла, образуемого оборудованием, мощностью 3 кВт на стойку. Это может свести к минимуму разницу температур между верхней и нижней частями стойки, а также предотвратить рециркуляцию горячего отработанного воздуха на входе. Как и во всех устройствах поглощающих воздух, при его размещении необходимо соблюдать осторожность, чтобы воздух, забираемый из соседнего пространства, не приводил к его перегреву. Эти устройства должны питаться от ИБП, чтобы избежать отключения оборудования при выключении электроэнергии. В местах с высокой плотностью оборудования перегрев может возникнуть в течение времени, необходимого для запуска резервного генератора.

image
Рис 4а. Пример использования стоечной системы перераспределения воздуха.

image
Рис 4b. Пример управления воздушным потоком с использованием смонтированного в стойке воздуховода.

Перебалансировка воздушного потока под полом


Некоторые думают, что если разместить как можно больше перфорированных плит в каждом ряду, то это поможет обеспечить охлаждение в нужном количестве. Однако слишком большое количество плиток нарушают ламинарность воздушного потока по пути следования. Добавление перфорированных плит не всегда решает проблему зон с избытком тепла, но если убрать несколько, то это может помочь воздуху добраться к проблемным зонам. Следующее руководство показывает как.

Сначала возьмите расходомер и измерьте общий CFM в ряду. Затем разделите на 125 CFM / кВт, и это значение должно быть примерно равно мощности стойки в ряду. Если нет, то необходимо удалить несколько плиток и повторить описанную выше процедуру, пока они не станут примерно одиновыми.

image

Управление воздушными потоками в помещении


После улучшения управления воздушным потоком в стойке следующим важным шагом является улучшение управления потоком воздуха в помещении. Для начала необходимо закрыть все отверстия в фальшполе. Герметик следует использовать для герметизации кабельных вырезов за стойками и под PDU. Эти отверстия провоцируют нежелательную утечку воздуха. Необходимо заполнить зазоры вокруг охлаждающих устройств и других отверстий в полу пеной, найти перфорированные плитки, которые являются источником байпасов, и заменить их сплошными. К примеру, если плитка размещена перед пустой стойкой, то ее необходимо заменить сплошной. Также выполнить балансировку воздушного потока под полом. Правильное размещение плит в сочетании с герметизацией отверстий на фальшполе восстановят потерянную охлаждающую мощность.

Еще оной причиной возникновения горячих точек является смешивание горячего и холодного воздуха, которое происходит вверху и на концах стойки.Одним из основных способов является разделение горячего и холодного кордиров при помощи стоек по всему периметру. На Рис 5 показаны примеры изолирования горячих и холодных коридоров. Изолирование не только помогает исправить горячие точки, но и обеспечивает дополнительное преимущество экономии энергии по сравнению с традиционными схемами построения дата-центро без использования изолированных модулей. Для получения дополнительной информации о развертывании защитной оболочки в существующих центрах обработки данных см. Техническую документацию 153 «Реализация изолирования горячего и холодного воздуха в существующих центрах обработки данных». Для получения дополнительной информации о развертывании защитной оболочки для нового центра обработки данных см. Техническую документацию 135 «Влияние сдерживания горячих и холодных проходов на температуру и эффективность центра обработки данных».

image


Рис 5а. Изолированный модуль, где холодный коридор внутри, а горячий снаружи.

image
Рис 5b. Пример решения, когда горячий коридор внутри, а холодный — снаружи и используются потолочные воздуховоды.

На Рис 6а показан пример активной стойки с индивидуальным воздуховодом. Задняя дверца стойки может быть заменена устройством, которое перемещает воздух, что позволяет построить стойку с активным воздуховодом. Но эти устройства добавляют приблизительно 250 мм (10 дюймов) к общей глубине стойки, что, вероятно, увеличит шаг (питч) между соседними рядами стоек. Горячий отработанный воздух, который обычно выталкивается в горячий проход, собирается и перемещается вверх, где он направляется в камеру воздухоотвода. Это исключает рециркуляцию в стойке и повышает эффективность и производительность системы охлаждения. Вентиляторы в активной системе воздуховодов допускают плотность оборудования в стойке до 12 кВт и могут преодолевать неблагоприятное давление или же его перепады, возникающие из-за очень плотной прокладки кабелей на выходах серверов. Однако активные стойки могут легко привести к неожиданным последствиям в других зонах дата-центра, следовательно системы необходимо использовать с особой осторожностью. Для этих устройств важно использовать заглушки и боковые панели. Стойки с индивидуальным воздуховодом потребляют энергию и требуют регулярного мониторинга и технического обслуживания. Дополнительную информацию по этой теме см. В Белой книге 182 «Использование потолочного воздуховода в центрах обработки данных».

Верхняя часть стойки с высокой плотностью оборудования, чаще всего не может получить достаточное количество холодного воздуха для обеспечения полноценного отвода тепла. На рисунке 6b показан пример устройства, монтируемого в пол, которое при помощи вентиляторов, позволяет обеспечить нужную скорость воздушного потока через стойку, которая завист от температуры или давления под полом. Что обеспечивает эффективный отовод тепла со стоек с оборудованием суммарно мощностью до 12 кВт со стойки.  

image
Рис 6а. Активная стойка с индивидуальным воздуховодом.

image
Рис 6b. Устройство, помогающее обеспечить необходимую скорость «продувки» стойки, для эффективного отвода тепла.

Распределение проблемной нагрузки (мощности)


Как уже обсуждалось выше, перемещение оборудования из проблемных «горячих точек» в стойку с более низким энерегетическим потреблением — может решить проблему. Но также важно обеспечить помещение достаточным питанием и охлаждением, которое позволяет отвести тепло, с потребляемой мощности, а так же равномерно распределить нагрузку по всем шкафам. В местах где нагрузка превышает допустимое значение, необходимо разделить оборудование на несколько шкафов.

Хотим обратить внимания, что распределение оборудования между несколькими стойками оставляет значительное количество неиспользуемого пространства в шкафу в их верхних частях. Это пространство должно быть заполнено заглушками, что бы избежать снижения эффективности охлаждения. Если есть возможность отключить сервер или другое важное оборудование, то этим действием можно исправить зону перегрева с наименьшими затратами. Для получения дополнительной информации по этой теме см. Технический документ 46, «Стратегии охлаждения для стоек сверхвысокой плотности и блейд-серверов».

Изменение расположения температурного датчика


В большинстве старых дата-центров термостаты устанавливаются в потоке возвратного воздуха CRAC, который может быть непредсказуемым. Это также может привести к неравномерной загрузке CRAC, что, в свою очередь, приводит к колебаниям температуры на входе в сервер. Перемещение термостатов в поток приточного воздуха, от которого зависит температура выпускного, обеспечит равномерную температуру оборудования на входе. В сочетании с другими методами, перемещение термостата также позволяет повысить температуру приточного воздуха, тем самым экономя энергию системы охлаждения, при этом не переживая об изменениях температуры приточного воздуха.

Разрешение DCIM контроля воздушного потока охлаждающих устройств


Есть системы, которые управляют отдельным комнатными охлаждающим устройствами в зависимости от температуры перед стойкой. Эти системы используют обущающие алгоритмы для динамического прогнозирования и регулировки скорости вращения вентиляторов, а так же показывают какие блоки охлаждения можно отключить. Установив контроль над количеством воздуха в дата-центре можно уменьшить возможные байпасы (неэффективные воздушные обходные потоки). Примером такой системы может служить система охлаждения Vigilent.

Вывод


Зоны с локальным перегревом могут привести к снижению надежности, производительности или даже повреждению серверов. Горячие точки как правило появляются на входе в оборудование по-причине неэффективного управления воздушным потоком, например утечке холодного воздуха из-за обходных потоков (байпасов) и рециркуляции горячего отработанного воздуха.

Почувствовать повышенную температуру при прогулке по дата-центру, измерять в ручном режиме или установить автоматический мониторинг температуры — три основных способа для обнаружения мест с избытком тепла.

Большинство действий, которые предпринимают сотрудники центра обработки данных для решения проблем с горячими зонами, являются либо временным и используются в экстремальных ситуациях, либо же неэффективны и могут только усугубить ситуацию. Управление воздушным потоком в стойке и помещении, локализация, перемещение проблемного оборудования, изменение местоположения датчиков температуры воздуха и возможность DCIM контролировать воздушный поток охлаждающего оборудования — являются эффективными, простыми и экономичными методами в устранении проблемы горячих точек.

Об авторе


Пол Лин — старший аналитик в Научном центре Центра данных Schneider Electric. Он отвечает за проектирование и исследование работы центра обработки данных, а также консультирует клиентов по вопросам оценки рисков и методов проектирования для оптимизации и повышения эффективности центров обработки данных. До прихода в Schneider Electric Пол несколько лет работал руководителем научно-исследовательских проектов в компании LG Electronics. В настоящее время он назначен «Сертифицированным сотрудником центра обработки данных», признанным во всем мире, с подтверждением знаний и навыков, необходимых для специалиста центра обработки данных. Он также является зарегистрированным профессиональным инженером HVAC. Пол получил степень магистра в области машиностроения в Университете Цзилинь, а также в области HVAC и термодинамической инженерии.

Немного рекламы :)


Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
ua-hosting.company
Хостинг-провайдер: серверы в NL до 300 Гбит/с

Comments 3

    0
    Необходимо заполнить зазоры вокруг охлаждающих устройств и других отверстий в полу пеной

    Это ОЧЕНЬ опасный совет, не учитывающий склонность монтажников к импровизации.
      0
      Легкий способом определения проблемы со скоростью воздуха под фальшполом — это поместить небольшой лист бумаги на перфорированную плитку. Если бумага втягивается перфорированной плиткой, ее следует заменить сплошной, чтобы сбалансировать давление под фальшполом.

      На каких масштабах вы наблюдали эффект втягивания листа на подающем канале? Это какая скорость потока под полом должна быть чтобы эффект эжекции проявлялся! В такой ситуации опасность скорее представляет передавливание второго кондиционера, когда все что надувает под пол первый, выдавливается не в холоный коридор, а через выход второго кондиционер прямо в горячую зону минуя стойки. Тема обратных клапанов на подаче охлажденного воздуха не раскрыта и их почему то постоянно «забывают» устанавливать.
        0

        Давно ждал статью, где можно было бы задать давно меня интересующий вопрос (т.е. где бы вопрос заметили "люди в теме"): по долгу службы имею дело с (множеством) Oracle Exadata. Вкратце — Exadata — это решение от одного вендора (Oracle), когда вендор поставляет и hard и soft. Выглядит это как полноразмерная стойка (rack, 48U), забитая в зависимости от конфигурации, либо полностью (Full Rack), либо наполовину, либо на 1/4 или 1/8. В максимальную (Full Rack) поставку входит 8 DB серверов + 19 storage серверов (могут быть набиты HDD или SSD, соответственно вариант с HDD жрет больше электричества), и плюс мелочевка — 2 InfiniBand свича чтоб соединить все вместе, ILOM для управления. Все сервера забиты топовым железом — DB сервера, например, по 2 Xeon проца / 24 ядра каждый (384 ядер всего), Storage сервера — 912 ядер вместе, быстрая память, есть ещё специальные Flash модули на много-много ТБ (это и не RAM и не SSD — это "между").


        В общем, сам вопрос. Вся эта радость требует 17.3 кВт на стойку. Больше 17 кВт — это ведь много, да? Я много статей тут на Хабре читал, про датацентры, их создание, управление, проектирование и вообще. И везде как-то около 5 кВт на стойку обычно шла речь. А тут больше 17 кВт.


        Скажу больше — я и сам знаю, что 17 кВт — это много, но именно в случае с Exadata в каком-то смысле спасает возможность "собрать" ту же емкость/мощность из упомянутых выше 1/2, 1/4 и 1/8 конфигураций, стоимость абсолютно линейная. Т.е. если проект позволяет — так можно выкрутиться, хоть это и влечёт свои последствия — 2, 4, а то и 8 занятых стоек вместо одной, дополнительный overhead на администрирование, и тд.


        Ну и если немного расширить проблему — в статье упоминается, как одно из решений проблемы особо "горячих" товарищей в ДЦ — раскидать их по разным местам. А что если клиент — большая организация, Банк там или Телеком, и говорит "хочу свои 25 Exadata в одном месте у вас в ДЦ поставить, чтоб в одну cage все стойки, и одним ключем все закрывать — иначе CISO не подпишет" — что тогда? "Дырочки в полу залепить" уже не выйдет.

        Only users with full accounts can post comments. Log in, please.