Нередко компании сталкиваются с необходимостью установить новое, более мощное оборудование в уже существующих помещениях. Иногда решить эту задачу бывает непросто, но существует ряд стандартных подходов, помогающих выполнить ее. О них мы сегодня расскажем на примере ЦОД Mediatek.
Компания MediaTek, всемирно известный производитель микроэлектроники, решила построить новый центр обработки данных в своей штаб-квартире. Как обычно, проект нужно было реализовать в кратчайшие сроки, а также обеспечить совместимость нового решения со всем существующим оборудованием. Кроме этого, средства электропитания и охлаждения нужно было изначально адаптировать к условиям здания, в котором должен был начать работу новый ЦОД.
От CIO компании поступил запрос на технологии автоматизации и мониторинга ЦОД, а также заказчиком приветствовалось внедрение энергоэффективных решений в области охлаждения и энергоснабжения. То есть на эти технологии был выделен дополнительный бюджет, что и позволило создать действительно высокопроизводительный ЦОД в заданных условиях.
Большая нагрузка
Прежде чем приступать к проекту, следовало хорошо изучить особенности размещаемого оборудования — а оно было действительно мощным. В новом ЦОД планировалось установить 80 стоек, причем некоторые подразумевали размещение нагрузки в 25 кВт.
Было проведено моделирование размещения нагрузки и анализ возможных схем охлаждения, после чего принято решено разделить ЦОД на функциональные зоны. Зона высокой нагрузки, где размещается самое мощное оборудование, была отделена, а для охлаждения и электропитания в ней решено установить наиболее мощные и технологичные системы, включая внутрирядные кондиционеры RowCool.
Зона со средней плотностью размещения, куда попали в основном сетевое коммутационное оборудование, системы хранения и вспомогательные серверы, также располагалась отдельно. Учитывая меньшее выделение энергии стойками, здесь удалось создать более длинный “горячий коридор”, а значит — сэкономить полезную площадь.
Мы провели симуляцию движения воздуха и оценили допустимые параметры температуры для обеих зон, рассчитали мощность оборудования и допустимые размеры коридоров, а также параметры размещения оборудования в стойках.
Симуляция движения воздуха помогла найти оптимальные точки для размещения внутрирядных кондиционеров RowCool, чтобы совместное использование активного охлаждения и системы разделения горячих и холодных коридоров давало максимальный эффект.
Были спроектированы и установлены модульные системы разделения нагрузки для обеих зон. В результате зона с высокой нагрузкой получила более короткие коридоры и большее количество кондиционеров RowCool, чем зона средней нагрузки.
Рядные кондиционеры были подключены к чиллерам при помощи водяного охлаждения. Чтобы обеспечить безопасность такой системы, в ЦОД были установлены десятки сенсоров, а также определены зоны обнаружения возможных протечек жидкости. В случае появления хоть одной капли воды система сразу же выдает уведомление и помогает исправить ситуацию.
Более того, кондиционеры RowCool, расположенные в зоне высокой нагрузки, соединены в группы, а между ними настроено автономное взаимодействие. Это сделано для того, чтобы в случае выхода одного кондиционера из строя другие могли усилить свою работу и обеспечить достаточное охлаждение с учетом работы “холодного коридора”, пока кондиционер будут чинить или заменять. Для этого рядные кондиционеры также установлены по схеме N+1.
ИБП и распределение электропитания
Опираясь на проверенную практику, мы разместили резервные аккумуляторы, а также системы ИБП в отдельной зоне, чтобы потоки воздуха не смешивались и системы охлаждения не теряли мощность на тех нагрузках, которым особо и не требуется дополнительный холод.
Учитывая, что суммарная мощность всего ЦОД превышает 1500 кВт, инфраструктуру питания и зону ИБП нужно было проектировать с особой тщательностью. Модульные ИБП были установлены с учетом резервирования по схеме N+1, а для каждой стойки было подведено кольцевое питание — то есть как минимум два кабеля с питанием. В системе мониторинга при этом одновременно отслеживалось энергопотребление, напряжение и ток, чтобы моментально заметить любое нештатное изменение.
В зоне с высокой нагрузкой кабинеты распределения питания (PDU) были установлены с задней стороны от стоек Delta, а сверху были размещены дополнительные модули распределения на 60А.
В зоне со средней нагрузкой удалось обойтись кабинетами распределения, установленными над стойками. Такой подход позволил сэкономить средства без ущерба для качества.
Управление и DCIM
В новом ЦОД были реализованы системы управления работой оборудования. Так, через систему DCIM InfraSuite можно отследить все оборудование и место его расположения в ЦОД, а также все параметры электропитания для каждой отдельно взятой стойки.
В каждой стойке также был установлен датчик с индикатором EnviroProbe, данные с которых собираются на концентраторах EnviroStation по каждому ряду и передаются на центральный сервер управления. Благодаря этому диспетчеры ЦОД могут постоянно контролировать параметры температуры воздуха и влажности в каждой стойке.
Кроме контроля электропитания система InfraSuite также позволяет планировать заполнение ЦОД, потому что в систему внесены данные о количестве и мощности установленного оборудования. Инженеры могут запланировать установку новых серверов или коммутационных систем, одновременно перераспределяя электропитание через интеллектуальные кабинеты PDU.
Заключение
Практика построения ЦОД для MediaTek была интересна тем, что нам пришлось разместить много высокопроизводительной нагрузки на достаточно небольшой площади. И вместо того чтобы распределять ее по всему помещению, эффективнее оказалось выделить высокомощные серверы в отдельную зону и обустроить там более мощное и технологичное охлаждение.
Система комплексного контроля и управления позволяет постоянно следить за энергопотреблением высокомощных серверов, а резервные элементы охлаждения и электропитания помогают не допускать простоев, даже в случае выхода из строя оборудования. Именно такие ЦОД нужно строить под критически важные бизнес-процессы современных компаний.