Модернизация дата-центра во время пандемии COVID-19 – не самая простая задача, особенно когда речь идет об апгрейде системы электроснабжения площадки. Тем не менее, при наличии четкого плана действий, надежного подрядчика и грамотной проектной команды с ней можно справиться и в условиях форс-мажора.
Рассказываем, как все прошло и как наша площадка в Санкт-Петербурге стала еще надежнее для клиентов по параметру отказоустойчивости.
ИБП Delta в ЦОДе Linxdatacenter
Вводные условия
Система бесперебойного электропитания (СБЭП) нашего ЦОДа в Петербурге была изначально спроектирована по модели 2N.
Это означает, что в случае выхода из строя одного ИБП (или его отключения для техобслуживания), второй берет на себя полную нагрузку. Соответственно, фактически задействованная мощность одного источника бесперебойного питания (ИБП) в паре не должна превышать 50% от максимально доступной. Таким образом обеспечивается надежность работы системы.
В обычном режиме ИБП дают необходимые 100% мощности, поровну деля нагрузку между собой.
Однако рост нагрузок на дата-центр привел к необходимости модернизации: уровень потребления мощностей приближался к предельно допустимому порогу.
В связи с высоким спросом на ресурсы площадки мы приняли решение в пользу модульных ИБП как формата, оптимально отвечающего задачам развития дата-центра в текущий момент и позволяющего наращивать мощности в перспективе.
При этом внедрить модульные ИБП в СБЭП, построенную на моноблочных решениях, оказалось невозможно. Пришлось бы отключать часть оборудования, что привело бы к простоям ИТ-систем клиентов, поэтому этот сценарий мы отбросили сразу.
Необходимо было создать принципиально новую СБЭП, перераспределив нагрузку между имеющимися моноблочными ИБП и новыми модульными. При этом важно было соблюсти требования Uptime Institute в части мониторинга нагрузок – до 50% от максимальной на единицу ИБП.
Выбор в пользу
Выбор пал на оборудование компании Delta Electronics: необходимая модель ИБП Delta DPH 500 kVA была доступна на складе в Петербурге, а компания-интегратор решения (ГК «Темпесто») также обладала статусом монобрендового дистрибьютора вендора в России, что сыграло для нас большую роль по ходу проекта.
Модульный формат ИБП позволяет решать множество задач, связанных с энергетическим обеспечением ЦОДа, главная из которых – повышение отказоустойчивости.
Дело в том, что моноблочные ИБП выходят из строя целиком, запуская «эффект домино» по всей цепочке выполнения SLA. В отличие от них, модульные ИБП в случае аварии «вылетают» помодульно, теряя по 50 кВт, что при грамотной настройке архитектуры СБЭП позволяет не ощутить последствия таких сбоев, причем в некоторых случаях влияние такой аварии будет стремиться к нулю.
Кроме того, модульные решения позволяют проводить замену неисправных модулей «на горячую», легко масштабируются под колебания нагрузок на машинный зал, гораздо более компактны (модульный ИБП занимает одну стойку против 2,5 стоек для моноблочного устройства). Немаловажен и экономический фактор: модульные решения стоят почти в два раза дешевле по сравнению с лидирующими на рынке моноблочными моделями.
Словом, это был довольно легкий выбор.
За работу
Проектная команда состояла из 15 человек. В состав команды вошли десять монтажников, главный инженер, а также его заместители по разным направлениям (автоматика, электрика и т. д.).
Работы стартовали в апреле 2020 года с прицелом на завершение к июню. Однако следовать плану оказалось не так просто: задача осложнилась пандемией COVID-19, из-за которой один из поставщиков не смог вовремя доставить необходимые для щитового оборудования автоматические выключатели из Европы.
К этому моменту уже были выполнены все предпроектные изыскания и подготовлена проектная документация, закуплены необходимые ИБП и большая часть материалов. Ждать, когда ситуация нормализуется, было невозможно: обновленные серверные мощности должны были запуститься в работу в заранее установленные сроки по условиям контракта с новым клиентом ЦОДа.
Поэтому было принято решение приступить к монтажу на объекте, чтобы соблюсти запланированную этапность работ.
Массив аккумуляторных батарей ИБП в ЦОДе Linxdatacenter
Побить COVID-19: гибкость планирования, команды и фактор ГИПа
В первую очередь, мы сделали ставку на слаженную работу команды, особенно на связку «бригадир-монтажники». Отмечу вклад подрядчика: специалисты «Темпесто» смогли обеспечить высочайшую гибкость взаимодействия с нами и между собой в не самых простых условиях.
Например, когда понадобилось переключать мощности с одного источника электроэнергии на другой, клиенты далеко не всегда были готовы к этой процедуре, несмотря на уведомления. Зачастую они не позволяли отключать свое оборудование, так как не успели подготовиться должным образом – не сделали бэкап, не перебросили системы на резервную площадку и т. д.
Несмотря на это, простоев удалось избежать почти полностью. На такие случаи всегда был готов «План Б», чем занять монтажников в рамках текущих задач.
Чтобы завершить проект в срок, работа велась ежедневно, без перерывов на выходные. Работать сотрудникам приходилось в достаточно непривычных условиях: с постоянным ношением СИЗ и соблюдением дистанции из-за пандемии.
Щит распределения питания в ЦОДе Linxdatacenter
Грамотное управление временем команды и четкое понимание архитектуры будущего решения помогли избежать существенных временных потерь, и монтаж кабельного, щитового оборудования и ИБП удалось выполнить вовремя.
Также помог статус официального дистрибьютора подрядчика по продуктам вендора. Когда выяснилось, что один из ИБП после распаковки оказался поврежденным, благодаря прямому контакту с поставщиком замена пришла за 1 неделю. Если бы поставщик оборудования был один, а монтажник – другой, только на этой проблеме мы потеряли бы 2-4 недели.
Результаты
В результате модернизации, в процессе которой были установлены 4 дополнительных ИБП серии Delta DHP 500 кВА, питание было частично перераспределено на новое оборудование, а максимальная нагрузка на единицу ИБП в итоге снизилась с 49% до 43%.
В целом, показатель отказоустойчивости ЦОДа и так был удовлетворительным, но апгрейд позволил его улучшить. Ранее, если загрузка одного ИБП превышала 50% от максимальной, то при аварии отключение было бы неизбежно. Например, когда у моноблочного ИБП вылетает сборка конденсаторов – падают все завязанные на нем системы. У модульного ИБП выйдет из строя всего лишь один модуль, а остальные элементы продолжат работу.
Самое важное: выводы
Участники проектной команды приобрели важный опыт работы над сложными задачами в условиях непредвиденных кризисов.
К каким выводам мы пришли:
- Проблемы с поставками могут возникать даже в нормальных условиях. В условиях пандемии и других форс-мажорных обстоятельств нужно готовиться к самым негативным сценариям развития событий: сроки поставок могут срываться чаще и на более долгие сроки;
- Работы должны вестись согласно графику-плану, в котором заранее просчитываются любые риски. Особое внимание надо уделить тем узловым точкам, в которых этапы пересекаются;
- При нарушении сроков поставки необходимо делать те работы, которые возможно осуществлять независимо от срыва. Если приостановить все работы по проекту до получения всех комплектующих, работа рискует либо затянуться, либо превратиться в «штурмовщину»;
- Модернизация существующего комплекса – более сложный в плане методов процесс, нежели строительство системы с нуля. Выполнение таких работ невозможно без тщательного планирования и разработки запасных планов действий.