В последнее время мы много работаем с регионами, проектируем и строим дата-центры от Краснодара до Крайнего Севера. И каждый раз интересно наблюдать, насколько там другие — по сравнению с Москвой — отношения.
Вот, возьмём, к примеру, Магнитогорск (здесь и далее впечатления личные). Там люди с понятиями. Если сказали, что сделают, то точно сделают в срок. При этом многие вещи решаются на слово. Народ очень вежливый, адекватный, спокойный. Без торгашества: не ждёшь, что тебя нагреют. Когда мы собирались в Магнитогорск, нам говорили — да там 90-е, криминал. Ничего такого. Культурный спокойный город.
В Магнитогорске мы тоже строили ЦОД. Расскажу, как всё было, и чем ещё запомнилась Магнитка.
На фото выше — очень красивая смотровая площадка. Это часть триптиха «Меч победы», памятник «Тыл — фронту». Меч как символ победы над врагом был выкован на Урале, поднят на Волге («Родина-мать зовет») и победно опущен в Германии («Воину-освободителю»). От памятника панорамный вид на Магнитку. До горизонта — один большой комбинат, и эта мощь действительно впечатляет.
Магнитогорск поделён рекой Урал на две части. Правобережная европейская — та, где находится сам город. Левый берег — в Азии, там стоит Магнитогорский металлургический комбинат. В городе четыре моста, так что по дороге на комбинат хоть по одному, да проедешь.
Итак, изначально на площадке стояло двухэтажное кирпичное здание 1930-х годов. Договорились, что его снесут, затем котлован нужно будет заместить правильным грунтом и на нём поставить ЦОД. Но когда мы снова приехали в Магнитогорск, увидели, что на площадке лежат куски строительного мусора вместе с остатками здания.
Начали проводить обследования грунта. Бурили в нескольких точках. ЦОД — тяжёлая конструкция, поэтому в его основании лежит бетонная плита. Положить её просто так нельзя, грунт должен быть подготовленный. Поэтому нам нужно было проверить, что
а) грунт годится для плиты;
б) на прилегающей территории нет никаких старых коммуникаций.
Когда стали с остатками здания разбираться, выяснилось, что у снесённой постройки есть ещё и подвальный этаж. Это стало сюрпризом для всех, включая заказчика, поскольку за давностью лет никакая документация по этому зданию не сохранилась. Картина была, почти как при раскопках в Помпее:
В итоге мы выкопали котлован глубиной четыре метра вместо двух. Только так смогли убрать весь этот фундамент. Замещали грунт щебнем, который тут же на ММК и производится. Ушло около 200 КамАЗов щебня. Уплотнили его катком послойно и залили плиту.
Из-за того, что история с котлованом затянулась, плиту мы начали лить в ноябре. И тут снова уральские реалии. В ноябре в Магнитогорске уже жёсткий мороз, порой до минус тридцати. Бетон, естественно, замерзает. Поэтому есть две технологии: либо добавлять специальные присадки, либо закладывать греющий кабель внутрь плиты. Мы вынуждены были идти по обоим вариантам. Взяли «провода без изоляции» и по ним пустили электрический ток.
На улице минус 27, плита закрыта плёнкой, под ней температура в районе +15. Так бетон стоял «под напряжением» и под плёнкой около двух недель.
Вообще, повторюсь, строить ЦОД в суровом уральском климате — это совсем не то, что в Москве. Вот еще пример: протянули траншею, а закопать её вовремя не получилось — не ту трубу привезли. Траншея простояла неделю на морозе, нужная труба приехала, закопали — всё внутри замёрзло. Примерно неделю потом мучались: спустили в колодец тепловую пушку, и она отогревала эту трубу на всю длину и всю глубину.
Вот ещё фото для погружения в атмосферу зимнего Магнитогорска (есть тут кто-то, кто соскучился по зиме?):
С электричеством тоже было интересно: по проекту изначально должны были 400 вольт заводить. Поблизости по низкому напряжению нужных мощностей не было, а далеко тянуть экономически нецелесообразно. Поэтому мы забирали 10 киловольт (почти ЛЭП) и ставили свою трансформаторную подстанцию с двумя трансформаторами. Два дня тянем, потом раз — и мороз минус 20-30 градусов. Значит, день кабель греем, ждем погоды. Как потеплеет, снова полдня тянем.
А вот тут залипательное видео, как делали трансформаторную:
Сборка
Площадь ЦОДа 200 квадратных метров, столько же по площади и та самая бетонная плита. Сама конструкция ЦОДа состоит из 6 модулей весом по 15 тонн. Каждый модуль опирается на 40 посадочных мест (пластин) в плите.
Изначально модули и посадочные места были запроектированы с допуском в 2 мм. Инженеры наши постоянно следили за процессом, ходили с геодезистами, контролировали процесс и когда щебень засыпали в котлован, и когда заливали бетон. По факту у нас получился разбег 1 мм. Честно говоря, тут мы сами удивились. Ребята, которые ставили модуль, сказали, что «вообще никогда не видели, чтобы кто-то так точно заливал бетон». Это было очень радостно позволило сэкономить время, поскольку выравнивание — долгий и щепетильный процесс.
Модульную конструкцию взяли у Smart IT. У них своё производство, цех в Самаре. Эти ребята с готовностью отозвались на идею сделать ЦОД с фасадным остеклением, как и хотел заказчик, и сделали это красиво.
Фото с производства:
Гусаки :)
Модуль с наружными блоками системы кондиционирования (и теми самыми гусаками):
Подготовленный к доставке на площадку собранный и окрашенный конструктив:
Проект по зданию ЦОД делали в BIM-среде, сразу исключая все пересечения коммуникаций. Так что когда к нам модули приехали, они встали на нашу прекрасную плиту с допуском 1 мм, и... вся сборка заняла 10 дней. Через 10 дней модули были уже соединены, а внутри шли работы по инженерным сетям.
Пока конструктив собирали, с погодой снова «повезло». Примерно минус 40 на улице, минус 40 внутри. Ну что сказать: грелись в бытовке, спасались электрическими стельками из спортивного магазина.
Доставлялись модули на площадку в сборе с основным оборудованием, что позволило сократить сроки развёртывания и монтажа:
«Начинка»
Для бесперебойного питания сделали систему электроснабжения с резервированием 2N: к каждой стойке подвели два луча электропитания от независимых электрических вводов. Организовали трёхсекционный автоматический ввод резерва на базе стандартных АВР от ABB — два ввода городских и третий от ДГУ. В ДГУ предусмотрели бак с топливом на 1000 кубов. Это 12 часов автономной работы при пропадании сразу двух вводов.
ДГУ приехал вот так:
После установки и сборки на шасси:
Дальше за АВР-ми поставили по двум плечам две независимых электрощитовых, в каждой — современные модульные ИБП двойного преобразования APC by Schneider Electric. По сути, резервирование бесперебойного электроснабжения выполнено уровнем 2N+1. То есть две отдельных резервируемых машины и внутри каждой N+1 силовой модуль.
В ИБП также использовали модульные аккумуляторные батареи, менять можно оперативно. Для процесса эксплуатации это принципиально важно.
Кондиционеры и стойки устанавливались на заводе-изготовителе модульных конструктивов. Смотришь на ряд, всё идеально и красиво и глаз радуется
В нашем случае это был один из первых кейсов в России по установке линейки LCP фреоновых внутрирядных прецизионных кондиционеров Rittal. Выбрали эти холодильные агрегаты из-за сочетания высокой холодопроизводительности и оптимальной энергоэффективности (за счёт использования EC-вентиляторов и инверторных приводов в каждый момент времени можно получать ровно столько холода, сколько необходимо).
Кондиционеры оснащены увлажнителями, а увлажнитель — это, по сути, большой чайник, из которого выходит пар. Когда запустили, выглядело это всё, как будто из стоек валит дым.
Для размещения ИТ-оборудования использовали шкафы Rittal серии TS-IT. Они поставляются в сборе, а 19-дюймовые монтажные плоскости можно устанавливать под требуемую глубину без использования инструмента. Для системы диспетчеризации стоечного оборудования и распределения питания внутри шкафов также использовали решение Rittal. Переключаемые блоки распределения питания (PDU switched) позволяют по сети управлять разъёмами питания через веб-интерфейс, а также измерять параметры электроэнергии в стойке. Они, кстати, тоже монтируются в шкафах без инструмента (технология Snap-In) — монтажники (да и мы) оценили удобство и скорость установки.
К PDU подключили датчики температуры, влажности, контроля доступа в стойку. Также система мониторинга контролирует температуру и протечки в машзалах, электросетевые параметры на каждом вводе (частота, напряжение).
Все параметры, которые мониторим, вывели по сети на пост дежурной смены службы эксплуатации. А вот с охранной сигнализацией по-другому — нужно было обеспечить передачу сигналов через радиоканал. Сделали это на «Протоне».
Финал
Для меня самое интересное — наблюдать, как на ровной площадке за считанные дни вырастает новый ЦОД. Еще 22 ноября ровная площадка, весь месяц — бесконечный «муравейник», монтаж, пусконаладка, и вот 25 декабря — сдача проекта, новый ЦОД готов. Он, кстати, рассчитан на 36 стоек, суммарная ИТ-нагрузка — 208 кВт. Скорость передачи данных до 100 гигабит в секунду.
Ещё из интересного: здание ЦОД выполнено в корпоративных цветах заказчика. Внутри входной группы — декоративные элементы и живые растения. Вообще с дизайном была ещё одна история: камеры видеонаблюдения на улице стоят, а подводки к ним изначально были из белой гофры. А сам ЦОД оранжевый — не тот торт получается. Что ж, поехали и купили оранжевую гофру. Ну а если серьёзно, то дата-центр закроет потребности ММК в вычислительных мощностях на ближайшие годы.
А мы идём строить ЦОДы дальше.
