Привет, Хабр! Меня зовут Федор Клименко, я СЕО компании GreenMDC – мы занимаемся разработкой и производством модульных дата-центров. И иногда доставляем и собираем наши МЦОДы в экзотических регионах. Например, в марте запустили МЦОД в Якутске, где зимой столбик термометра опускается до -60 градусов. Сегодня расскажу о том, как мы везли дата-центр за 9 000 км и собирали его при -30, сколько слоев одежды было на монтажниках, как мы нашли работающий при такой погоде кран и избежали пайки фреонопроводов на морозе.
Предыстория
Для начала скажу, что хоть и являюсь гендиром компании, но в душе остаюсь инженером и люблю путешествовать. А потому часто работаю «в полях» и лично принимаю участие в монтаже и запуске МЦОДов, особенно, если проект интересный – такой как в Якутске.
Этот модульный ЦОД мы разработали по заказу «Республиканского центра информационных технологий» Республики Саха (Якутия) и сделали это в рамках проекта по цифровизации региональных госуслуг. Соответственно, МЦОД хранит и обрабатывает информацию, которая касается таких сфер жизни, как здравоохранение, образование, служба МЧС, банковские услуги, сельское хозяйство и др. Здесь, например, разместился портал госуслуг, мониторинг обстановки при ЧС, в том числе лесных пожаров, колл-центр 122, интеллектуальная транспортная система региона и единая система электронного документооборота.
Партнером-интегратором в проекте выступила компания «Акцент» из Владивостока. В ее задачи входило общее управление проектом, подготовка основания для установки МЦОДа, проектирование и монтаж внешних сетей. Производство началось в октябре 2021 года. В 10-х числах марта 2022 МЦОД был доставлен в Якутию и собран в герметичный контур за 1 день. А уже в конце марта, после заводских испытаний, началась его эксплуатация.
Технические характеристики МЦОД:
модель – FixedSized MDC StandardOutdoor24Ext;
20 серверных шкафов размером 1200х600 мм с общей ИТ-нагрузкой до 150 кВт;
система холодоснабжения Stulz: 4 внутрирядных прецизионных кондиционера холодопроизводительностью до 25 кВт на первом этапе, ещё 4 – на втором этапе и 2 промышленных шкафных кондиционера холодопроизводительностью до 20 кВт в энергоблоке;
система бесперебойного электроснабжения – на основе модульного ИБП Huawei;
время автономной работы инженерного и ИТ оборудования при потреблении полезной нагрузки 150 кВт — 10 минут;
инженерные системы МЦОД зарезервированы по схеме N+1.
Особенности конфигурации
Первая, вполне прогнозируемая, сложность проекта была в создании конфигурации МЦОДа, способного работать при -60 оС. Стандартная конфигурация дата-центров рассчитана на -40, и для климата Якутска не подходит. Поэтому ее пришлось менять, как минимум, в четырех направлениях:
марка металла, из которого изготовлен конструктив МЦОДа, должна быть предназначена для работы при -60 оС,
толщину утеплителя нужно увеличивать (с обычных 100 мм до 200 мм), а также полностью исключить мостики холода и точки потенциальных локальных промерзаний,
все материалы и устройства, например датчики, видеокамеры, светильники и т.п., находящиеся снаружи, также должны быть рассчитаны на такую температуру,
система кондиционирования сильно зависит от внешних температур, поэтому здесь выбрано проверенное решение: кондиционеры STULZ с внешними конденсаторами Guentner, которые имеют заключение о работе при -60, а также успешный опыт эксплуатации в Якутске (правда, это решение оказалось самым дорогим – за надежность приходится доплачивать).
Но обо всем по порядку.
Дисклеймер. О принципах работы
В целом, работая над проектом МЦОДа в Якутске, мы подбирали комплектующие только с паспортными или подтвержденными условиями эксплуатации при температуре -60 градусов. С одной стороны, это обеспечивает надежность МЦОД, а с другой – исключает в дальнейшем проведение гарантийных ремонтов и замены. Возможно, мы перегибали палку, так как неоднократно видели, что у якутских коллег используются элементы, рассчитанные всего на -25. Местные эксплуатационщики опираются на собственный опыт, которого у нас нет. Поэтому мы предпочитали подстраховаться: лучше неделю подождать, но поставить оборудование и материалы, паспортные условия эксплуатации которых соответствуют нашим требованиям.
Однако все мелочи невозможно предусмотреть на этапе разработки, особенно если раньше в них никогда не было необходимости. По факту каждая уличная деталь запускала процесс анализа: можно или нет ее применять, что будет если она выйдет из строя. Поэтому много времени уходило на выбор, покупку, доставку, а иногда и монтаж.
Поскольку у нас не было возможности провести ресурсные испытания созданного конструктива до его инсталляции, то первый год станет решающим. Это будет проверка наших инженерных решений, оборудования и материалов – насколько они соответствуют заявленным характеристикам и способны работать в таких условиях.
Металл
Во внешних ограждающих конструкциях якутского МЦОДа использован металл марки 09Г2С, предназначенный для производства металлоконструкций на Крайнем Севере. С его выбором проблем не было. Сложности начались с поставками. Если металл для обычного дата-центра доставляется в Санкт-Петербурге в течение пары дней, то на этот мы заложили неделю. Ее, впрочем, тоже не хватило – в нужном ассортименте в городе этого металла не было. Ждали поставок, которые приходили частями, и в итоге к производству приступили почти на 2 недели позже, чем планировали.
Чтобы избежать накладок, немного поменяли порядок работ и начали делать те модули, металл для которых уже доставили, а также сократили сроки следующих этапов, где это возможно. В результате на сроках проекта эта задержка не сказалась.
Утепление
С учетом климата мы провели теплотехнический расчет и увеличили толщину минеральной ваты в сэндвич-панелях с обычных 100 мм до 200 мм. В связи с этим на подготовительном этапе была пересмотрена вся конструкторская документация.
Кроме того, мы решили дополнительно утеплить пол. Если в базовой версии дата-центра внутрь конструкции пола укладывается минеральная вата и закрывается цементно-стружечной плитой (ЦСП), то в якутском варианте для утепления пола использовали сэндвич-панели с увеличенной толщиной теплоизоляции. Таким образом, проект металлоконструкции при внешнем сходстве сильно изменился.
Конструктив входной двери также немного пересмотрели. Помимо терморазрыва, который мы предусматриваем практически во всех наших МЦОДах, мы сделали обогрев дверной коробки, чтобы не допустить примерзания к ней двери и образования конденсата на ее внутренней части.
Герметизация стыков
При создании любого МЦОДа важно, чтобы стыки между модулями были максимально герметичны, и у нас есть отработанная технология по их наружной герметизации – использование полиуретанового герметика. Однако для перепада температур более 100 градусов (от +45 летом до -60 зимой) она не подходила. Замену герметику мы нашли быстро, но для нового уплотнителя стандартного зазора 6-8 мм оказалось недостаточно, и его было нужно увеличить до 10 мм. Только в этом случае новый уплотнитель легко помещался в зазор и плотно там фиксировался. Это изменение также сказалось на проекте металлоконструкции МЦОДа.
Обогрев уличных щитков
Щитки для ввода кабеля связи, которые эксплуатируются постоянно, мы решили сделать обогреваемыми, во-первых, чтобы избежать скопления конденсата и появления инея с внутренней стороны МЦОДа, а во-вторых, чтобы сам щиток нормально открывался в мороз.
В месте ввода коммуникаций через стену в любом случае образуется мостик холода, поскольку используется металлическая гильза для ввода кабеля. Конструктивно этот элемент исключить нельзя, но благодаря такому решению получилось минимизировать влияние этого мостика холода.
Датчик влажности и температуры. 2 штуки
В якутском МЦОДе вместо одного стоит два датчика – для измерения влажности и температуры отдельно. Датчик температуры, рассчитанный на -60, находится на улице. А вот промышленного датчика влажности, сертифицированного для работы при -60, мы просто не смогли найти, поэтому этот прибор расположен внутри установки приточной вентиляции в самом МЦОДе.
Локальный сбор конденсата
Якутск находится в зоне вечной мерзлоты, поэтому прокладка любых подземных коммуникаций здесь сильно затруднена. Сложности вызвало и подведение к ЦОДу водоснабжения и канализации, которые нужны для сбора конденсата и работы пароувлажнителей. Даже с учетом того, что наш МЦОД расположен на расстоянии всего 100 м от ближайшей точки подключения воды. Предлагаемые некоторыми производителями системы замкнутого увлажнения, на наш взгляд, небезопасны с биологической точки зрения (образование биопленок, в которых активно размножаются опасные бактерии). Кроме того, такие системы требуют ежемесячной разборки и очистки. Поэтому их мы не используем и никому не рекомендуем.
Но вопрос отведения конденсата все равно надо было решать и при этом обеспечить максимально комфортную эксплуатацию дата-центра. Если летом с этим особых проблем не возникнет (отводить конденсат можно и на газон), то зимой вода моментально замерзнет.
Мы решили создать систему, которая летом выводит конденсат на улицу, а зимой собирает его внутри ЦОДа. В холодный период задействовано две емкости для сбора конденсата с поплавковыми датчиками. Когда одна емкость наполняется, срабатывает датчик, и конденсат течет во вторую. Датчик подает сигнал в систему диспетчеризации, и служба эксплуатации получает сообщение, что воду пора слить. При этом у сотрудников есть достаточно времени до тех пор, пока наполнится вторая емкость. Съем и подключение емкостей выполнено на быстросъемных механизмах, что упрощает персоналу задачу. Летом же конденсат по медной трубке выводится за пределы ЦОДа, и сливается на улицу.
Переключение режимов «зима/лето» происходит автоматически при наружной температуре +5 оС. Для этого на улице установлен датчик, с помощью которого система мониторит температуру и самостоятельно управляет клапанами.
Компоновка оборудования внутри ЦОДа
Модель МЦОДа, установленного в Якутске, довольно просторная внутри. Тем не менее на этапе BIM-моделирования мы большое внимание уделили компоновке всех устройств внутри него, детально прорисовывали все щиты и проходки, эргономично располагали оборудование, в том числе противопожарное, чтобы соблюсти все нормативные требования. В итоге получилось удобно и аккуратно, но довольно плотно. Прежде всего, потому, что МЦОД за счет утеплителя уменьшился по ширине и высоте на 200 мм.
Кроме того, внутри дата-центра появилось дополнительное оборудование, которое в обычном климате мы размещаем снаружи.
Так, система отвода теплоизбытков состоит из 3 элементов: внутреннего блока кондиционера, низкотемпературного комплекта и внешнего блока. В конфигурации до -40 два последних устанавливают на крыше. Но поскольку мы использовали низкотемпературные конденсаторы Guentner и низкотемпературные компоненты HTS, мы были вынуждены разместить их внутри МЦОД. А это достаточно габаритные устройства.
Высота МЦОД позволила изменить расположение перегородки и расширить горячий коридор. В итоге это оборудование, а также блоки управления установлены в горячем коридоре.
Еще одна сложность возникла при пайке фреоновых трубок, идущих от конденсаторов к кондиционерам. Монтажникам не хватало для этого места. Сначала они попросили развернуть блоки не поперек, а вдоль коридора. Но оборудование не поместилось. В итоге решили оставить поперек, но сдвинули перегородку из горячего коридора. Пространства прибавилось, но монтажникам пришлось проявить ловкость и аккуратность в таких стесненных условиях.
Эти корректировки проводили уже на этапе производства, но мы успели оперативно внести изменения в модель и разместить оборудование так, чтобы оно не мешало.
Сокращение уличных работ
По плану сборка якутского МЦОДа должна была проводиться в марте. Весна в это время в Якутске еще не наступает – стоит настоящая зима с температурой около -30. Поэтому мы хотели максимально сократить количество уличных работ, особенно если это касалось ювелирных задач, той же пайки фреонопроводов.
В стандартной конфигурации сборка трасс фреонопроводов между блоками кондиционеров и пайка проводятся снаружи. Мы спроектировали конфигурацию трасс таким образом, чтобы вся пайка проходила внутри МЦОДа: фреонопроводы кондиционеров энергоблока идут не по крыше энергоблока, как обычно, а транзитом через серверный блок, и на сборке пайка происходит внутри МЦОДа.
Получилось нетиповое решение, благодаря которому не пришлось сооружать тепляки, да и монтажники смогли работать налегке при комнатной температуре, а не в многослойной зимней одежде на морозе.
Система временного электроснабжения и обогрева
Подготовка к зимней сборке этим не ограничилась. Поскольку оборудование в дороге промерзнет, сначала требовалось его прогреть. Мы заранее предусмотрели систему временного электроснабжения, которая позволит включить свет и отопление в ЦОДе, не включая ГРЩ. Для этого мы придумали Царь-розетку.
К ней подключались мобильные распределительные электрощиты, от которых питались осветительные приборы, тепловые пушки и инструменты для сборки. Договорились с подрядчиком в Якутске, что в день разгрузки он подключит электроснабжение.
Для обогрева применяли те же пушки, которые потом использовали для нагрузочного тестирования. Подключались они в ограниченном количестве: одна пушка на 9 кВт – в энергоблоке и две на 9 кВт – в серверном блоке. Во входной группе работала стационарная тепловая завеса, которая является штатным оборудованием МЦОДа.
Этот алгоритм отлично сработал: в день разгрузки нам подключили электричество и уже на следующее утро в МЦОДе было +20. Так что решили использовать эту систему и в наших следующих проектах, чтобы собирать МЦОДы в комфортных условиях.
Дорога в Якутск
Мы постепенно подошли к следующему, не менее волнующему, этапу нашего проекта – транспортировке МЦОДа в Якутск.
Есть распространенное убеждение, что дорог в тех краях нет и что Якутск – это «черная дыра» где-то далеко на севере. Это неправда. Во-первых, Якутск – большой, современный и цивилизованный город, от Новгорода или Ярославля отличающийся разве что экстремальными холодами. Во-вторых, дороги там есть. Из Питера на восток фуры сначала едут почти 8 000 км по федеральной трассе Р-297 «Амур» до села Невер, а оттуда поворачивают на север – на Якутск. Это еще около 1 200 км. И это самый сложный участок пути. Опытные водители характеризуют его как «неопределенный». То есть трудно предсказать, проедешь ты по нему без приключений или наткнешься на наледь и снежные заносы.
Сам Якутск не связан с большой землей круглогодичной автомагистралью. Он стоит на берегу реки Лена, но почему-то не на том, с которым есть железнодорожное и автомобильное сообщение. То есть весь авто- и железнодорожный транспорт приезжает на противоположный берег и ждет переправы через Лену. Потому что моста через нее тоже почему-то нет. С июня по октябрь здесь действует паромная переправа, а с ноября по апрель – зимняя дорога по льду. Причем совершенно официальная – специальные службы даже толщину льда измеряют и контролируют безопасность. А вот 2-3 месяца в году, когда идет ледоход или ледостав, сообщение с городом возможно только по воздуху. Поскольку мы везли наш груз в марте, последние 10 км нашим машинам предстояло ехать по льду.
Все это требовало тщательной подготовки к транспортировке.
По расчетам на дорогу должно было уйти 10 дней, но на всякий случай мы заложили 2 недели.
Погрузка
Как и положено, готовый МЦОД мы протестировали в Петербурге в присутствии заказчика, разобрали и упаковали. Затем приступили к погрузке.
Обычно при установке модулей на тралы мы крепим их такелажными ремнями, и этого вполне достаточно. Но в этот раз МЦОД должен был ехать в Якутск зимой, а часть пути вообще проделать по «неопределенному» участку. Поэтому вместо ремней нужны были цепи, которые точно не растянутся.
Но в конструктиве МЦОДа элементы для крепления цепями не предусмотрены. Так что в каждом модуле пришлось внепланово делать закладные элементы и дополнительные отверстия, чтобы закрепить крюки цепи. Где-то использовали существующие детали для крепления рым-болтов, где-то вырезали и заново красили. В итоге получилось сделать аккуратно, так, что на собранном МЦОД ни одного из этих элементов не видно.
И нам эта история понравилась: цепи в любом случае надежнее, поэтому планируем внести изменения в стандартный конструктив МЦОДов и предусмотреть места для крепления цепями.
Защита изображения
У наших МЦОДов обычно яркое внешнее оформление. И якутская модель не исключение. Чтобы защитить изображения от повреждений при транспортировке, мы упаковываем модули в термоусадочную пленку. А поскольку при движении автомобиля она касается поверхности и может создавать потертости, на самые нарядные места мы скотчем приклеиваем специальную подложку из вспененного полиэтилена. От скотча всегда остаются следы, но при плюсовой температуре они легко удаляются любым моющим средством. При -30 средство должно было быть спиртосодержащим. Благо после ковида проблем с такими жидкостями не было, и два наших монтажника оттерли на морозе следы скотча с помощью антисептика.
Транспортировка
В целом перевозка прошла нормально. Если не считать потери одной машины: из Питера вышло 7 фур, а в Якутск приехало 6. Однако модули доехали все.
В дороге одна из машин сломалась, и перевозчик принял решение самостоятельно переставить модуль с неисправной фуры на работающую, у которой был самый длинный трал. Мы узнали об этом только после прибытия автоколонны в Якутск.
Однако обошлось практически без потерь, если не считать того, что, перегрузив модули, водители проложили между ними металлическую трубу. Из-за нее повредилось изображение на видном месте – на основном фасаде.
После этого события мы ввели новый пункт в договоре с перевозчиком: любые манипуляции с грузом возможны только после согласования с нами, а также предусмотрели штрафы за нарушения.
Вообще, здесь повезло всем: и перевозчику – что в составе автопоезда была машина с удлиненной платформой, на которой было место для еще одного блока; и нам – что при перегрузке модуль не повредился, а возникли только косметические дефекты, которые, правда, мы были вынуждены устранять.
Восстановление изображения
Потертость получилась не очень большая, и ее устранение в плюсовую температуру не вызвало бы никаких проблем – можно справиться за пару часов. При зимней сборке МЦОДов устранение повреждений такого рода мы обычно откладываем до весны – на работоспособность МЦОДа они абсолютно не влияют. Но заказчик запланировал торжественное открытие с руководством республики, которое переносить никак нельзя, поэтому восстановление изображения было не отложить.
Комплект красок был с собой. Решили восстанавливать, но медленно – наносить по одному цвету, а после его высыхания наносить следующий. Нам очень помогло яркое якутское солнце – в разгар светового дня оно так сильно нагревало поверхность, что слой краски высыхал за сутки и на следующий день уже можно было наносить следующий цвет. Мы справились за 3 дня, и результат получился достойный – повреждения совсем не видно.
Дата разгрузки
Разгрузка МЦОДа – всегда довольно сложный момент с точки зрения координации. Он требует присутствия всех участников процесса: на площадке одновременно должны оказаться и автомобили, доставившие МЦОД, и монтажники, и грузоподъемная техника (кран), и стропальщики, и разнорабочие, и представители заказчика. При этом, при длительных перевозках, на момент выезда автоколонны точную дату определить невозможно, она всегда плавающая – мало ли что может произойти в пути. А поскольку самый тяжелый участок дороги был самым последним, то и за несколько дней до конца маршрута сделать это было сложно.
В данном случае плановая дата разгрузки была намечена на 10 марта. 8 и 9 марта мы мониторили информацию от водителей и данные GPS-маячков, которые находились в каждой машине, сколько километров им осталось до конечной цели, а также смотрели прогноз погоды: не будет ли снегопада или гололеда – это могло задержать их в пути. Это был многофакторный и довольно сложный процесс. С одной стороны, мы не могли надолго откладывать разгрузку, поскольку у нас конкретные сроки завершения госконтракта. С другой – нельзя было назначить ее раньше, т.к. машины просто не успеют приехать. В итоге сборку сдвинули всего на 1 день – на 11 марта.
Еще одним фактором, который влиял на перенос даты разгрузки, была погода. Даже если все приехали вовремя, но температура ниже -35, то все сидят и ждут потепления, потому что грузоподъемная техника ниже -33 градусов работать не способна. Эту информацию мы получили от нескольких такелажных компаний в Якутске.
Нам повезло – утром в день разгрузки было всего -30. А днем прогрелось даже до -15 – в Якутске сильные суточные колебания температуры и очень активное солнце.
Одежда для монтажников
Именно под температуру -35 мы подбирали униформу для монтажников. Причем здесь очень пригодился мой туристический опыт. Если монтажников одеть слишком тепло и тяжело, они не смогут двигаться, если легко – замерзнут. Поэтому одежда должна быть многослойной, как в туризме. Чтобы человек, снимая и комбинируя слои, создавал для себя комфортные условия. В итоге в комплекте была балаклава, ушанка, термобелье, флисовый костюм (куртка и штаны), утепленный комбинезон для 4-го климатического района и куртка. На ноги – термоноски и специальные бахилы – сапоги. Сверху монтажники, которые участвовали в разгрузке, надевали жилеты с ФИО, поскольку в одежде все были похожи друг на друга. Внутри МЦОДа работали только во флисовых костюмах – там уже было +20.
Подъемный кран
Для разгрузки нам нужен был кран грузоподъемностью 80 тонн. В Якутске таких всего два. Первая сложность заключалась в том, что в марте строительный сезон в Якутии еще не начинается, вся техника законсервирована в теплых боксах, и перед ее запуском нужно проводить полный техосмотр, проверять все жидкости и менять расходники, одним словом – подготавливать к работе. Вторая проблема крылась в «происхождении» нашей компании. Когда кран арендует компания не из Якутска, а «богатые москвичи или питерцы», тариф традиционно удваивается.
Но с одним из подрядчиков удалось найти общей язык. Он не поверил, что мы уложимся в один день, и мы решили, что мы оплачиваем два, но, если уложимся в один с небольшой переработкой, он вернет нам разницу. Так и получилось – мы управились за один рабочий день плюс 3 часа переработки. В итоге стоимость аренды крана не значительно превысила московскую.
Вообще, если бы цена на аренду крана оказалась запредельной, дешевле было бы привезти его из Читы или Иркутска. Возможно, понимание этого факта и ограничивало владельцев техники в их ценовых ожиданиях.
Поломка МАЗа
Все шло в штатном режиме, фуры накануне разгрузки прибыли в Якутск и стояли после переправы через Лену, чтобы на следующий день везти МЦОД в центр города на сборку. Путь отсюда до точки разгрузки занимает всего 22 минуты. И вот, проехав много тысяч километров, МАЗ, как раз тот, на котором ехало два модуля, сломался – у него отказал стартер. Остались последние 12 км, а он не может завестись…
И тут пришлось понервничать: вся команда в сборе, ждут модули, а от водителя – никаких прогнозов. Прицепить свой трал на другую машину он тоже не может, т.к. для этого нужно завести и отогнать тягач.
На ремонт МАЗа, который доехал все-таки до финиша своим ходом, ушло 4 часа. А мы поменяли порядок разгрузки так, чтобы начать сборку, не дожидаясь «опоздавшего», поэтому время разгрузки увеличилось всего на 2 часа. В итоге справились за 10 часов.
Позитивная сборка
А вот сборка конструктива, монтаж инженерных систем и герметизация проходили уже по совсем позитивному сценарию. Этот МЦОД мы собрали и запустили всего за 3 недели (с учетом сборки, испытаний, обучения сотрудников заказчика и ввода в эксплуатацию), хотя обычно для таких моделей МЦОД мы закладываем месяц. Тут помогло, во-первых, грамотное планирование всех операций, а во-вторых, реальная помощь заказчика и партнера. Они быстро и в полном объеме выполнили все работы по подготовке площадки, отчистке территории, подключению временного электроснабжения и т.п. Так, к сожалению, бывает не всегда, это скорее исключение, чем правило.
Кстати, лояльность демонстрировали не только заказчик и партнер, но и поставщики оборудования. Например, за 4 дня до сдачи МЦОДа оказалось, что не работает вентилятор на одном из наружных блоков. Причины остались неясны: видимых повреждений на нем не было, на производственных испытаниях он работал. Случай был признан гарантийным, но т.к. нужных вентиляторов в Якутске не было, а сроки поджимали, генеральный директор компании HTS (поставщика оборудования для кондиционирования) сам срочно прилетел из Петербурга и привез вентилятор с собой в багаже, он как раз подходил по весу и габаритам – 20 кг и 80х80х40 см.
Заключение, а на самом деле – только начало
Итак, наш крайне северный МЦОД был собран, запущен в эксплуатацию и работает в самом холодном регионе России вот уже полгода. Недавно мы съездили его проведать и убедиться, что МЦОД готов к суровой Якутской зиме.
Дальше нас ждет более сложный период, когда все системы должны будут показать на деле, как они выдерживают климатические нагрузки, заявленные в технической документации. А мы будем держать руку на пульсе и обязательно рассказывать вам, как идут дела. До новых встреч!