company_banner

Как построить модульный ЦОД за три месяца и не наступить на грабли

    Этот модульный ЦОД мы построили меньше, чем за три месяца. В первых числах ноября начали монтаж на площадке, а в конце декабря уже сдали его в эксплуатацию. 

    В общих чертах запрос от заказчика именно таким и был: очень быстро нарастить вычислительные мощности под свой ИТ-проект там, где дополнительного места совсем нет. Решено было построить модульный ЦОД. И сделать это недорого. Спустя год готов рассказать, как это было. Как мы делали полную предварительную сборку и разборку ЦОДа на площадке в Сибири. Как поливали его водой из мойки «Керхер» и разогревали, как духовку.

    Заодно поделюсь нашим опытом обхода граблей при строительстве модульных дата-центров. А также расскажу о некоторых граблях, на которые мы все-таки наступили, но в каске.

    Суровая правда жизни: начало подготовительных работ
    Суровая правда жизни: начало подготовительных работ

    Для тех, кто не особо следит за строительными технологиями ЦОД, краткая справка о модульных решениях: 

    а) для них не требуется разрешение на капитальное строительство;

    б) их можно быстро поставить где угодно, хоть посреди леса, лишь бы было электричество и каналы связи;

    в) они как конструктор лего — можно разобрать и перевезти на новое место дислокации. И относительно легко, при необходимости, нарастить.

    Что касается именно этого проекта, то основные критичные характеристики для заказчика  —  обоснование «некапитальности» сооружения и демонстрация возможности неоднократной сборки и разборки. Плюс возможность наращивания ИТ-мощностей в дальнейшем. 

    Кроме того, в проекте требовалось выполнить монтаж внешних инженерных сетей (КЛ-0,4кВ, сети связи, водоснабжение, водоотведение) и модернизировать существующую электрощитовую. Она находилась в административном здании, от которой выполнялось подключение МЦОД.

    Когда начали работу, выяснилось, что на площадке под асфальтом «захоронен» цокольный этаж старого здания, о котором никто, включая заказчика, не знал. В итоге спроектировали бетонную площадку, взяв категорию грунта «Строительный мусор». Разработали котлован, выполнили отсыпку щебнем и песчаной подушкой. Дополнительно залили 300 мм армированного бетона. Таким образом исключили риски перепада плотности грунта под модульным зданием. 

    Бетонное основание под МЦОД
    Бетонное основание под МЦОД

    Внешние сети — как это было

    Первые «грабли» состояли в том, что у заказчика не оказалось актуальной версии геоподосновы. Нашелся только архивный файл. Более того, отсканирован он был не в масштабе, и нам было сложно понять привязку коммуникаций и самого модульного ЦОДа. В итоге в наши расчеты все же закралась ошибка в 2,5-3 метра. Из-за нее пришлось сначала убрать одно крытое парковочное место на территории, а потом его восстанавливать. 

    Работы по устройству внешних коммуникаций шли параллельно с подготовкой бетонного основания. Одновременно заказчик совместно с МОЭСК модернизировал трансформаторную подстанцию РУ-0,4кВ. Это все, конечно, добавило нам головной боли.

    Прокладка коммуникаций
    Прокладка коммуникаций

    Электрощитовую в административном здании мы реконструировали ночью. Требовалось поэтапное отключение линий электропитания всего административного здания, а в нем —  потребители I особой категории. Например, в этом же здании находились серверы одной довольно крупной авиакомпании. Естественно, подключали резервный источник питания —  мобильный ДГУ — на случай форс-мажорной ситуации. Успели, кстати, за одну ночь все сделать. 

    Когда закончили работы с коммуникациями, встал вопрос о восстановлении асфальта на парковке. Начали этот вопрос прорабатывать и поняли, что «старый» асфальт положен на все тот же строительный мусор, а мы-то свои траншеи засыпали по правилам! Что произойдет, если положим асфальт? Правильно, в лучшем случае он начнет трескаться на границах разных зон. Посоветовались со специалистами и сделали решение по легкому бетону. Забетонировали тонким слоем площадку, и уже на бетон положили новый асфальт. 

    Примерно вот так шли работы
    Примерно вот так шли работы

    Ну что сказать, год прошел - асфальт в хорошем состоянии.

    Испытание водой и жарой

    Одним из ключевых требований заказчика было провести предварительные испытания МЦОД на производстве и показать, что модульное здание соответствует основным требованиям. Пока мы занимались подведением коммуникаций, модульная конструкция уже была в производстве в Новосибирске. Дальше нам нужно было продемонстрировать заказчику возможность сборки и разборки ЦОДа. И вот тут началось самое интересное. 

    Обычно бывает предсборка модульных ЦОД на производстве, но это не наш случай. Заказчик требовал, чтобы модульное здание было собрано полностью — с фальшполом, с освещением, с общей электрикой и даже с пандусом. План был такой: полностью собрать модульное здание, провести предварительные испытания, разобрать здание, привезти в Москву и затем собрать еще раз.

    Для того, чтобы все это провернуть, разместили модуль в огромном крытом цехе на площадке производителя. 

    Оба снимка сделаны на площадке производителя 3 октября
    Оба снимка сделаны на площадке производителя 3 октября

    Приехала целая делегация — и наши инженеры, и представители заказчика. Многочасовые испытания шли два дня. Проводили проверку геометрических параметров модульного здания и помещений, отсутствия возможных «мостиков холода», отклонений высот фальшпола. Контролировали степень освещенности машинного зала на соответствие ТЗ. Еще была проверка на герметичность — поливали ЦОД водой из мойки «Керхер» под давлением. 

    Но самое необычное испытание — на теплопотери. Для этого мы арендовали тепловые пушки, и с утра в ЦОДе их запустили. Нагрев шел около двух с половиной часов. Температура внутри здания была на 50 градусов выше, чем снаружи. Жара стояла такая, что зайти в ЦОД было тяжело. Представители заказчика с тепловизором проходили вдоль стен и смотрели, нет ли тех самых «мостиков холода» — мест, где теряется тепло. Это было… эпично. Но зато мы точно были уверены, что нагрев и охлаждение ЦОД будет полностью предсказуем в «боевых» условиях. 

    История с фальшполом

    После того, как испытания успешно прошли, примерно за неделю модульное здание было разобрано. Подрядчик погрузил его в фуры, и часть из них сразу выехала в Москву. Выезжали фуры по очереди, чтобы мы могли сразу с колес выгружать и начинать монтаж. Так мы избежали аренды склада. Можно сказать, это грабли, на которые мы не наступили

    Модульная конструкция готовится к отправке из Новосибирска в Москву. 29 октября
    Модульная конструкция готовится к отправке из Новосибирска в Москву. 29 октября

    Интересная история была с фальшполом. Если кто не в курсе, фальшпол — важная подсистема в ЦОД. Он держит все технологическое оборудование, и от его качества сборки и жесткости во многом зависит надежность ЦОДа. 

    14 ноября - сборка основных конструкций уже завершена. Занимаемся фальшполом.
    14 ноября - сборка основных конструкций уже завершена. Занимаемся фальшполом.

    В проекте у нас были предусмотрены ИБП весом под тонну, да еще и кондиционеры по 900 кг каждый. Подрядчик посчитал нагрузки и попытался убедить нас в том, что, мол, «не извольте сумлеваться, выдержит!» 

    Но слова «должен выдержать» нас не убедили. 

    Что мы сделали? Разработали рамы, усиливающие фальшпол под кондиционерами и ИБП. Для бесперебойников это была одна длинная мощная конструкция. Под фальшпол ее опускало человек пять или шесть.

    Рамы для ИБП
    Рамы для ИБП

    А под кондиционеры мы сделали раму с ножками. Ножки эти вставали в паз — в существующие металлические фермы основания модульного ЦОДа. 

    И тут снова «грабли» — из-за спешки ребята-сварщики приварили ноги от другой рамы. Ноги получились короткими, и рама оказалась не на уровне фальшпола. А на следующий день уже все расписано — кондиционеры приезжают, заключен договор на такелажные работы… Звоним нашему инженеру (не просто инженеру, а с большой буквы «И» который). Пара звонков «мужикам» — и за ночь вопрос удалось решить. 

    Переварили ножки, и раму мы установили. И так как все считали наши ребята, мы спокойны —  двукратный запас по прочности там точно есть. 

    Заказчику все тоже понравилось, кстати.  

    26 ноября - работа идет полным ходом.
    26 ноября - работа идет полным ходом.

    ДГУ заказывали?

    Самое большое зло в этом проекте — сжатые сроки.  ЦОД и так сложное сооружение, а тут нужно было уложиться в считанные недели. На сборке  работало две смены.  Одни люди выходили, другие заходили на объект. И так семь дней в неделю. 

    Конечно, не обходилось без накладок. Например, лежит материал в доступе у монтажников. Они его берут, но об экономии думать уже некогда. В итоге нашим инженерам-проектировщикам приходилось с ходу определять потребности и докупать расходники. Каждый день и час был на счету. 

    При сборке кондиционеров был вопрос в качестве пайки медных труб. Когда мы уже подключили кондиционеры и начали испытания, обнаружилось несколько утечек в фреонопроводе. Отдельная история была — найти места этих утечек. Они ведь часто микроскопические. 

    Или, вот, например, дизель-генераторная установка (ДГУ). Заказчик говорит: у нас установка есть, привезем. Привозят и тут же выясняется, что ДГУ не соответствует их же собственным требованиям! Наигрались мы с ней в итоге: дорабатывали и в части хранения топлива, в части конструкции модуля. Ставили шумопоглощающие маркизы, которые направляют звук в землю, катализатор и глушитель.  

    Каждый день было перепланирование работ — если что-то успевали быстрее сделать, план сразу переигрывали. Честно говоря, заказчик, да и мы сами, не до конца верили, что успеем за 3 месяца. Но все получилось, успели. Чистая стройка заняла вообще около месяца. Перед самым Новым годом ЦОД запустили.  

    И напоследок вот, как это было, три месяца работы в одном видео: 

    Ссылки

    КРОК
    IT-компания

    Комментарии 9

      +1
      Как построить модульный ЦОД за три месяца


      Как? «Официально» работая по 10 часов в день, хе-хе
        0
        А какие системы там обеспечивают температурный режим? Судя по фоткам, там не очень большое помещение для размещения классических систем для «взрослых» ЦОД.
          0
          Вполне себе взрослые прецизионные шкафные кондиционеры
          0
          Эпично, как всегда. Неужто же не нашлось производителя модульных конструкций ближе, кроме как за три тысячи вёрст тащить?
            0
            скажем так: предложение из Новосибирска было более технически и экономически интересным
            +1
            Интересуюсь не с целью покритиковать, а правда интересно: Вы пишете, что не требуется разрешение на строительство. А где та грань, между требуется и не требуется? Вы обустраивали бетонную площадку, по сути фундамент, с земляными работами, что вполне себе является строительными работами, а на площадке наверняка есть подземные коммуникации, так что проект, ордер на земляные работы и т.п. И в чем отличие вашего модульного здания от такого же, но, собранного, например из готовых СИП панелей, нарезанных на производстве и сидящих на каркасе, который также нарезали на производстве и насверлили отверстий под крепления? У вас какие-то документы есть на эту серию, подтверждающие что это в итоге не строительные, а сборочные работы? Вопрос с оформлением права собственности как на недвижимое имущество, видимо не стоит.
              0
              Разрешение на строительство требуется для строительства и введения в эксплуатацию объекта капитального строительства (ОКС, см. ГрК РФ). Насколько я знаю, по мнению экспертов, если конструкция съемная — она не считается ОКС.
                +1
                Фундамент/основание под МЦОД может быть и капитальным.
                Но у данного модульного ЦОД отсутствует прочная связь с фундаментом – существует возможность его перемещения без нанесения несоразмерного ущерба его назначению. Что и было наглядно продемонстрировано.
                По этой причине в соответствии с законодательством МЦОД относится к некапитальным строениям и называется движимым имуществом.
                  0
                  Вы бы видео посмотрели, тогда бы и не возникло идеи сравнивать данное страетие с СИПом.

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое