Введение
Наша компания RDP, вендор телекоммуникационных продуктов операторского класса, в прошлом году наконец перебралась в новый просторный офис. Одной из главных задач было размещение масштабной ИТ-инфраструктуры и испытательной лаборатории так, чтобы можно было эксплуатировать их максимально эффективно, удобно и безопасно.
Встал вопрос – либо арендовать серверные стойки в непосредственной близости от офиса, либо построить собственную серверную с учетом последних достижений инженерной мысли. Руководство решило, что нам нужна своя серверная. Но как построить ее самостоятельно, если мы специализируемся совсем в другой области? В итоге мы запустили проект, который продлился около 7 с небольшим месяцев и привел нас к достойному, как мы считаем, результату.
Предлагаем вам оценить наши усилия.
«Инженерные хроники»
В начале августа прошлого года решено было построить серверную комнату со следующими базовыми параметрами: 6 стоек по 5 кВт: 3 под нужды ИТ-инфраструктуры + 3 для лаборатории. В серверной должны быть все необходимые инженерные системы для круглогодичной бесперебойной работы на половину заданной мощности в случае кратковременных перерывов электроснабжения.
Появилась проектная команда: РП (руководитель проекта) со стороны RDP, приглашенный на позицию ГАПа (главного архитектора проекта) на время проекта отраслевой специалист, подрядчик, специализирующийся на инженерных инфраструктурных проектах из контура ГК РТК.
Спустя месяц определили технические требования к серверной: при общей ИТ-нагрузке в 30 кВт обеспечить резервирование по холоду 1 + 1; резерв по питанию: ИБП – на часть нагрузки (под ИТ-инфраструктуру) на полчаса при полном отключении питания; обеспечить разгрузку веса оборудования на площадь помещения серверной в соответствии с разрешенной нагрузкой на перекрытия здания.
В октябре согласовали дизайн-проект серверной, сформулировав укрупненное техническое решение и обосновав выбор производителя основного оборудования.
После переговоров с будущим подрядчиком, поставщиком и производителем оборудования и согласования технических и ценовых параметров сделки началась работа по проектированию и уточнению технических решений. Велись переговоры с арендодателем и управляющей компанией бизнес-центра, изучение исполнительной документации по архитектурной части, предварительное согласование ВСЕХ критичных работ, подсистем, решений, затрагивающих вопросы безопасности здания в целом, а также помещений и пространств общего пользования.
Был согласован подвод дополнительной мощности, получение разрешения на подключение к 2 дополнительным автоматам номиналом 25 и 50 А. По результатам эскизного проектирования прошло согласование дизайн-проекта с владельцами помещения и управляющей компанией.
В декабре завершилось рабочее проектирование и проект перешел в новую стадию – строительство, которое велось на протяжении последующих двух месяцев. В середине февраля мы получили основное технологическое оборудование (система кондиционирования, серверные стойки), за исключением системы электроснабжения.
В начале марта приехали источники бесперебойного питания и аккумуляторные батареи.
Наконец, после проведения внутреннего тестирования отдельных подсистем, комплексного тестирования на комиссию и длительного нагрузочного тестирования (72 часа на эмулированной тепловыми пушками нагрузке ~24 кВт) мы ввели серверную в эксплуатацию.
Любопытные факты
Серверная организована в бывшем помещении водительской, ранее не оснащенной никакими инженерными системами, которые можно было бы задействовать в будущем.
Были демонтированы: фальшпол, освещение, бытовые электрические и сетевые розетки, внутренние блоки системы централизованного (летнего) кондиционирования; заглушены спринклеры системы пожаротушения здания, демонтирована небольшая перегородка, перпендикулярная оконному проему, утепленной перегородкой заделано окно, вырезан дополнительный дверной проем.
Организована разгрузочная рама, которая позволила разместить удельную расчетную нагрузку стоек (более чем 1100 кг/м2) на перекрытие со значительно меньшей проектной несущей способностью.
После проведения первичного косметического ремонта и строительных работ технологическое оборудование, установленное в ряд (6 стоек, 2 шкафа межрядных кондиционеров, 1 шкаф ИБП) образовало естественное разделение серверной на горячий и холодный коридор. Дополнительную изоляцию коридоров организовали посредством продольной перегородки, смонтированной от потолка до центральной линии верней части ряда шкафов. Вход в каждый коридор оснащен отдельной дверью.
Система пожаротушения – газовая, действующий газ – хладон.
Дополнительный шкаф с аккумуляторными батареями размещен в холодном коридоре, расположенном дальше от входной двери углу помещения. По этой же стене напротив ряда шкафов размещены электрические распределительные щиты.
Блок автоматики газового пожаротушения и баллон хладона помещены в горячем коридоре, также в дальнем углу.
При входе в серверную организован небольшой уклон фальшпола для комфортного заноса тяжелого ИТ-оборудования.
Внешние блоки кондиционирования выведены на необслуживаемую кровлю двумя этажами выше серверной.
Все кабельные линии от новой выделенной мощности также проложены в рамках проекта в существующих закладных в полном соответствии с планами и на основании проведенного предпроектного обследования.
Кондиционеры подключены к действующим системам водоснабжения (организован осмос) и дренажа, находящимся в помещениях через коридор напротив серверной.
ВСЕ (!!!) коммуникации проложены под фальшполом офиса так, что никаких последствий строительного вмешательства в других помещениях не осталось.
Вишенка на торте: участники проектной группы, будучи приверженцами технической эстетики, подобрали цветовые решения, которые не только помогли сделать серверную безопасной, технически удобной и эффективной с точки зрения производительности, но и комфортной в эмоциональном плане.
Концепт был такой:
черный цвет потолка, скрывающий все потолочные инженерные коммуникации;
поликарбонатные, в черном обрамлении, перегородки над серверными стойками;
шкафы: серверные, кондиционирования, ИБП и аккумуляторных батарей, – также выполнены в черном, что смотрится очень стильно с размещенными на них электронными мониторами с сенсорным управлением;
подвесное освещение на светодиодных панелях, мягкое, но достаточно интенсивное;
светло-серый цвет стен, с одной стороны компенсирующий светопоглощение верхней (черной) частью помещения серверной и шкафами с оборудованием, с другой – гармонирующий с другими элементами дизайна в сером исполнении, такими как электрические щитки, фальшпол и двери.
И, кстати, отдельным нашим достижением считаем экстерьер блоков кондиционирования, не видимый персоналу (за исключением случаев регламентного обслуживания): похожий удивительный марсоход, прибывший на место постоянного пребывания.
Вместо эпилога
Ближе к концу проекта мы, затаив дыхание, ждали и надеялись, что все технологическое оборудование доедет до нас без потерь, несмотря на известные события. Финальную поставку мы получили лишь 1 марта. Как оказалось, это была чуть ли не последняя партия оборудования, которая в этом году нашла своего счастливого заказчика – тут, мы считаем, нам реально повезло.
Омрачить итог могло то, что дважды проект ставили на паузу из-за «сложной эпидемиологической обстановки» у нашего подрядчика, он пережил 3 праздничных цикла (новогодние праздники, 23 февраля и 8 Марта), но несмотря ни на что усилиями всех участников был завершен точно в срок.
Опыт создания собственной серверной помог нам поверить в то, что нет ничего невозможного, если грамотно подходить к вопросу планирования и просчитывать возможные негативные факторы, которые могут привести к срыву сроков. Работая над проектом, мы в первую очередь думали о наших заказчиках и о том, что не можем подвести их, ибо выход новых продуктов и усовершенствование уже имеющихся напрямую зависят от качественной ИТ-инфраструктуры. Конечно же, мы продолжим плотно работать над апгрейдом нашей серверной и будем рады поделиться с читателями Хабра своим опытом.
А сейчас мы готовы ответить на все вопросы читателей Хабра:) Задавайте их в комментариях.
