Ошибки в проекте дата-центра — это бомба замедленного действия. Дата-центр построят, сдадут в эксплуатацию и он даже будет работать, но придет час, и начнут вылезать проблемы. В лучшем случае просчеты в проекте доставят неудобства инженерам службы эксплуатации, в худшем — поставят под вопрос работу дата-центра. Только вот будет поздно пить Боржоми: строители с подписанным актом приемки уже сделали ручкой, да и сам проект не подразумевает маневров.
Мы отобрали самые горькие ошибки в проектах дата-центров, с которыми мы столкнулись за восемь лет проектирования, строительства и эксплуатации дата-центров. Открываем хит-парад.
Ошибка №1. Заниженный проектный запас по энергопотреблению оборудования инженерной инфраструктуры. Реальное потребление будет отличаться от паспортного. Всегда. Да простят нас дорогие вендоры, но чаще всего в документации они занижают потребляемую мощность, чтобы оборудование выглядело экономичнее.
Рассчитать реальное энергопотребление можно на базе собранной статистики по уже работающим машинным залам. Если же статистики нет, то накиньте 10% к паспортным данным.
Ошибка №2. Недостаточное количество резервных автоматов от ГРЩ до ЩР. Дата-центр живой организм, который растет и меняется. Новое оборудование нужно будет куда-то подключать. Если в распределительных щитах нет места под резервные автоматы, то придется устанавливать дополнительные щиты, что сложно при работающем дата-центре, или модернизировать существующие, что дорого. Оба варианта потребуют отключения машинного зала от питания по крайней мере по одному лучу.
На этапе проектирования закладывайте по возможности резерв по автоматам до 30%. Не обязательно сразу устанавливать дополнительные автоматы, просто оставьте под них место.
Ошибка №3. Не предусмотрена возможность балансировки по фазам. Распределяйте нагрузку равномерно по трем фазам каждого луча. Контролируйте токи по всем фазам на каждом элементе электрической сети (ГРЩ, распределительные щиты, ИБП) и при необходимости переносите нагрузку с одной фазы на другую.
Ошибка №4. Все вентиляторы внешних блоков кондиционеров прямого расширения подключены к одной фазе. Часто однофазные вентиляторы по инерции подключают к первой фазе. Чтобы не столкнуться с перегрузом первой фазы, чередуйте: первый внешний блок — к фазе 1, второй — к фазе 2, третий — к фазе 3, четвертый — снова к фазе 1 и т. д.
Ошибка №1. Тип системы холодоснабжения не учитывает архитектуру машинных залов. Проектировать холодоснабжение надо, исходя из архитектуры помещения. Например:
Ошибка №2. Неправильная циркуляция воздуха. Из-за этой ошибки холода в машинном зале может быть в избытке, а оборудование все равно будет перегреваться. Если холодный воздух попадает к оборудованию через фальшпол, то его высота должна быть достаточной: для зала на 100 стоек не менее 600 мм. Позаботьтесь о том, чтобы на пути холодного воздуха под фальшполом не было препятствий в виде труб и неправильно расположенных силовых лотков.
В машинном зале без фальшпола можно использовать межстоечные кондиционеры вместе с изоляцией горячего или холодного коридоров.
Аналогично решаем вопрос и в остальных помещениях, где требуется охлаждение (помещение ГРЩ, ИБП).
Ошибка № 3. Некорректно рассчитан реальный температурный режим. За основу берут рекомендованные строительные нормы для региона (СНиП), где планируется построить дата-центр. Это правильно, но обязательно делаем поправку на расположение реального объекта. Если крыша здания сильно греется на солнце или есть проблемы со свободным протоком воздуха, то фактическая температура будет на несколько градусов выше. Во время эксплуатации это аукнется перегревом внешних блоков или чиллеров в жаркие летние дни.
Ошибка №4. Не продумано поддержание уровня влажности. В машинных залах рекомендуется поддерживать влажность в диапазоне 30-70%. Тип системы холодоснабжения влияет на уровень влажности: кондиционеры прямого расширения “сушат” воздух, поэтому на этапе проекта закладывайте необходимое количество пароувлажнителей. При использовании чиллерной системы на “теплой воде”, наоборот, устанавливаем осушители воздуха.
Ошибка №5. Нет удобного доступа к чиллерам и внешним блокам. Под удобством подразумевается круглосуточный и быстрый доступ. Если для прохода на крышу с чиллерами нужно получать специальное разрешение, искать ответственного с ключами, то это проблема: любая авария потребует быстрых действий.
Это не должна быть хлипкая лестница, по которой сможет подняться только скалолаз. Чиллеры и внешние блоки нужно обслуживать и ремонтировать, а значит по этой лестнице придется подниматься с инструментами. Отдельно продумайте способ доставки на крышу крупных запасных частей — вентиляторов, компрессоров.
На крыше сразу предусмотрите розетки, запитанные через устройство защитного отключения (УЗО), и подвод воды для мытья чиллеров и внешних блоков весной и в сезон тополиного пуха.
Ошибка №6. Не учтена реальная производительность фреоновых кондиционеров. Производительность кондиционеров зависит от многих факторов, например от длины фреоновых трасс. Реальная производительность рассчитывается в специальной программе, предоставляемой вендором. Это число и нужно брать при проектировании. Паспортное значение годится лишь для первой прикидки.
Тут остановимся и прослушаем отдельный плач инженера службы эксплуатации. Задачи мониторинга зачастую никак не учитываются на этапе проектирования: про них просто забывают или сознательно отказываются ради экономии. После пары провороненных аварий жизнь все равно заставит озаботиться мониторингом. В уже работающем дата-центре выстраивать систему мониторинга сложнее и дольше. А главное — все это время дата-центр будет работать без контроля. Самые страшные аварии те, о которых вы даже и не догадываетесь. Вот наш топ-3:
Ошибка №1. Отказ от модулей мониторинга оборудования. Это самое первое, на чем начинают экономить, когда видят кругленькую стоимость ИБП или кондиционера. Когда все-таки решите докупить их, придется снова выбивать деньги, ждать поставки недостающих модулей. Все это время жизнь оборудования будет оставаться для вас тайной.
Отдельно отметим анализаторы тока в распределительных щитах, которые собирают информацию о состоянии систем энергоснабжения на всех участках трассы. На этапе проектирования заранее предусмотрите под них место в распределительных щитах.
Ошибка №2. Отсутствие документации по системе мониторинга. Эта документация фиксирует:
Эти документы составляются совместно со службой эксплуатации на этапе проектирования и передаются ей при сдаче дата-центра. Без них инженерам придется самостоятельно собирать информацию о принципах работы системы мониторинга.
Ошибка №3. Отсутствие или неудачное расположение температурных датчиков и датчиков протечек. Для корректного мониторинга температуры в машинном зале рекомендуем повесить хотя бы три датчика в каждом холодном коридоре (в середине, начале и конце), один — в горячем. Если в дата-центре используется чиллерная схема холодоснабжения, то предусмотрите датчики протечек под каждым элементом, который может дать течь, а не только под кондиционером.
Ошибка №1. В системе пожаротушения не учтены склады и другие дополнительные помещения. Из-за пожара на складе можно лишиться годового запаса ЗИП и расходников. Еще опаснее перспектива перехода огня из вспомогательных помещений в машинный зал или комнаты с инженерными системами. Проектируя систему пожаротушения, не забудьте о складах и вспомогательных помещениях.
Ошибка №2. Сирены/громкоговорители не слышны в машинных залах. Служба эксплуатации при приемке дата-центра проверяет систему оповещения в пустых залах, и сигнал на эвакуацию раздается практически в полной тишине. Когда машинный зал заполнится, заработают все стойки и кондиционеры, то громкости сирен может не хватить. В проекте закладывайте такую мощность громкоговорителя, чтобы в случае пожара он смог “перекричать” заполненный зал.
Ошибка №3. Срабатывание датчиков по температуре в контейнере ДГУ. Если используете ДГУ контейнерного типа, убедитесь что температурный пожарный датчик не перегревается от ДГУ. Из-за перегрева они будут ложно срабатывать.
Похожая проблема возникает при попадании внутрь контейнера выхлопа от соседних ДГУ: датчик ложно срабатывает на выхлоп. На этапе проекта определите оптимальное расстояние между ДГУ в группе и высоту выхлопной трубы каждого дизель-генератора.
Ошибка №1. Недостаточная емкость магистральных кабельных лотков и вводов в залы. Заложите в проекте резерв по кабельным вводам в машинный зал и проходы между этажами. Сверлить новые отверстия стенах или межэтажных перекрытиях в уже работающем машинном зале будет сложно.
Ошибка №1. Слишком маленькие двери и коридоры. Да, смешно. Но только до тех пор, пока не придется разбирать стену, чтобы вынести сломавшийся кондиционер или ИБП.
Совет от кэпа: дверь по высоте должна быть такой, чтобы в нее проходило самое высокое оборудование, а по ширине — самое широкое. Для машинного зала это стойки и кондиционеры.
Ошибка №2. Пороги, перепады высоты пола в ЦОД. Желательно избегать в проекте дата-центра больших перепадов высот пола. Тяжелое оборудование (ИБП, СХД) сложно тащить через порожки. Некоторое оборудование и вовсе не переносит наклонов: вендор откажет в гарантийном обслуживании, если встроенный в оборудовании уровень зафиксирует наклоны при транспортировке.
Ошибка №3. Затрудненный подъезд и разгрузка для крупногабаритных машин. Организуйте удобный и круглосуточный подъезд для разгрузки/погрузки крупногабаритного оборудования. В Москве, например, днем ограничен въезд грузовиков в город. Место разгрузки оборудуйте подъемным столом для разгрузки оборудования с машин любой высоты. Без него каждый раз придется заказывать погрузчик или кран.
Ошибка №4. Отсутствие грузовых лифтов и подъемников. Для многоэтажного дата-центра предусмотрите лифты и подъемники. Их габариты рассчитываем исходя из самого большого оборудования, которое нам придется доставлять на верхние этажи.
Ошибка №5. Недостаток вспомогательных помещений. Если в дата-центре не предусмотрены склады, то очень скоро весь ЗИП, коробки с оборудованием переберутся в коридоры, машинные залы и сами стойки. Желательно, чтобы склада было два:
Убедитесь, что внутри дата-центра есть площадка для распаковки оборудования, помещения, где оборудование, привезенное с мороза, может выстояться до комнатной температуры.
Ошибка №6. Не предусмотрены места для работы с оборудованием. Инженеры вам скажут “спасибо” за отдельную зону для работы с оборудованием. В машинных залах жарко/холодно и шумно. Оборудуйте эту рабочую зону столом, электрическими и сетевыми розетками, чтобы можно было собрать сервер (добавить жесткий диск, прикрутить салазки и пр.) в более комфортных условиях.
Да, она тоже разрабатывается на этапе проектирования. Если по-другому, то скорее всего получится следующее: один подрядчик проектирует электроснабжение, другой — холодоснабжение. Каждый пользуется только ему известной маркировкой. У строителей будут свои обозначения. Когда дата-центр будет сдан, разобраться с этим наследством и понять, где и что находится, будет сложно.
Чтобы такого не произошло, на этапе проектирования создается единая маркировка, которая согласовывается со службой эксплуатации. Принцип маркировки должен быть прозрачен: например, буква — тип элемента, первая цифра – номер дата-центра, вторая – номер зала, третья — номер элемента. Тогда любому инженеру службы эксплуатации будет понятно, что под «К1.3.4» скрывается 4 кондиционер в третьем зале в дата-центре 1.
Маркировка каждого элемента должна быть уникальной.
На этом все. Всех поворотов судьбы в проекте не предусмотреть, но надеемся, что этот список ошибок окажется полезен тем, кто собирается проектировать серверную или дата-центр.
Поделитесь в комментариях, с какими проектными ошибками дата-центров или серверных сталкивались вы.
Мы отобрали самые горькие ошибки в проектах дата-центров, с которыми мы столкнулись за восемь лет проектирования, строительства и эксплуатации дата-центров. Открываем хит-парад.
ЭЛЕКТРОСНАБЖЕНИЕ
Ошибка №1. Заниженный проектный запас по энергопотреблению оборудования инженерной инфраструктуры. Реальное потребление будет отличаться от паспортного. Всегда. Да простят нас дорогие вендоры, но чаще всего в документации они занижают потребляемую мощность, чтобы оборудование выглядело экономичнее.
Рассчитать реальное энергопотребление можно на базе собранной статистики по уже работающим машинным залам. Если же статистики нет, то накиньте 10% к паспортным данным.
Ошибка №2. Недостаточное количество резервных автоматов от ГРЩ до ЩР. Дата-центр живой организм, который растет и меняется. Новое оборудование нужно будет куда-то подключать. Если в распределительных щитах нет места под резервные автоматы, то придется устанавливать дополнительные щиты, что сложно при работающем дата-центре, или модернизировать существующие, что дорого. Оба варианта потребуют отключения машинного зала от питания по крайней мере по одному лучу.
На этапе проектирования закладывайте по возможности резерв по автоматам до 30%. Не обязательно сразу устанавливать дополнительные автоматы, просто оставьте под них место.
Ошибка №3. Не предусмотрена возможность балансировки по фазам. Распределяйте нагрузку равномерно по трем фазам каждого луча. Контролируйте токи по всем фазам на каждом элементе электрической сети (ГРЩ, распределительные щиты, ИБП) и при необходимости переносите нагрузку с одной фазы на другую.
Ошибка №4. Все вентиляторы внешних блоков кондиционеров прямого расширения подключены к одной фазе. Часто однофазные вентиляторы по инерции подключают к первой фазе. Чтобы не столкнуться с перегрузом первой фазы, чередуйте: первый внешний блок — к фазе 1, второй — к фазе 2, третий — к фазе 3, четвертый — снова к фазе 1 и т. д.
ХОЛОДОСНАБЖЕНИЕ
Ошибка №1. Тип системы холодоснабжения не учитывает архитектуру машинных залов. Проектировать холодоснабжение надо, исходя из архитектуры помещения. Например:
- в машинных залах с невысоким потолком (менее 3,5 м) и широкими коридорами (между двумя кондиционерами помещается более 20 стоек) лучше использовать межстоечные (внутрирядные), а не шкафные кондиционеры;
- для многоэтажного здания скорее всего не подойдет система прямого расширения (фреоновая). Максимальная длина фреоновых трасс (расстояние между внутренними и внешними блоками) не более 50 метров по горизонтали, а если есть подъем, то еще меньше;
- для чиллерной системы потребуется много места под трубопроводы, отдельные помещения под насосные станции, баки аккумуляторы.
Ошибка №2. Неправильная циркуляция воздуха. Из-за этой ошибки холода в машинном зале может быть в избытке, а оборудование все равно будет перегреваться. Если холодный воздух попадает к оборудованию через фальшпол, то его высота должна быть достаточной: для зала на 100 стоек не менее 600 мм. Позаботьтесь о том, чтобы на пути холодного воздуха под фальшполом не было препятствий в виде труб и неправильно расположенных силовых лотков.
В машинном зале без фальшпола можно использовать межстоечные кондиционеры вместе с изоляцией горячего или холодного коридоров.
Аналогично решаем вопрос и в остальных помещениях, где требуется охлаждение (помещение ГРЩ, ИБП).
Ошибка № 3. Некорректно рассчитан реальный температурный режим. За основу берут рекомендованные строительные нормы для региона (СНиП), где планируется построить дата-центр. Это правильно, но обязательно делаем поправку на расположение реального объекта. Если крыша здания сильно греется на солнце или есть проблемы со свободным протоком воздуха, то фактическая температура будет на несколько градусов выше. Во время эксплуатации это аукнется перегревом внешних блоков или чиллеров в жаркие летние дни.
Ошибка №4. Не продумано поддержание уровня влажности. В машинных залах рекомендуется поддерживать влажность в диапазоне 30-70%. Тип системы холодоснабжения влияет на уровень влажности: кондиционеры прямого расширения “сушат” воздух, поэтому на этапе проекта закладывайте необходимое количество пароувлажнителей. При использовании чиллерной системы на “теплой воде”, наоборот, устанавливаем осушители воздуха.
Ошибка №5. Нет удобного доступа к чиллерам и внешним блокам. Под удобством подразумевается круглосуточный и быстрый доступ. Если для прохода на крышу с чиллерами нужно получать специальное разрешение, искать ответственного с ключами, то это проблема: любая авария потребует быстрых действий.
Это не должна быть хлипкая лестница, по которой сможет подняться только скалолаз. Чиллеры и внешние блоки нужно обслуживать и ремонтировать, а значит по этой лестнице придется подниматься с инструментами. Отдельно продумайте способ доставки на крышу крупных запасных частей — вентиляторов, компрессоров.
На крыше сразу предусмотрите розетки, запитанные через устройство защитного отключения (УЗО), и подвод воды для мытья чиллеров и внешних блоков весной и в сезон тополиного пуха.
Ошибка №6. Не учтена реальная производительность фреоновых кондиционеров. Производительность кондиционеров зависит от многих факторов, например от длины фреоновых трасс. Реальная производительность рассчитывается в специальной программе, предоставляемой вендором. Это число и нужно брать при проектировании. Паспортное значение годится лишь для первой прикидки.
МОНИТОРИНГ
Тут остановимся и прослушаем отдельный плач инженера службы эксплуатации. Задачи мониторинга зачастую никак не учитываются на этапе проектирования: про них просто забывают или сознательно отказываются ради экономии. После пары провороненных аварий жизнь все равно заставит озаботиться мониторингом. В уже работающем дата-центре выстраивать систему мониторинга сложнее и дольше. А главное — все это время дата-центр будет работать без контроля. Самые страшные аварии те, о которых вы даже и не догадываетесь. Вот наш топ-3:
Ошибка №1. Отказ от модулей мониторинга оборудования. Это самое первое, на чем начинают экономить, когда видят кругленькую стоимость ИБП или кондиционера. Когда все-таки решите докупить их, придется снова выбивать деньги, ждать поставки недостающих модулей. Все это время жизнь оборудования будет оставаться для вас тайной.
Отдельно отметим анализаторы тока в распределительных щитах, которые собирают информацию о состоянии систем энергоснабжения на всех участках трассы. На этапе проектирования заранее предусмотрите под них место в распределительных щитах.
Ошибка №2. Отсутствие документации по системе мониторинга. Эта документация фиксирует:
- список установленных датчиков и оборудования;
- место их установки;
- отслеживаемые параметры;
- схемы подключения.
Эти документы составляются совместно со службой эксплуатации на этапе проектирования и передаются ей при сдаче дата-центра. Без них инженерам придется самостоятельно собирать информацию о принципах работы системы мониторинга.
Ошибка №3. Отсутствие или неудачное расположение температурных датчиков и датчиков протечек. Для корректного мониторинга температуры в машинном зале рекомендуем повесить хотя бы три датчика в каждом холодном коридоре (в середине, начале и конце), один — в горячем. Если в дата-центре используется чиллерная схема холодоснабжения, то предусмотрите датчики протечек под каждым элементом, который может дать течь, а не только под кондиционером.
ПОЖАРОТУШЕНИЕ
Ошибка №1. В системе пожаротушения не учтены склады и другие дополнительные помещения. Из-за пожара на складе можно лишиться годового запаса ЗИП и расходников. Еще опаснее перспектива перехода огня из вспомогательных помещений в машинный зал или комнаты с инженерными системами. Проектируя систему пожаротушения, не забудьте о складах и вспомогательных помещениях.
Ошибка №2. Сирены/громкоговорители не слышны в машинных залах. Служба эксплуатации при приемке дата-центра проверяет систему оповещения в пустых залах, и сигнал на эвакуацию раздается практически в полной тишине. Когда машинный зал заполнится, заработают все стойки и кондиционеры, то громкости сирен может не хватить. В проекте закладывайте такую мощность громкоговорителя, чтобы в случае пожара он смог “перекричать” заполненный зал.
Ошибка №3. Срабатывание датчиков по температуре в контейнере ДГУ. Если используете ДГУ контейнерного типа, убедитесь что температурный пожарный датчик не перегревается от ДГУ. Из-за перегрева они будут ложно срабатывать.
Похожая проблема возникает при попадании внутрь контейнера выхлопа от соседних ДГУ: датчик ложно срабатывает на выхлоп. На этапе проекта определите оптимальное расстояние между ДГУ в группе и высоту выхлопной трубы каждого дизель-генератора.
СКС И ТЕЛЕКОМ
Ошибка №1. Недостаточная емкость магистральных кабельных лотков и вводов в залы. Заложите в проекте резерв по кабельным вводам в машинный зал и проходы между этажами. Сверлить новые отверстия стенах или межэтажных перекрытиях в уже работающем машинном зале будет сложно.
ВСПОМОГАТЕЛЬНЫЕ ПОМЕЩЕНИЯ И ТЕРРИТОРИЯ
Ошибка №1. Слишком маленькие двери и коридоры. Да, смешно. Но только до тех пор, пока не придется разбирать стену, чтобы вынести сломавшийся кондиционер или ИБП.
Совет от кэпа: дверь по высоте должна быть такой, чтобы в нее проходило самое высокое оборудование, а по ширине — самое широкое. Для машинного зала это стойки и кондиционеры.
Ошибка №2. Пороги, перепады высоты пола в ЦОД. Желательно избегать в проекте дата-центра больших перепадов высот пола. Тяжелое оборудование (ИБП, СХД) сложно тащить через порожки. Некоторое оборудование и вовсе не переносит наклонов: вендор откажет в гарантийном обслуживании, если встроенный в оборудовании уровень зафиксирует наклоны при транспортировке.
Ошибка №3. Затрудненный подъезд и разгрузка для крупногабаритных машин. Организуйте удобный и круглосуточный подъезд для разгрузки/погрузки крупногабаритного оборудования. В Москве, например, днем ограничен въезд грузовиков в город. Место разгрузки оборудуйте подъемным столом для разгрузки оборудования с машин любой высоты. Без него каждый раз придется заказывать погрузчик или кран.
Ошибка №4. Отсутствие грузовых лифтов и подъемников. Для многоэтажного дата-центра предусмотрите лифты и подъемники. Их габариты рассчитываем исходя из самого большого оборудования, которое нам придется доставлять на верхние этажи.
Ошибка №5. Недостаток вспомогательных помещений. Если в дата-центре не предусмотрены склады, то очень скоро весь ЗИП, коробки с оборудованием переберутся в коридоры, машинные залы и сами стойки. Желательно, чтобы склада было два:
- оперативный с расходниками и инструментами;
- склад длительного хранения для крупного ЗИП и пустых коробок из-под оборудования для гарантийки :)
Убедитесь, что внутри дата-центра есть площадка для распаковки оборудования, помещения, где оборудование, привезенное с мороза, может выстояться до комнатной температуры.
Ошибка №6. Не предусмотрены места для работы с оборудованием. Инженеры вам скажут “спасибо” за отдельную зону для работы с оборудованием. В машинных залах жарко/холодно и шумно. Оборудуйте эту рабочую зону столом, электрическими и сетевыми розетками, чтобы можно было собрать сервер (добавить жесткий диск, прикрутить салазки и пр.) в более комфортных условиях.
МАРКИРОВКА ОБОРУДОВАНИЯ
Да, она тоже разрабатывается на этапе проектирования. Если по-другому, то скорее всего получится следующее: один подрядчик проектирует электроснабжение, другой — холодоснабжение. Каждый пользуется только ему известной маркировкой. У строителей будут свои обозначения. Когда дата-центр будет сдан, разобраться с этим наследством и понять, где и что находится, будет сложно.
Чтобы такого не произошло, на этапе проектирования создается единая маркировка, которая согласовывается со службой эксплуатации. Принцип маркировки должен быть прозрачен: например, буква — тип элемента, первая цифра – номер дата-центра, вторая – номер зала, третья — номер элемента. Тогда любому инженеру службы эксплуатации будет понятно, что под «К1.3.4» скрывается 4 кондиционер в третьем зале в дата-центре 1.
Маркировка каждого элемента должна быть уникальной.
На этом все. Всех поворотов судьбы в проекте не предусмотреть, но надеемся, что этот список ошибок окажется полезен тем, кто собирается проектировать серверную или дата-центр.
Поделитесь в комментариях, с какими проектными ошибками дата-центров или серверных сталкивались вы.
