Уже 7 лет я занимаюсь в DataLine искусством capacity-менеджмента — управляю основными ресурсами дата-центра. Проще говоря, обеспечиваю каждому клиенту необходимое и достаточное место, электричество и холод для решения его задач. Мы уже рассказывали, как ведем статистику по потреблению оборудования и определяем стандартную мощность. Но что насчет самих стоек, которые отвечают за место?
Сегодня проведу небольшой ликбез по серверным стойкам, покажу, что и как мы выбираем для надежной работы оборудования. Список рекомендаций по выбору шкафов будет в последнем разделе, опытные ЦОДоводы могут сразу переключаться на него и предлагать свои дополнения :)
Эта статья — итог нашего эфира с @kshadskiy и @rbekrenev в Телеграме. Можно заодно послушать запись эфира в Салатовой телеге.
Что из себя представляют стандартные стойки
В наших дата-центрах около 12 тысяч установленных стоек. По статистике, 90% стоек выглядят так: ширина 600 мм, глубина 1070 или 1100 мм. Посмотрим на такую стойку внимательнее и разберемся, откуда берется стандарт.
Ширина и глубина — очевидные характеристики, которые позволяют расставить стойки на двухмерном плане машинного зала. Все почти как с планировкой квартиры: берем габариты и прикидываем расстановку по ЦОДовскому фэншую.
Особенность в том, что под габариты подбирается и само место, и схема охлаждения. Как мы уже не раз рассказывали, в наших дата-центрах используется система “горячих” и “холодных” коридоров.
Чтобы оборудование охлаждалось равномерно, нужно дать воздуху от кондиционера беспрепятственно поступать через фальшпол и распределяться по всему коридору. Для этого “холодный” коридор рекомендуют изолировать и не допускать “утечек” холода. Например, один из источников утечки — это пространство под стойкой, которая по умолчанию стоит на опорах.
Мы используем специальные заглушки, которые закрывают несколько сантиметров снизу и не дают проникнуть теплому воздуху.
Если изоляция сделана недостаточно герметично, это будет видно на тепловизоре:
Еще один важный фактор для охлаждения — скорость воздушного потока. В пространстве фальшпола и в холодном коридоре она не должна превышать 1 м/с, иначе эффективность охлаждения снизится.
В дата-центрах для потоков воздуха давно продумали и много раз проверили оптимальную схему раскладки перфорированных плиток. Если стойки стандартные, их расставляют так, чтобы два ряда стоек с двумя коридорами по ширине занимали ровно 7 плиток. В проектировании и эксплуатации ЦОДа это называется 7-плиточная раскладка. Cхематично выглядит так:
На “холодный” коридор приходится две перфорированные плитки в ширину. В “горячий” коридор кладем глухие плитки для изоляции и делаем его чуть уже. Ширины 900 мм достаточно, чтобы инженер мог спокойно проходить и обслуживать серверы.
А что с высотой стойки? Обычно она обозначается не в сантиметрах, а в юнитах (U). В стандартном случае высота составляет 42 юнита. Это число обозначает полезное пространство внутри стойки: сколько оборудования можно поместить. Посмотрим внимательнее, для этого заглянем за дверцу.
Юнит — единица измерения высоты оборудования в рамках стойки. 1 юнит составляет 1,75 дюйма, или 44,45 мм. Производители железа включают в эту единицу небольшой зазор, чтобы устройство можно было легко достать. Так что оборудование высотой в 1 юнит будет около 1,719 дюймов (43,7 мм).
Что интересно: 1 юнит в точности равен русскому вершку. После реформы Петра I русские меры длины соотнесли с английскими мерами и приравняли вершок к 1 3⁄4 дюйма. С 1835 года в России действовали следующие соотношения:
1 вершок = 1⁄48 сажени = 7⁄48 фута = 1⁄16 аршина.
Внутри стойки есть направляющие для фиксации оборудования. Отверстия для креплений у направляющих размечены с кратностью в 1 юнит.
В итоге полезное пространство в высоту внутри стандартной 42-юнитовой стойки — это 1866,9 мм, или 73,5 дюйма вдоль по направляющей. Сама стойка по габаритам может быть и 1990 мм, и больше 2 метров.
Если же говорить про полезное пространство в ширину, то в стойке нам нужно не менее 19 дюймов для размещения оборудования — это тоже стандарт. Именно столько внутри типовой стойки составляет расстояние между боковыми направляющими.
Оборудование крепится к направляющим за специальные “ушки”. Такие есть на всех устройствах, а также на заглушках.
Для крепления используются монтажные гайки, в простонародье — “сухари”.
Качество “сухарей” тоже влияет на надежность крепления, так что тщательно выбираем не только сами направляющие, но и гайки.
А что насчет нестандартных стоек и ситуаций?
Как нестандартные размеры меняют зал: ожидание vs реальность
Дата-центр проектируется под определенную мощность и количество стоек. В проекте машинного зала у нас есть определенное число стандартных стоек с их проектной мощностью.
На этапе запуска ЦОД выглядит так:
После запуска ЦОДа залы заполняют клиенты с очень разными запросами. И в реальности такой зал может выглядеть уже вот так:
Как мы выбираем и ставим нестандартные стойки в таких случаях? Если клиент приходит с запросом на одну нестандартную стойку, проблем обычно не возникает. Мы находим в машинном зале оптимальное место исходя из габаритов.
А если разномастных стоек много, да еще и мощности большие, то начинается игра в тетрис. Нам нужно расположить их в зале максимально рационально и компактно. Решаем 3 задачи одновременно:
стараемся не создавать глухих участков, где полезное пространство больше невозможно использовать;
обеспечиваем оборудование необходимой мощностью на стойку из общего расчета электричества на ряд, на щит, на провод, на ИБП;
обеспечиваем зону достаточным охлаждением: возможно, добавляем кондиционеры или применяем дополнительную изоляцию, активные вентплитки. Если длина ряда не совпадает с раскладкой плиток, используем половинчатые перфплитки.
Вот несколько ситуаций, которые могут возникнуть в процессе.
Очень высокая стойка. Стандартный по высоте ряд хорошо охлаждается оптимальными воздушными потоками скоростью 1 м/с. Стойка выше 42 юнитов — это сразу несколько вопросов:
как охлаждать верхние юниты, до которых поток воздуха от фальшпола уже не доходит;
как обеспечить больше киловатт на стойку;
как не превысить допустимый вес стойки на квадратный метр;
не нужно ли изменить положение кабельных лотков над стойками;
достаточно ли высоты самой гермозоны для более высокой стойки.
Для более высоких стоек нужно проектировать ЦОД в соответствии с заданными условиями. Да и работа на высоте с тяжелым оборудованием — то еще развлечение.
Очень приподнятая стойка. Иногда стойки формально составляют те же 42 юнита, но отличаются по высоте не сверху, а снизу, на уровне опор. Изолировать такой ряд может быть сложнее.
Был случай, когда у стойки расстояние от фальшпола до нижнего края рамы оказалось больше 5 см. Через эту щель активно циркулировал теплый воздух из “горячего” коридора. У производителя стойки не было предусмотрено никаких заглушек, пришлось придумывать изоляцию самим.
Широкие стойки. Шкафы шириной 750—800 мм — тоже не не самая часто используемая в ЦОДе история.
Такая ширина сохраняет полезное пространство в 19 дюймов, но позволяет дополнительно поставить сбоку вертикальные органайзеры для коммутации оборудования. Поэтому чаще они используются для телеком-оборудования с большим количеством подводимых кабелей и кроссировок.
Для серверного оборудования целесообразность подобной стойки под вопросом. Коммутации в этом случае не так много, при этом стойка обойдется дороже.
Глубокие стойки. Периодически встречаются стойки глубиной 1200 мм. Если поместить такую стойку в стандартную 7-плиточную раскладку, то в горячем коридоре останется не более 600 мм. А если стойки еще глубже, в таком коридоре станет совсем некомфортно работать: инженеру узко в плечах, сложно доставать и выносить оборудование.
Поэтому такие стойки лучше сразу предусмотреть в проекте. Для их установки мы используем уже 8-плиточную раскладку фальшпола. Получается ряд поглубже с достаточно широким коридором.
Совсем нестандартная история. В 2010—2011 году к нам пришел запрос на установку большой сейфовой стойки с отдельными замками. Габариты были явно больше 1200 и 800 мм, она была полностью закрытая бронированным металлом и весила несколько тонн. Для охлаждения висел отдельный кондиционер, был установлен собственный ИБП, сама стойка была ярко-алого цвета и красовалась в центре зала. Среди обычных стоек в ЦОДе это был такой монстр.
Проблемы возникли в 2019 году, когда стойку решили демонтировать. Позвали наших такелажников, но вынести стойку с такими габаритами и весом из уже заполненного зала не удалось. Пришлось разбирать стойку в машзале и выносить по частям. Попутно разобрали часть “холодного” коридора, раму у входной двери и вытащили с горем пополам. На будущее для таких стоек сразу продумываем и демонтаж.
Что проверять при выборе стоек
Все перечисленные особенности планирования мы учитываем при выборе стоек. Часто берем стойки разных производителей на тест и вот что проверяем:
толщину металла и вес. Металл не должен проминаться под оборудованием, иногда это видно сразу, еще до загрузки.
Если тонкую и легкую стойку загрузить оборудованием под самый верх, она начнет выгибаться в букву «X».
несущую способность. Мы пару раз слышали рекомендацию: брать стойки с несущей способностью не меньше 1500 кг. На самом деле килограммы на стойку нужно рассчитывать из конфигурации оборудования. Если брать только серверное оборудование, то вряд ли получится нагрузить стойку выше 1500 кг. Но если вы установите туда 2 ИБП с кучей аккумуляторов и поставите один сервер, то стойка будет весить гораздо больше 1500 кг.
Необходимо учесть и несущую способность колес у стойки. На этот счет у производителей есть отдельные рекомендации, например, такие:
Полностью заполненную стойку колеса не выдержат. Иногда об этом забывают и перекатывают стойки с уже смонтированным оборудованием.
стойкость к различным колебаниям. Обычно мы берем пустую стойку за два противоположных угла и немного шатаем ее в разные стороны. Если конструктив “гуляет”, то есть риск, что при загрузке оборудования стойка разъедется.
Такие расхождения повлияют как на устойчивость, так и на холодоснабжение: через щели нагретый воздух из “горячего” коридора перейдет в “холодный”, охлаждению конец.
крепления стоек между собой. Например, такие:
У разных производителей междустоечные монтажные крепления располагаются на разной высоте, идут под разный болт. Важно поставить в один ряд стойки, которые можно скрепить между собой.
Что будет, если этого не делать? Пустая стойка стоит недостаточно плотно и упруго и при монтаже серверного оборудования может сместиться на несколько миллиметров.
Вдобавок закрепленные стойки дополнительно защищены от деформации.
толщину краски. Если слой краски слишком толстый, могут быть проблемы с размещением оборудования внутри: 2 мм слева, 2 мм справа — и вот полезное пространство сокращается уже на полсантиметра. Бывают и случаи, когда из-за толщины краски очень сложно вставить “сухари”.
Если слой будет толще, “сухари” уже не поместятся, с монтажом начнутся проблемы.
перфорацию стойки. Важно, чтобы у дверей стойки не было больших неперфорированных кусков по бокам, снизу и сверху. Иначе с охлаждением будут проблемы.
Однажды клиент приехал к нам со своими стойками. Перфорация на двери почему-то начиналась со второго юнита, то есть 2 юнита снизу смотрели на полностью глухой участок двери. Когда оборудование установили в первый юнит, при запуске сразу начались проблемы с его охлаждением.
Хуже этого на нашей памяти были только стеклянные двери без перфорации. Воздух от фальшпола не доходил, стойка превращалась в сауну.
При этом процент перфорации не так важен, как прочность. Жесткость стойки не должна быть принесена в жертву перфорации.
Также смотрим, чтобы перфорация была равномерной:
Однажды наш клиент привез стойку с узорчатой дверцей: она была не плоская и ровная, а выступающая, с узорами. В результате воздушные потоки тормозили об эти узоры, внутри были перегревы оборудования.
крепление направляющих для оборудования. Мы следим, чтобы в стойку помещалось оборудование разной глубины. Направляющие внутри должны передвигаться в обе стороны, а само крепление надежно держаться.
крепление крыши. Важно, чтобы верх стойки можно было снять без отключения кабелей. Отверстия для них должны быть с краю, а не внутри самой крыши. Бывает необходимо вытащить кроссировки, протянуть дополнительные кабели. Возможность снять крышу без кабелей позволяет не отключать патч-панель, а просто вынуть панель наверх и убрать вбок.
Например, у стоек бывают вот такие модульные крыши. Краткий чек-лист по выбору идеальной стойки
выдерживает предполагаемую нагрузку;
с жесткой рамой;
со сдвижными направляющими для выбора монтажной глубины;
со съемной крышей с возможностью снятия без демонтажа коммуникаций;
с конфигурациями разных замков и ручек, а еще с возможностью поставить СКУД и ключ;
с перфорацией, которая начинается снизу, прямо с первых юнитов;
с колесиками, выдерживающими набивку стойки на случай, если стойку с оборудованием нужно перекатить;
с возможностью скреплять стойки между собой.