Уже менее года осталось до Чемпионата мира по футболу-2018 — великолепного футбольного праздника, который ожидается следующим летом в нескольких городах России. Подготовка к столь масштабному действу, транслируемому по всему миру, предусматривает развертывание мощнейшей IT-инфраструктуры. Всего в создание IT-инфраструктуры к чемпионату мира будет вложено порядка 11 миллиардов рублей. Построением телекоммуникационной инфраструктуры займется “Мегафон”, которому выделено на эти цели 4,25 миллиарда рублей.
Стадионы уже во всю готовятся к приезду гостей, а некоторые прошли обкатку на минувшем Кубке конфедераций. Для сравнения “Мегафон” на минувшем турнире:
- задействовал 11 тыс. км волоконно-оптических линий связи (ВОЛС);
- установил более 1,5 тыс. антенн на стадионах;
- организовал радиопокрытие на более чем 80 объектах проведения, из которых 60 были модернизированы и обеспечены indoor покрытием. К ним относятся: стадионы, гостиницы, операционные центры, тренировочные площадки, места продажи билетов, стойки FIFA в аэропортах и на транспортных станциях;
- предоставил на всех объектах мероприятия каналы связи, услуги мобильной передачи данных, телефонной связи;
- развернул гео-разнесенную DWDM-сеть с независимыми друг от друга элементами, которая позволила обеспечить качественное ТВ-вещание со стадионов до Международного вещательного центра в Санкт-Петербурге;
- троекратно зарезервировал сеть, что гарантировало ее отказоустойчивость и обеспечило постоянный мониторинг созданной инфраструктуры. Для мониторинга своего оборудования, установленного на объектах, использовалось собственное решение Life Control;
- организовал ISDN-телефонию, которая позволила комментаторам проводить свои репортажи.
Мы — компания “НАГ” также внесли свою каплю в это море работы. Спроектированный и собранный нашими специалистами контейнерный центр обработки данных, теперь обслуживает один из стадионов минувшего Кубка конфедераций и предстоящего ЧМ-2018. Об этом проекте и хотелось бы рассказать.
Итак, перед нашими инженерами стояла задача спроектировать мобильный центр обработки данных, который бы соответствовал всем современным требованиям безопасности и жизнеобеспечения, необходимыми для защиты оборудования от сбоев в работе. Кроме того, необходимо было поставить три дизельных генератора, которые смогли бы автономно обеспечивать электроэнергию в ЦОД.
Архитектура
Контейнер центра обработки данных — это конструкция, смонтированная на несущей раме, каркас которой представляет собой стальную цельносварную, жесткую конструкцию из прокатного профиля.
- Наружные размеры (Д x Ш x В) 5960 x 2460 x 3000 мм;
- Внутренние размеры (Д x Ш x В) 5660 x 2160 x 2600 мм;
- Полезная площадь 12,23 м²;
- Высокие механические нагрузки;;
- Защита от пожара EI30 согласно EN 1363 как покомпонентное испытание;
- Защита от воды и пыли согласно EN 60529;
- Степень огнестойкости согласно Федерального закона от 22.07.2008 № 123-ФЗ – II (Сертификат соответствия № C-RU.ПБ12.В.00203)
- Нагрузочная способность перекрытий обеспечивает 1500кг/м2.
Инфраструктура для размещения оборудования в ЦОД
Для размещения оборудования в ЦОД мы использовали 19 дюймовые шкафы MetalBox. Шкафы представляют из себя конструкцию в которую входят: перфорированные металлические двери, роликовые опоры, дверцы, терминалы и кабели заземления, опора с регулировкой горизонтальности, монтажные компоненты, верхняя крышка, боковые панели.
Серверные шкафы установлены на специальные рельсовые системы, которые позволяют легко перемещать их в поперечном направлении, это обеспечивает доступ к оборудованию, как с передней стороны, так и с задней.
Система электроснабжения и бесперебойного питания
Распределение электроэнергии внутри ЦОД осуществляется кабелем с медными токопроводящими жилами с изоляцией из ПВХ пластиката и оболочкой из ПВХ пластиката пониженной горючести противопожарных систем с медными жилами, которые проложены по специальным лоткам.
- Введение мощностей ЦОДа до 20 кВт (в объеме 4 стоек, указана суммарная максимальная мощность без учета инженерных систем).
- Расчетная мощность: 36 кВт (с учетом инженерных систем);
- Напряжение питающей сети: 380 В, 3L + N + PE;
- Категория надежности: третья;
Бесперебойное питание в контейнере обеспечивает модульный ИБП SNR-UPS-ONRM-20-HPMSAX33 с возможностью поэтапного увеличения мощности. Он состоит из 3 модулей мощностью 20 кВА, образуя систему с уровнем резервирования N+1.
ИБП (UPS) серии HPM, предназначены для работы с внешними аккумуляторными батареями повышенной емкости, построен по схеме on-line с двойным преобразованием напряжения, при которой нагрузка всегда питается от инвертора, гарантируя при этом стабилизированное и фильтрованное синусоидальное электропитание. ИБП предназначены для защиты рабочих станций, серверов, систем связи, промышленного, телекоммуникационного, банковского, сетевого и др. оборудования.
К ИБП подключена система из 32 аккумуляторов Tesla Power, обеспечивающих 25 минут автономной работы при 100% нагрузке. Батареи Tesla Power предназначены для установки в 19, 23 дюймовые шкафы и стойки, также используются в других случаях, когда необходимо компактное размещение батарей.
Фронтальное расположение клемм облегчает установку и сокращает время на обслуживание и замену батарей. Хорошие характеристики при небольших токах разряда делают эти батареи лучшим выбором для телекоммуникационных систем и других ответственных нагрузок, рассчитанных на длительное время автономии.
Структурированная кабельная система
Для подключения ИТ-оборудования в серверных шкафах используется:
- UTP кабель 5е категории производства LANsens.
- 24 портовые коммутационные панели SNR;
- коммутационные шнуры с коннекторами RJ-45 — RJ-45.
Кабели электроснабжения и бесперебойного питания прокладываются по различным кабельным каналам и лоткам.
Для кабелей электроснабжения используется проволочный лоток с креплением к стене поддерживающими консолями.
К серверным шкафам Metal Box подведены гибкие кабель-каналы. Использование гибкого кабельного канала позволяет надежно подвести к шкафам силовой или контрольный кабель без риска его повреждения в ходе движения телекоммуникационного шкафа.
Системы пожаротушения и кондиционирования
В контейнерном ЦОД предусмотрены системы пожаротушения и кондиционирования. Для тушения пожара в защищаемом помещении предусматривается автоматическое заполнение его объема газообразным огнетушащим веществом – Хладон 318Ц. Это наиболее приемлемый вариант для такого рода помещений.
Для кондиционирования контейнера используется три канальных промышленных кондиционера производства General Climate. Холодопроизводительность каждого кондиционера 17.6 кВт. Резервирование N+1. Кондиционеры доработаны зимним комплектом (гарантированная работа до -40 градусов).
Система кондиционирования ЦОД Data Box состоит из трех канальных сплит-систем потребляемой мощностью в режиме охлаждения 7.2 кВт каждый.
Дизель-генераторная станция
В Дополнение к ЦОД были поставлены три дизель-генераторные установки (ДГУ) TPDG80 с ATS (резервной мощностью 80кВА/64кВт). ДГУ при достаточно компактных размерах имеет высокую производительность и стабильные показатели по напряжению и мощности. Двигатель и генератор оснащены виброгасящими креплениями, что снижает шум и вибрации установки.
На стадии производства узлы и агрегаты установки прошли строгий контроль качества и всевозможные испытания.
Основные параметры:
- Двигатель Cummins engine 6BT5.9-G1
- Генератор Stamford UCI224G
- Микропроцессорный модуль управления PLC-920
- Главный автоматический выключатель 120А
- Регулятор скорости механического типа
- Генератор с самовозбуждением
- Регулятор напряжения AS440
- Разъем для подключения системы АВР
- Необслуживаемая свинцово-кислотные аккумуляторные батареи 2*12В/70Ач
- Воздушный фильтр сухого типа
- Топливный бак емкостью 236 л
- Сухой вес 1198 кг
- Уровень шума на расстоянии 7м — 90,8 dBA
- Размеры (ШхГхВ) — 2485х883х1495 мм
- Мощность в основном режиме работы — 80кВА/64кВт
- Мощность в резервном режиме работы — 88кВА/70кВт
- Напряжение 380 В
За управление работой двигателя и контроль за основными параметрами и сигнализации ошибок отвечает микропроцессорный модуль. Запуск и остановка двигателя производится с помощью кнопки, предусмотрена блокировка запуска с ключом.
В завершение, фото уже смонитрованных на месте дата-центра и дизель-генераторной установки.
