Этот обзорный пост по ЦОДам инфраструктурной сети МТС подготовлен приглашенным автором, @sergbe из Санкт-Петербурга. Автор — бывший сотрудник Microsoft Ireland, работал в команде одного из крупнейших российских провайдеров облачных сервисов, проводил экскурсии по серверным залам и инженерной инфраструктуре ЦОД. 

Итак, история центров обработки данных МТС началась в 1990-е годы с небольших серверных и коммутаторных. Телекоммуникационные центры росли и развивались вместе с компанией. В 2005 году открылась одна из первых крупных площадок — корпоративный ЦОД «Вязовский». С тех пор инфраструктурных площадок стало значительно больше, а их категоризация изменилась. Теперь у МТС есть стационарные дата-центры, похожие по структуре на «прародителя» с Вязовского проезда, огромные мегаЦОДы, а также модульные и периферийные EDGE ЦОДы. 

Сегодня инфраструктурная сеть МТС состоит из 15 дата-центров, объединенных каналами связи длиной в ~248 000 км. Она играет ключевую роль в обеспечении доступности облачных сервисов #CloudMTS по всей России и в странах СНГ. Развитие продолжается: в ближайшем будущем каналы связи соединят еще 20 российских городов — практически все федеральные округа. 

Эта статья о том, как развиваются и поддерживаются площадки, на которых «живут» облака. Вы узнаете, что лежит в основе надежности и доступности облачных ресурсов. Расскажем, как обеспечивается безопасность дата-центров и как работают новые модульные ЦОДы.

Как появляются ЦОДы

До 2014 года для сети ЦОДов, как правило, приспосабливались уже существующие здания. У такой стратегии есть свои минусы: развивать инфраструктуру на созданной заранее для чего-то другого площадке дольше, дороже и сложнее. Со временем такой ЦОД сталкивается с ограничениями в мощности энергопотребления, размерах помещений и т. д.    

Построив помещения под серверы, можно заранее обеспечить все условия по энергообеспечению, температуре, влажности и надежности. Такая стратегия гарантирует доступность облачных сервисов на уровне 99,95%, что указывается в SLA. Кроме того, можно не создавать большой дата-центр там, где это не требуется, а быстро построить модульный или EDGE ЦОД.

Выбор площадки под новый ЦОД — это комплексный процесс, в котором учитывается множество параметров. МТС опирается на клиентскую базу: логично строить там, где есть спрос. Поэтому основная инфраструктура развернута в городах-миллионниках. Близость к клиентам позволяет предоставлять сервисы с минимальными задержками и предоставить должный уровень качества.  

Но кроме того учитываются собственные потребности пиринговых систем, коммутации, разных внутренних проектов. При агрегации этих данных в том числе нужно принимать во внимание наличие команды специалистов в регионе. Естественно, без поддержки штата инженеров невозможно обеспечить отказоустойчивость ИТ-систем. 

Если по всем факторам есть уверенность, что инфраструктура будет надежна и востребована, начинается выбор площадки под строительство. На этом этапе нужно учитывать наличие каналов связи (или возможность их проложить).   

Строительством ЦОДов занимаются подрядные организации. Эксперты МТС разрабатывают стратегию развития инфраструктуры, формулируют техническое задание, оценивают предложенные решения, контролируют своевременность и качество выполнения работ. 

Какие бывают ЦОДы

ЦОД GreenBushDC в МТС: площадка ДГУ, ДРИБП и топливохранилище

Глобально у всех ЦОДов МТС одна цель — обеспечить быстрое подключение, надежность и выход на максимальную мощность. Используя ЦОДы различных типов, #CloudMTS предлагает идентичные сервисы для внутренних и внешних клиентов. Внутренние клиенты — это компании, входящие в ПАО «МТС»  и активно использующие облачные ресурсы. Среди них, например, есть МТС AI, МТС Банк, стриминговая платформа WASD.TV. 

МегаЦОД

Основные площадки для работы с клиентами из Москвы — это мегаЦОДы «Авантаж» и GreenBushDC. Приставка «мега» означает в первую очередь размеры. Это дата-центры суммарной мощностью более 20 МВт, в них более 2000 серверных стоек. Оценить размеры инфраструктуры поможет видео.

ЦОД GreenBushDC занимает территорию 18 800 квадратных метров и 15 000 датчиков ежесекундно предоставляют информацию обо всех системах объекта.  

В мегаЦОДах клиенты могут размещать собственное оборудование в рамках услуги колокейшн. Дата-центр GreenBushDC полностью предназначен для обслуживания клиентского оборудования. Клиенты могут заказать установку стойки до 20 киловатт и подключение к сети на скорости 10-40 Гбит/сек.

Дата-центр «Авантаж» действительно похож на промышленное предприятие. На видео выше мы пролетели дроном через трехъярусное помещение хладоцентра. Здесь установлены 9 холодильных машин («чиллеров»). Рядом — настоящий кластер из промышленного оборудования. 14 дизель-генераторов обеспечивают постоянный доступ к электропитанию. 

Модульные ЦОДы

Хотя у многих специалистов модульные ЦОДы ассоциируются с контейнерным оборудованием, в случае с МТС это полноценный комплекс производственных и офисных зданий общей площадью от 3500 квадратных метров. Модульные ЦОДы строятся на обособленных площадках со всей необходимой инфраструктурой.

Бизнес предъявляет к модульным ЦОДам такие же требования по отказоустойчивости, как и к большим дата-центрам. Поэтому каждый критический элемент инфраструктуры зарезервирован по схеме не менее чем N+1: есть несколько энергомодулей, дизель-генераторные установки, баки с запасом дизтоплива и антифриза и т. д. За безопасностью круглосуточно следят из центра мониторинга и в диспетчерской охраны. Все помещения оборудованы системой газового пожаротушения. 

Не взирая на то, что разница между модульными и мегаЦОДами фактически только в размерах, за счет тщательной проработки технических решений удается выдерживать очень высокие темпы строительства. Модульный ЦОД создают за 6—9 месяцев, включая полный цикл работ: от подготовки строительной площадки до начала продаж облачных сервисов первым клиентам.

Каждый такой ЦОД рассчитан на 3,6 МВт полезной нагрузки. Он состоит из четырех модульных помещений по два машинных зала в каждом, в которых могут размещать суммарно 500 стоек. Возможно подключение стоек мощностью до 15 кВт.

Модульность подразумевает не только физическую структуру объекта, но и этапное развитие под потребности. В рамках производственной площадки модульные ЦОДы можно объединять в кластеры высокой доступности.

EDGE и Far EDGE ЦОДы

Поддерживая клиентов, которые запускают проекты цифровизации крупных производств в различных, в том числе удаленных регионах России, МТС строит граничные (периферийные) ЦОДы — EDGE и Far EDGE. 

В отличие от мегаЦОДов и даже от модульных ЦОДов, размеры EDGE позволяют располагать их среди любой городской застройки. Far EDGE могут быть еще ближе к клиентам: такие ЦОД можно размещать непосредственно на площадке потребителей услуг — там, где данные генерируются. ЦОД Far EDGE может быть реализован в форм-факторе одной стойки. 

Развертывание мощностей происходит под потребности. Поэтому нам нет необходимости впустую обслуживать большие ресурсы. Фактически все мощности EDGE ЦОДов используются сразу по потребностям заказчика. Для масштабирования можно быстро развертывать новые объекты EDGE.

Как обеспечивается надежность

Соответствие уровню Tier III

Глубокая экспертиза специалистов МТС позволяет строить дата-центры по стандартам надежности, равноценным международным критериям Uptime Institute. ЦОДы получают сертификаты на уровне документации (Design Tier III) и для реализованных проектов (Facility Tier III). 

Системы электропитания, климата, безопасности в дата-центрах уровня Tier III резервируются по схеме не ниже N+1. Это значит, что в запасе всегда есть как минимум одна установка, которая вводится в действие при аварии или плановом обслуживании одной из задействованных систем.

Пассивные элементы систем, такие как кабельная разводка электропитания, трубопроводы, сети освещения и оповещения, дублируются по схеме резервирования 2N. Это обеспечивает возможность ведения работ по техническому обслуживанию или замене вышедших из строя компонентов без отключения электропитания дата-центра (в том числе оборудования клиентов). 

Бесперебойное энергоснабжение 

Дизель-генераторная установка (ДГУ) в ЦОД МТС
ГРЩ (главный распределительный щит) в ЦОД МТС

Если пропадет внешнее электроснабжение, питание вычислительных систем переключится на ИБП. Одновременно автоматика запустит дизель-генераторные установки (ДГУ), которым требуется не больше минуты для выхода на номинальный режим работы. В режиме питания от ДГУ электрооборудование ЦОДа может работать неограниченно долго, хотя и требуется подвоз топлива (нормативный запас на территории ЦОДа рассчитан на 24 часа работы).

Постоянное охлаждение 

Климатические системы на основе кондиционеров в ЦОД МТС

Климатические системы типового ЦОДа построены на основе кондиционеров с чиллерной системой охлаждения. Особенность такой системы — в циркуляции незамерзающего гликолевого раствора в трубопроводах между внутренними и внешними блоками. Раствор прогоняется насосом через кондиционер в серверном зале, где происходит теплообмен и откуда затем раствор выкачивается в выносной наружный теплообменник — чиллер. 

Охлаждение вычислительного оборудования происходит по традиционной схеме: холодный воздух подается снизу через фальшпол в «холодные коридоры», а горячий уходит в общий зал и далее в теплообменник (чиллер). Температура в холодных коридорах поддерживается в пределах +22…27 °С (± 2°С) при относительной влажности 30—70%.

Защита от возгорания 

На фото – помещение ВРУ (Вводное распределительное устройство) и средства индивидуальной защиты (в центре) в ЦОД МТС

В системе газового пожаротушения ЦОДов используется хладон Novec1230, который не влияет на работоспособность электроники. Novec1230 не является ядовитым газом, однако вдыхать его нежелательно. Поэтому в ЦОДах внедрена система раннего оповещения о пожаре, а для дежурного персонала имеются защитные дыхательные комплекты.

Помещение с хладоном Novec1230 системы газового пожаротушения в ЦОД МТС

 Огнезащитные конструкции здания имеют предел огнестойкости EI-90 (защита до 90 минут от проникновения открытого огня из зоны пожара в смежные помещения). Конечно, любой пожар лучше предотвратить, чем тушить, поэтому датчики контролируют всю критическую инфраструктуру. 

Физическая защита и информационная безопасность 

Дата-центр – это режимный объект, поэтому попасть внутрь можно только по удостоверению личности через КПП и предварительно оформленной заявке на пропуск.

Служба охраны круглосуточно наблюдает за территорией и залами через систему видеонаблюдения. Видеоданные хранятся три месяца. 

Постоянный мониторинг — краеугольный камень безопасности всех ЦОДов МТС. Сотрудники получают информацию о параметрах электропитания, работе климатических систем, противопожарной защите и управлении доступом.

Инженерная служба посменно работает в режиме 24/7/365. Сотрудники дежурной смены регулярно обходят машинные залы и помещения промышленной инфраструктуры (хладоцентр, блок с генераторами и другие). 

То, что нельзя увидеть снаружи, покажет разветвленная сеть IoT. Датчиков может быть сотни, тысячи. Они способны контролировать каждый квадратный метр ЦОДа. Вся информация поступает на панель управления дежурного в диспетчерской.   

В рамках предотвращения инцидентов безопасности реализованы несколько периметров доступа до входа в любой машинный зал. Сами залы защищены от протечек и попадания, а также обеспечены высокой огнестойкостью.

Отдельный важный пункт — информационная безопасность. Для ЦОДов применяются следующие меры защиты:

  • Регистрация и учет действий администраторов.

  • Регулярный систематический контроль уязвимостей.

  • Межсетевое экранирование.

  • Защита от DDoS-атак.

  • SOC.

SOC (Security Operation Center) — это комплексный центр обеспечения кибербезопасности, который круглосуточно мониторит состояние всей ИТ-инфраструктуры МТС на предмет различных угроз. 

Что именно делает команда штатных сертифицированных специалистов в рамках SOC:

  • 24/7 сканирует на уязвимости и проактивно защищает инфраструктуру;

  • прогнозирует векторы развития атак — сбор и хранение событий ИБ помогает построить тренды и обнаружить скрытых злоумышленников во внутреннем периметре;

  • анализирует фишинговые атаки и другие внешние угрозы. 

Команда собирает фактические данные о существующих или возможных киберугрозах, которые включают контекст, механизмы, индикаторы, последствия, практические рекомендации и могут быть использованы для принятия решений по реагированию.

Заключение

Сеть ЦОДов развивается там, где она в первую очередь необходима клиентам. Сейчас определены 15 регионов, в которых на разных стадиях находятся проекты по строительству модульных и EDGE ЦОД. Скорость строительства и подключения мощностей позволяет в ближайшие годы соединить самой большой в стране сетью дата-центров более 20 российских городов.

Все новые площадки соответствуют сертификации Uptime Institute. Инфраструктура построена по самым надежным методологиями, поэтому ЦОДы и размещенные в них сервисы максимально отказоустойчивы. Убедиться в этом можно самостоятельно, просто заказав тест облачных сервисов.