Операторы в двух наших дата-центрах дежурят круглосуточно. Один из них, Павел, работает с нами давно и знает, как там всё устроено. В своей статье он рассказывает про современную площадку IXcellerate Moscow North.

Хочу рассказать вам про дата-центр, а точнее уже кампус дата-центров IXcellerate, где компания FirstVDS, в которой я работаю, размещает часть своих мощностей.

Фото с IXcellerate.com. Сейчас весна, поэтому некоторые фото в статье из интернета, летние — привнести красок

FirstVDS предоставляет вычислительные среды и мощности, используя дата-центр в Химках и арендованные площади в IXcellerate. О последнем и пойдёт речь.

История сотрудничества компании с IXcellerate (и история моей работы в нём) началась в 2018 году с 4 стоек на первой фазе, то есть, выражаясь современной терминологией, в первом зале IXcellerate MOS1 (персонал называет его просто М1). Параллельно с вводом в эксплуатацию новых залов росли и мы, докупая новые стойки и всячески расширяясь. Сейчас FirstVDS располагает в IXcellerate несколькими десятками стоек, в том числе под высоконагруженные серверы.

История

Компания IXcellerate была основана в 2011 году Клиффом Гаунтлеттом и Гаем Вилнером — ветеранами отрасли. Раньше тут был завод ЖБИ, который начали приспосабливать под новое назначение. В 2013 году было готово первое здание — в нём и разместился ЦОД MOS1 (тогда он назывался IXcellerate Moscow One), который состоял из Фазы 1 — первого введенного в эксплуатацию зала на 220 стоек. В 2015 году состоялся пуск Фазы 2 — второго зала, уже на 515 стоек. Ну а третья Фаза, на 1100 стоек, была запущена в 2018 году, незадолго до того, как я начал здесь работать. Вообще за три с половиной года моей работы в ДЦ строительство здесь не прекращалось ни на минуту, и в итоге за это время и так немаленький IXcellerate Moscow One превратился в по-настоящему впечатляющий по размеру кампус IXcellerate Moscow North, в состав которого входят два уже построенных дата-центра: MOS1 и MOS2 мощностью в 28 МВт.

И строительство продолжается. На схеме отмечен MOS4 — он строится. Примерно полтора-два месяца назад начались строительные работы по зданию, а запас по электричеству для третьего ЦОДа, видимо, готов уже сейчас — подведён ещё один, третий по счёту ввод питания на территорию. Все три ввода — от разных подстанций.

Кроме того, планируется еще MOS3 — на схеме справа. Он сейчас на этапе проектирования. Вместе с третьим и четвёртым дата-центрами общая мощность кампуса должна возрасти до 70 МВт.

Что внутри?

У всех ЦОДов здесь общая территория. Охрана, камеры, пропускной режим — всё как полагается. Это первый рубеж. Проход осуществляется либо на основании заранее открытой заявки на посещение, либо по магнитной карте — как для постоянно работающих сотрудников сторонних компаний, так и работников IXcellerate. Сейчас, в наши неспокойные ковидные времена, все прибывающие на территорию посетители должны пройти процедуру измерения температуры на входе (для этого у КПП стоит специальный вагончик с медсестрой внутри) и получить браслет.

Так выглядит браслет ежедневной термометрии

Далее — вход в здание ЦОДа. FirstVDS присутствует и на MOS1, и на MOS2, соответственно, бывать приходится на обеих площадках. На самом деле различия по пропускному режиму минимальны — за внешним КПП следует дверь в здание центра, которая открывается с кнопки изнутри, далее стойка охраны и вертушка со считывателем карты, совмещённым со сканером ладони — IXcellerate сертифицирован по PCI DSS (стандарт безопасности данных платёжных карт для информационных инфраструктур), тут только так.

После этого на MOS1 посетители попадают в холл. Из холла можно войти непосредственно в машинные залы, а ещё — в гостевую комнату:

В гостевой можно удобно устроиться с ноутбуком в любое время суток

В первую волну пандемии комната была недоступна для посетителей и за это время претерпела некоторые изменения, но в целом сохранила свой изначальный дизайн-код — вместе с декоративными постерами на стенах висят фотографии из жизни ДЦ.

Не элемент дизайна, но элемент безопасности. Вся проводка освещения проложена в металлических трубках, чтобы возможное короткое замыкание не повлияло на инфраструктуру.

Вся проводка проложена в металлических трубках

Выходим из комнаты отдыха обратно в холл MOS1. Как я писал выше, отсюда можно попасть во все три Фазы дата-центра. Они разделены между собой и доступ в каждую также возможен только по биометрии руки, причём если вы размещаете своё оборудование только на Фазе 1, то не получите доступ на Фазы 2 и 3.

Коридор. Двери справа ведут в зал Фазы 3

В самом конце коридора — зона разгрузки. Всего на MOS1 их две. Оборудование клиентов ввозится именно через них.

Пожарная безопасность

Когда спрашиваешь сотрудников IXcellerate об их системе пожарной безопасности, то чувствуешь, что они ею по-настоящему гордятся. Лично мне, применительно к пожаротушению в дата-центрах, ранее были знакомы только решения на основе хладона. Здесь подобное малореально — слишком большая площадь залов. Поэтому, во-первых, нужны большие запасы газа (на два пуска), а во-вторых, нельзя гарантировать, что в момент тревоги все находящиеся в машзале люди оперативно покинут его до распыления хладона. Последний пункт особенно важен, ведь площадь машзала Фазы 3 MOS1 составляет 2500 кв.м, а MOS2 — 3000 кв.м.

В IXcellerate развёрнута система раннего оповещения о пожаре Vesda в MOS1 и Wagner в MOS2 — лазерные газоанализаторы расположены под потолком вокруг воздушных вводов кондиционеров — то есть по ходу движения воздушного потока. В случае улавливания частиц дыма подается сигнал на дежурный пульт.

Вторая линия защиты от возгорания — система Marioff HI-FOG ®, ставшая альтернативой хладону. В случае возгорания по внутреннему пожарному водопроводу по сухотрубной системе подаётся дистиллированная вода. Она поступает в спринклеры пожаротушения, расположенные под потолком и фальшполом, и создаёт тонко распыленную взвесь, ликвидирующую возгорание. Имеется возможность применять систему и во всём зале сразу, и локально. Зона покрытия одного спринклера 4х4м, а с помощью пожарного рукава Marioff HI-FOG ® можно выполнять тушение в отдельных стойках и даже на одном сервере. При этом все остальное пространство машзала продолжает работать в штатном режиме. Фальшпол и облицовка стен сделаны из негорючего материала, с устойчивостью к открытому огню не менее 60 минут.

Электричество

Для запущенных в работу MOS1 и MOS2 — схема 2N, от двух разных подстанций по двум разным маршрутам. На территории кампуса лучи приходят в две собственные подстанции, где разбиваются по 4 силовых линии, которые заводятся в ЦОДы.

В резерве здесь — ДГУ и ИБП. Полосатые штуки на переднем плане — бетонные блоки, чтобы в дизель нельзя было случайно приехать на автомобиле.

Фото ДГУ с официального сайта IXcellerate

Ну, а на уровне стойки у нас тоже два независимых ввода, соответственно, устанавливается два PDU. Оборудование может устанавливаться как с двумя, так и с одним блоком питания, но в последнем случае для сохранения гарантий по аптайму должен быть установлен АВР.

Охлаждение

Климатика в IXcellerate на передовом уровне — в зависимости от конфигурации машзалов используются разные системы. В большинстве случаев охлаждение реализуется чиллерами с фрикулингом и внутризальными кондиционерами. В Фазе 3 дата-центра MOS1 установлена комбинированная система холодоснабжения от Vertiv, в которой наряду с чиллерами для резервирования используются независимые фреоновые кондиционеры с оригинальной системой распыления воды над теплообменниками.

Система охлаждения IXcellerate MOS1, фото с сайта

Коридор между установками кондиционирования

Решения для клиента по организации холодного коридора, кстати, могут быть разными. У большинства стоек, расположенных в ЦОДе (и у большинства наших), коридор закрыт потолком сверху и установлены двери.

Коннективность

«Более 50 операторов связи, доступ к нескольким IX-платформам, включая Eurasia Peering и MSK-IX» — так пишет IXcellerate на своём сайте. Добавить практически нечего. Одна известная компания, специализирующаяся на видеокартах, разместила здесь свои мощности для облачного гейминга. Автор этих строк протестировал сервис некоторое время назад — работает без задержек :)

Я решил самостоятельно убедиться в этом, поэтому провел свой тест и заскринил

Играть на базовой бесплатной подписке неудобно из-за очередей на серверы, но качество связи самого игрового процесса радует.

Для тех, кому это необходимо, существует возможность коммутации не только внутри одного ЦОДа, но и между ними.

MOS1 vs MOS2

Своё рабочее время я провожу, как правило, полностью в машинном зале, и можно заметить, что многие вещи в MOS2 реализуются не так, как в MOS1. При этом некоторые моменты заметны сразу, а некоторые замечаешь только в процессе работы, например, что вентиляционные ламели в холодных коридорах открываются по-разному.

Лично мне работать во втором ЦОДе легче, чем в первом. В нем всё организовано так, что работать непосредственно руками удобнее. Уверен, что это следствие работы над ошибками и анализ опыта эксплуатации MOS1 вкупе с разницей «в возрасте», конечно.

А еще к MOS2 прилегает административное здание, в котором FirstVDS арендует офисное помещение и склад оборудования. Не надо далеко ходить.

О менеджменте и техподдержке

Взаимодействие клиента и всех служб по любым вопросам ведется через ZenDesk (специальный софт для организации работы поддержки), то есть во всех случаях — внос оборудования, вынос, заказ пропусков на территорию, запросы на поддержку, в том числе на Remote Hands и так далее — должен быть написан тикет. Отдаёт бюрократией, но на самом деле удобно. Время реагирования на большинство запросов не превышает пяти минут.

Техподдержка разделена как на линии — первая, вторая, третья, так и по сферам ответственности. Есть клиентский сервис, персонал которого оказывает помощь в ввозе и вывозе оборудования, оформлении пропусков, монтаже и демонтаже оборудования, а есть люди, осуществляющие мониторинг систем ЦОДов. Если должен быть задействован конкретный сотрудник, первая линия (дежурные клиентской службы) перенаправляет запрос на него.

Сотрудники, занимающиеся мониторингом оборудования ЦОДов, ответственны только за это и не работают с клиентами. Такое «разделение труда» было не всегда, и когда-то сей факт здорово усложнял жизнь.

В том случае, если требуется участие более опытных технических специалистов, то подключаются инженеры второй линии. При нормальном приоритете задача обычно решается в течение дня.

На фото — снятие показаний с кондиционера. Такие обходы проводятся раз в 4 часа. Медицинские маски — суровая реальность наших дней.

Антиковидные меры

Кстати, о масках. С профилактикой коронавируса тут строго. Помимо вышеописанных измерений температур при входе и браслетов на руку, в машинных залах до недавнего времени проводили периодическое кварцевание.

Ультрафиолетовая лампа где-то над кондиционером

Во время первой волны в 2020-м IXcellerate натурально закрылся на карантин, и все тут работали вахтами 14/14 дней в течение полутора месяцев, без права ~~переписки~~ выхода за ворота. Не так давно Москву захлёстывал омикрон, но коллеги баррикадироваться намертво больше не планируют, мол, хватит уже. В общем, подход в любом случае серьёзный.

Перспективы

Рынок растет, и пандемия только дала дополнительный буст к процессу. В ещё строящихся залах покупается место под стойки, и к моменту сдачи до пандемии процент купленных мест был, как говорят, 50-60%. Сейчас IXcellerate строит Moscow South в Бирюлёво, первая фаза первого ДЦ IXcellerate Moscow Five (MOS5) уже работает. Всего на юге планируется комплекс суммарной мощностью в 250 МВт, если верить официальному сайту.

Автор материала Павел Решетников, @MagicHappens

Дата-центры кампуса IXcellerate Moscow North глазами оператора FirstVDS