Где хранить данные: экскурсия в дата-центр IXcellerate

    Часто приходится слышать, что хранить данные и выводить свои системы на ИТ-аутсорсинг – это опасно и ненадёжно. Якобы данные могут быть недоступны из-за технических проблем у провайдера, дата-центр может стать объектом хакерской атаки, да и просто спокойнее, когда всё ИТ-оборудование и все данные компании рядом, «под боком», а не хранятся и обслуживаются «на стороне».

    Предлагаю посмотреть, как устроен дата-центр IXcellerate, в котором мы храним свои данные и данные клиентов. Мы – это сервис-провайдер «Онланта». Наше облако OnCloud.ru создано на базе нескольких географически распределённых дата-центров. ЦОД IXcellerate как раз и является одним из них.


    Центр обработки данных IXcellerate располагается на территории бывшей промзоны и завода ЖБИ в районе Алтуфьево на участке более 15 тыс. кв. м – это один из самых крупных дата-центров в Москве.


    Выбор территории завода железобетонных изделий для создания дата-центра был неслучаен – подобные предприятия обычно имеют мощные линии ввода электроэнергии, что как раз и нужно для дата-центра. На территории ЦОДа таких линий две – от двух разных распределительных подстанций. Расстояние между их вводами в здание не менее 150 м. Это серьезно повышает надёжность и доступность сервисов дата-центра, поскольку вероятность сбоев по причине аварий на электросети сильно снижается.

    Дата-центр IXcellerate начали строить в 2012 году и через год ввели в эксплуатацию первый машинный зал. Основателем компании IXcellerate является известный международный инвестор и британский предприниматель Гай Вилнер.

    Гай Виллнер (справа)

    Соучредителем Гая Вилнера был другой международный бизнесмен – Клифф Гаунтлетт, который начал работать в Cоветском Союзе в конце 1980-х. Он оказался одним из тех иностранцев, которые приехали сюда во времена перестройки, влюбились в страну, и, несмотря на все её проблемы, остались здесь навсегда (Клифф скончался в 2013 г). Наверное, многие помнят телефонные карточки ROL. Их выпускал российский провайдер Golden Telecom, где Клифф работал старшим вице-президентом. Кроме этого, Клифф был ещё и заядлым «рокером» – возглавлял знаменитый ROL Band, а его песни есть даже в репертуаре группы Scorpions. Отсюда и девиз дата-центра IXcellerate – Rockin’Russia.

    Корпортивный фестиваль Rockin’Russia: Клифф Гаунтлетт с гитарой, за барабанами – Александр Вершбоу, посол США в России. (фото www.passportmagazine.ru)

    В честь Клиффа Гаунтлетта Самый был назван первый машинный зал дата-центра IXcellerate.

    В дата-центре до сих пор висит гитара Клиффа, с оригинальным автографом самого Пола Маккартни

    Проектная мощность дата-центра – 13.7 Мегаватт, а емкость  – 1835 стойко-мест, и это число растёт. Площадь здания — 6000 кв. м. Кроме того, в ЦОДе есть более 600 кв. м складских помещений для клиентов, где они могут хранить необходимое для работы оборудование.

    К зданию дата-центра ведут две подъездные дороги. Территория удалена от аэропортов, железнодорожных путей, автотрасс, различного рода торгово-развлекательных центров, а также жилых зданий.

    Здание дата-центра с установленными устройствами охлаждения (чиллерами)

    Помимо основного электроснабжения от двух электроподстанций в Подмосковье в дата-центре имеются и резервные дизель-генераторы, вырабатывающие электроэнергию в аварийных ситуациях, например, если во время стихийного бедствия откажут обе подстанции.

    Для дизель-генераторов поставляется специальное топливо – летнее и зимнее. Около дизель-генераторов поставлены специальные защитные бетонные блоки, чтобы их случайно не повредили движущейся техникой.

    Уличный контейнер с дизель-генератором за защитными бетонными блоками

    Работоспособность дизелей контролируется круглосуточно в режиме онлайн, да ещё и дежурный осуществляет обход каждые четыре часа. Во время нашего визита как раз проводилось техобслуживание дизель-генераторов, и на территории находились автомобили с контрольно-измерительным оборудованием.

    При отказе сетевого электропитания аккумуляторы создают необходимый временной интервал, пока резервные дизель-генераторы после запуска выходят на необходимую мощность.

    Техобслуживание дизель-генераторов

    В дата-центре строго соблюдаются требования как физической, так и информационной безопасности, а также безопасности электросетей. Здание дата-центра облицовано т.н. сэндвич-панелями как снаружи, так и изнутри. Они обеспечивают теплоизоляцию и физическую защиту. Дата-центр строился по принципу «коробка в коробке», то есть от улицы внутренние помещения отделяют деревья, бетонный забор, газон и многослойные сэндвич-панели.

    Крыша здания расположена на высоте 14 м, а крыша машинного зала – 9 м. Между ними есть защитная прослойка от протечек.

    Многослойность позволяет поддерживать определенные параметры температуры и влажности, оптимальные для работы серверного оборудования. Микроклимат также создают охладители воздуха (чиллеры) и прецизионные кондиционеры.

    Награды дата-центра
    Дата-центр имеет сертификаты ISO 27001и ISO 9001, сертификат по стандарту безопасности данных для платёжных карт PCI DSS v3.2, а также сертификат соответствия уровню надежности IBM Level 3 в категориях «Проект», «Строительство» и «Эксплуатация». В 2018 году дата-центр IXcellerate получил сертификат Uptime Institute на соответствие уровню Tier III в категории «Дизайн».

    Уровень обслуживания SLA, предоставляемый для клиентов составляет, как говорят ИТ-специалисты, «пять девяток». Это означает, что инфраструктура дата-центра доступна 99,999% времени рабочего времени. То есть время возможного простоя в год не превышает пяти минут и шестнадцати секунд.

    Дата-центр третий год подряд является победителем и обладателем награды Russian DC Awards за самое эффективное решение по охлаждению и электроснабжению, за инновационное решение в области снижения совокупной стоимости владения ТСО (Total Cost of Ownership), а также локализацию персональных данных.

    Вложения в дата-центр составляют порядка 50 миллионов долларов, при этом уровень операционной безубыточности был достигнут после 4 лет эксплуатации, а не за обычные для дата-центров такого класса 8-10 лет.

    «Тумба гордости» с наградами и сертификатами дата-центра

    Создание дата-центра


    Дата-центр IXcellerate строился модульно, в три фазы. Машинный зал первой фазы во время строительства в 2012 году был самым большим в Москве. Залы второй и третьей фазы огибают зал первой фазы по периметру буквой Г.

    Каждый машинный зал имеет собственные погрузочно-разгрузочные зоны. Отдельная разгрузочная зона предусмотрена и для пожарной станции.

    Схема ЦОД IXcellerate

    IXcellerate создавался как «нейтральный» дата-центр, независимый от поставщиков телекоммуникационных и облачных услуг, и ориентированный исключительно на услуги «колокейшн» (co-location), т.е. размещение оборудования клиентов, его защиту и обеспечение требуемой инженерной инфраструктуры с установленным уровнем обслуживания по стандартному договору.

    Бывает, что клиенты спрашивают про облачные услуги. Для таких случаев в дата-центре имеется экосистема партнёров, на оборудовании которых предоставляются облачные решения. Мы как раз этим и занимаемся.

    Посмотрим, что внутри


    Дата-центр обязывает сотрудников и авторизованных клиентов проходить двойную идентификацию, включающую стандартную ID-карту и биометрический контроль (сканер ладони руки).

    Контроль доступа для сотрудников

    Доступ в ячейки («клетки»), где установлено клиентское оборудование, находится  под круглосуточным контролем, то есть туда могут попасть только авторизованные клиентом сотрудники дата-центра. Эти ячейки отгорожены друг от друга металлической сеткой.

    Ячейки также имеют собственные средства физической защиты, например, кодовые замки и видеокамеры. Всего предусмотрено пять рубежей физической безопасности с постоянно работающей системой мониторинга и управления зданием (BMS) Computrols.

    В дата-центре стало хорошей традицией называть каждый машинный зал в честь компании или человека, который внёс наибольший вклад в его создание.

    Зал первой фазы, названный в честь Клиффа Гаунтлетта, спроектирован на 220 стойко-мест с оборудованием клиентов.

    При строительстве зала второй фазы были использованы инвестиции японской компании Sumitomo Corp., поэтому он называется The Summit Hall. Зал третьей фазы назван «Высота» в честь технического директора дата-центра Сергея Владимировича Вышемирского, который раньше работал на аэродроме «Чкаловский».

    Табличка с названием третьего машинного зала

    Электропитание и охлаждение


    Для питания оборудования клиентов используется электричество повышенного качества. Что означает слово «качество» применительно к электричеству? Не секрет, что промышленный электрический ток иногда имеет пиковые всплески, которые могут вывести из строя клиентское оборудование. Поэтому в дата-центре имеется специальная «электрическая комната», где эти выбросы устраняются. В результате получается электрический ток частотой 50 Герц, имеющий форму «чистой» синусоиды, без выбросов и пиков. Электрораспределительное оборудование постоянно контролирует девять параметров качества тока.

    Резервирование электроснабжения ЦОД организовано на уровне 2N: как уже говорилось, к дата-центру подходят два независимых луча электропитания. Повреждение одного маршрута прокладки не повлечет за собой остановки дата-центра или его части, так как всегда имеется резервный маршрут.

    Так выглядят входящие линии с подстанций электропитания на одном из маршрутов прокладки.

    Ввод электропитания от трансформаторной подстанции

    Вот ещё небольшой штрих к теме электрической и пожарной безопасности. Электропроводка от выключателей проложена в металлических трубах, чтобы при возможном коротком замыкании не летели искры наружу.

    Выключатели для ламп освещения с проводкой в металлических трубах

    Все кабели электропитания проходят под фальшполом высотой 1 м. Под фальшполом в стойки с оборудованием подаётся холодный воздух с заданной влажностью в полном соответствии с международным стандартом ASHRAE.

    На ячейках с клиентским оборудованием установлены датчики температуры и влажности, которые не только визуально отображают эти параметры, но и регулярно передают их в централизованную систему управления инженерной инфраструктурой дата-центра.

    Датчик температуры и влажности

    Для питания каждой стойки под фальшполом есть две розетки – каждая от отдельной линии ввода с разных электроподстанций. Для ещё большей надёжности они проложены в отдельных желобах.

    Две розетки питания стойки (сквозь решётку фальшпола)

    Некоторые клиенты для повышения безопасности также устанавливают собственные видеокамеры в свои ячейки с оборудованием.

    В дата-центре имеются «телеком-зоны», где установлено оборудование 44 операторов связи, включая Orange, Sprint, Beeline, MegaFon, MTS, Telia, других операторов и Интернет-провайдеров, а также узел MSK-IX и платформа обмена трафиком Eurasia Peering IX, объединяющий 38 операторов-резидентов.


    В дата-центр для установки принимается клиентское оборудование любого размера и функционала, даже ленточные накопители.

    Один из наших клиентов – телеканал с многомиллионной аудиторией – осуществляет здесь резервирование для вещания в HD.

    Пожарная безопасность


    Способность быстро и эффективно потушить возгорание, а лучше вообще его не допускать – одна из важнейших характеристик любого дата-центра.

    В IXcellerate применена трёхуровневая система обнаружения и тушения пожара. Первый уровень – система сверхраннего обнаружения задымления Vesda, реагирующая на изменение плотности воздуха и количества примесей и пыли всего на 0,01%. Самообучающаяся система с элементами искусственного интеллекта держит в памяти определённую матрицу параметров воздуха. Такая система может распознать задымление на самой ранней стадии, а также определить сектор, где произошло изменение параметров.

    Apollo – интегрированная система пожарной сигнализации и системы оповещения – следующая ступень в пожарной безопасности ЦОД.

    Но гордость IXcellerate – автоматическая система пожаротушения HI-FOG, которая способна локализовать возгорания на площади 4 х 4 кв. м (с возможностью нахождения персонала непосредственно в машзале и без воздействия и последствий для других участков). Для этого в системе HI-FOG применены водные распылители (спринклеры), находящиеся под постоянным давлением и размещаемые над каждым локальным периметром 4 х 4 м.

    Важно отметить, что в HI-FOG используется система сухотрубов, т. е. используемое в штатном режиме вещество для тушения огня – дистиллированная вода – хранится в цистерне, которая размещается в пожарно-насосной станции.

    Один из спринклеров

    В спринклере находится  шарик с эфирным веществом, который лопается при температуре 57о С, после чего автоматически запускается система пожаротушения.

    Система HI-FOG создаёт мелкодисперсный туман, который закрывает зону возгорания, вытесняет из неё кислород и снижает температуру. То есть система позволяет устранить две причины пожара их трёх возможных. Третья теоретически возможная причина пожара – наличие горючего материала. Однако уже упомянутые сэндвич-панели, которыми облицованы как внешние, так внутренние стены, а также плиты фальшпола в зале выполнены из негорючего материала. Эти панели могут обеспечить до 90 минут огнеупорной защиты. Кроме того, в дата-центре используются только малодымные кабели.

    Система HI-FOG, пожалуй, оптимальна для применения в дата-центре, поскольку обеспечивает локальное тушение, а не заливает газовой пеной весь зал, нанося ущерб оборудованию, не охваченному пожаром. Кроме того, ее использование не требует обязательной эвакуации людей.

    Сертификат FM Approved, выданный международным лидером в сфере независимых испытаний, позволяет использовать технологию HI-FOG также в энергетической отрасли, на перерабатывающих и обрабатывающих промышленных предприятиях, а также подводных лодках и на круизных лайнерах.

    Пожарная станция

    Цистерна с дистиллированной водой (синего цвета, видна сзади на фото) рассчитана на тушение всей площади дата-центра. Такая же система работает в московском метрополитене и Большом театре.

    Пульт управления и мониторинга


    На пульте управления и мониторинга в режиме 24 х 7 находятся дежурные, наблюдающие за работой инженерных систем и ведущие приём заявок от клиентов. Система видеонаблюдения позволяет быстро переходить от отображения общей схемы дата-центра к изображениям отдельных залов, ячеек, коридоров и стоек оборудования, компонентов системы пожаротушения (включая спринклеры), электропитания, климатики.

    Стандартный договор SLA предусматривает, что первый ответ на заявку о техподдержке должен быть дан в течение 30 минут. Однако в дата-центре фактическое время обратной связи клиенту не превышает шести минут, согласно статистике портала Zendesk, который используется для регистрации обращений.

    Поддержка осуществляется на русском, английском и на китайском языках.

    Пульт системы управления и мониторинга

    За всё время работы дата-центра с момента его запуска в 2013 году не было ни одного простоя (даунтайма), ни одного нарушения SLA.

    Дата-центр и его слаженная команда оставляет впечатление живого организма.

    Внутри ЦОДа даже есть место музыке: когда переходишь по коридору из одного зала в другой, нельзя не заметить аппаратуру для рок-бэнда, в котором когда-то играл Клифф Гаунтлетт и который выступает на корпоративных мероприятиях и обязательном ежегодном open air фестивале IXcellerate – Rockin’Russia.

    Коридор между залами дата-центра

    IXсellerate планирует строительство новых площадок, в дополнение к Moscow One появятся ЦОДы Moscow Two, Moscow Three и т.д.

    Наша компания "Онланта" начинала сотрудничество с IXcellerate с двух стоек для реализации амбициозного на тот момент проекта по созданию геораспределенного кластера. Тогда ни у кого на российском рынке подобного решения не было. Каналы темной оптики нам стоили космических денег по сравнению с прибылью от услуг, которые мы предоставляли. Отдельную услугу по катастрофоустойчивому облаку у нас так никто и не купил, поэтому мы просто стали развивать своё облако сразу на двух площадках. Потом появилась третья, так как стало очевидно, что нельзя обеспечить полноценную отказоустойчивость и балансировку нагрузки без отдельного «свидетеля», который бы не был привязан к одной из двух площадок. Но объективно можно сказать, что из всех трёх площадок IXcellerate является лучшей – как по организации сервиса, так и в целом по адекватности менеджмента.

    Делитесь и вы, что вы больше всего цените в своем дата-центре и, наоборот, что вас больше всего раздражает?

    • +53
    • 5,3k
    • 2
    ГК ЛАНИТ
    489,00
    Ведущая многопрофильная группа ИТ-компаний в РФ
    Поделиться публикацией

    Комментарии 2

      +3
      Солидно сделано, не на коленке, впечатляет.
      А можно уточнить? Если не секрет, конечно.
      Стойка запитана от двух розеток, от разных подстанций. И каждое питание резервируется от дизеля? Или дизель дает резерв только по одной линии?
      А как сделаны вводы оптики? Территориально разнесены, принадлежат разным магистральным провайдерам?
      Что считается нормальным резервом, без паранойи?
        +3
        По дизелю резервируются обе линии, причём дизели подключены по схеме, обеспечивающей резерв n+1. То есть, резервирование осуществляется по обоим лучам.
        В ЦОДе в настоящее время имеются два телеком ввода, территориально разнесенные не только на территории ЦОД (расстояние между выводами 150 метров), но и по городу. Первая кабельная канализация принадлежит МГТС, вторая — дата-центру.
        Что считается нормальным резервом, без паранойи?
        Чтобы ответить, что является нормальным резервом, нужно понять, о какой услуге мы говорим и как бизнес компании зависит от доступности данных. Если серверное оборудование не будет доступно 5, 10, 30 минут, сколько прибыли потеряет компания?

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое