Самое главное — тут после машзала подают горячие влажные салфетки, как в японских ресторанах. Это не имеет никакого отношения к технической части, но по-человечески приятно.
А это гитара с автографом Пола Маккартни, и да, она у них висит на входе в машзал:
У этого ЦОДа есть определённое настроение.
Выглядит всё это как огромный ангар в промзоне около метро «Отрадное». Высота ангара — 14 метров, внутри построен ЦОД высотой 9 метров. Оставшееся пространство играет роль теплоизолятора, что сказывается на местных особенностях охлаждения. Здание выбиралось так, чтобы не выходило на дорогу краями (по протоколам сертификации нельзя получить высокие уровни, если в машзал можно попасть на грузовике, протаранив стену, — видимо, были случаи), имело два разных маршрута заезда и было относительно недалеко от метро. Там же рядом открыли станцию МЦК, но дорога идёт по таким весёлым местам….
Канарейка. Нам тут пока всё нравится, поэтому рассказ в целом положительный. Но клятвенно обещаю, что, если что-то пойдёт не так, мы будем первыми, кто об этом расскажет. Ну или просто уберём вот этот абзац из поста, если будем связаны NDA.
Что за дата-центр IXcellerate
У нас есть облако Техносерв. Это натурально облако для российских заказчиков, где есть сегменты, сертифицированные по PCI DSS и по классу для «тяжёлых» ПД и государственных информационных систем. В облаке также есть коммерческие заказчики, которым нужно S3 и AWS API в России. До текущего года мы предоставляли сервис из дата-центра DataPRO, про который уже был короткий рассказ.
Естественно, какой бы крутой ни был ЦОД, всегда нужен второй на случай попадания метеорита в первый. Геораспределённая площадка — залог здоровья и долгой жизни.
Вторую площадку мы выбирали так же тщательно, как первую. Нам нужен был T3 UI (точнее, регламенты из него), возможность работать с PCI DSS (то есть собственный сертификат на физическую защиту ЦОДа) и масса других фич. В итоге мы встали в ЦОД IXcellerate — это тот, где внутри одного из машзалов замурованы стойки Оранжа, стоит на пиринге *одна очень крупная игровая компания*, водятся крупные банки и госкомпании, Reuters и Nestle. «Коммерсантъ» писал, что Apple и Booking для персданных в РФ выбрали тоже это место. В общем, если у них что-то упадёт, им просто крышка. То есть мотивация делать всё правильно достаточно хорошая.
Вторая особенность — руководитель не новичок. Далеко не новичок. Гай Вилнер — предприниматель из Англии. Он строит дата-центры уже не первый и не десятый раз. До начала проекта он владел собственной сетью из 14 ЦОДов в Западной Европе, а потом продал её Equinix (оператор ЦОД № 1 в мире). После этого он решил повторить приключение и открыть огромный ЦОД в Бразилии, России или Турции. В Бразилию его не пустила жена с детьми (потому что он нужен был дома), а в России он встретил Клиффа Гаунтлетта. Это легендарная личность в Рунете в сфере телекоммуникаций: некогда он был вице-президентом знаменитого «Голден Телекома» и РОЛ — возможно, с их карточек для доступа в Интернет вы начали выходить в сеть. Так вот, он тоже хотел построить огромный ЦОД. И даже успел его застать при жизни.
К чему я всё это рассказываю — ЦОД был построен британским предпринимателем с хорошими европейскими связями, поэтому внутрь сразу пришли европейские же клиенты. Это означает очень четкую отчётность по всем транзакциям, которая дает некую уверенность в том, что процессы и регламенты внутри ЦОДа в полной мере реализованы.
ЦОД строили по частям, запуская машзал за машзалом. Первый этап был на 220 стоек (начали строить в 2012-м, запустили в эксплуатацию в середине 2013-го). Второй машзал — на 515 стоек (1040 квадратных метров, там наши первые сервера), и третья фаза (где наше ядро) — 1100 стойко-мест (это 2500 квадратов).
Три машзала независимы друг от друга, но это не три разных ЦОДа, потому что есть перекрёстное резервирование части узлов. Первые два машзала сертифицированы по IBM L3, третий проходит сертификацию Uptime TIER III. Если очень коротко, они почти одинаковые и разница на уровне проекта, например, в том, что для UI нужна выделенная парковка для инженеров, физические барьеры для машин, где-то сопротивляемость горению 45 минут (окна в UI) против часа (IBM), разные размеры дверей и так далее.
Генплан делала компания Arup. У объекта есть сертификат Арупа за лучшее решение в области охлаждения и энергоснабжения. Это потому что ЦОД коммерческий: чем ниже PUE, тем дешевле его эксплуатировать. Поэтому и вводили всё по частям (то есть никакое оборудование не простаивало, инженерку закупали по мере масштабирования), при этом шла борьба за каждый киловатт. Сейчас PUE — 1,15–1,4 в зависимости от сезона. В ЦОДе размещается довольно много китайских заказчиков, для которых с их подходом к экологии и использованию электричества эти числа — просто космос. У них обычный PUE может доходить и до двух.
На момент начала эксплуатации баланс заказчиков у них был примерно 50/50 отечественных к иностранным. В то время все лихо переезжали в рамках закона о защите персональных данных и, как следствие, на российском рынке облачных инфраструктур (это то, что делаем мы) был повышенный спрос на дата-центры (это то, где провайдерам облаков надо было размещаться).
Именно сюда сейчас идут все больше компаний из-за рубежа, потому что тут стоит знаковый заказчик — иностранный провайдер Orange, который для многих и жизненный ориентир, и корпоративный стандарт. И ещё третий машзал финансировала компания Goldman Sachs Group, что добавляет надёжности проекту в глазах иностранных руководителей. ЦОДы не меняют каждый год, поэтому им важно продумать на 10 лет вперёд.
Учитывая обилие внешних контактов, поддержка первой линии общается письменно на русском, английском и китайском. Все надписи продублированы на китайском:
ЦОД, благодаря всё тому же Гаю, состоит в двух альянсах ЦОДов — европейском и азиатском. Это как альянсы авиакомпаний, когда вы можете купить билет с пересадкой между членами альянса и вам перегрузят багаж без вашего участия. Очень многим нужны геораспределённые размещения, и поэтому делаются такие альянсы. Заказчик одного из ЦОДов альянса фактически работает со всей сетью в одно окно. На нашем рынке это пока уникальное явление.
Физическая защита
Для PCI DSS-объектов очень важна защита здания. Первый периметр — это внешний забор, который снабжён датчиками, камерами и колючей проволокой. На входе на территорию КПП. Затем нужно попасть в само здание (открывают по пропуску или камере), дальше нужно пройти охрану (пропуска, досмотр, изъятие бутылок с кефиром), потом нужно зайти в машзал (биометрические сканеры ладони, отпечатков пальцев или коды). В машзале сами стойки чаще всего в загородках (кто как поставит, обычно тоже отпечатки пальцев или ключи, вроде была одна mantrap для банка: это тамбур, куда можно войти по пропуску или пальцу, а вторая дверь — только по разрешению охранника с камеры). Везде видеонаблюдение.
Субъективно физический периметр в DataPro немного сильнее, если вы стоите без загородки. С загородкой же тут всё намного интереснее, потому что, например, рядом с нами стоят японцы. У них собственный стандарт ячейки и толщина прута 6 мм. Говорят, есть и те, у кого 8 мм, но я не измерял. У многих в загородках стоят инфракрасные датчики движения или пересечения, есть пара клеток от пола до потолка.
Загородок тут очень много. Больше, чем где бы то ни было в коммерческих ЦОДах по России. По крайней мере, из того, что я знаю.
Обзор
Странности начинаются сразу после входа. Комната отдыха для админов больше похожа на библиотеку:
Можно немного оглядеться вокруг и увидеть проигрыватель с настоящим винилом. Есть винил Led Zeppelin и Deep Purple. Дипи шмота нет.
Всё потому, что инвестор любит рок даже больше, чем дата-центры. Эти же товарищи делают фестиваль Rockin’Russia. Клифф (который был директором до запуска в эксплуатацию) написал две песни для Scorpions (например, One and One Is Three).
Есть бахильница и разбахильница:
Рядом машина, которая мочит и греет салфетки:
И еда с водой (бесплатные):
Зона разгрузки
Вот здесь проводится подготовка оборудования к заносу в машзал. Здесь, пожалуй, самая интересно оборудованная зона разгрузки среди российских ЦОДов. Во-первых, она большая. Во-вторых, тут есть теннисный стол. В-третьих, тут есть специальная воздухоочистка. Это камера акклиматизации для первого машзала (мы основное оборудование грузили через другую, похожую):
Обратите внимание на высоту ворот.
Оборудование заносится сюда, по нему проходят пылесосом Керхер (обычная модель из самых мощных), потом железо в коробках отстаивается, потом освобождается от коробок (внутри картон запрещён — и вообще всё горючее запрещено).
Очень удобные упоры с возможностью крепления двери:
Провайдеры
Вообще, от ЦОДа нужны три вещи: правильное охлаждение, правильная связь и правильное питание. Про охлаждение добавлю, что у них зоопарк из обычных кондиционеров, чиллер-фанкойла и фрикулинга в разных залах. А вот про связь очень важно, что тут прямая связь с М-9 и есть пиринговые узлы. То есть если трафик пробежит от одного сервера ЦОДа до другого сервера ЦОДа (возможно, другой компании) через «девятку» или аналогичные европейские узлы, то пиринговый узел прогонит его напрямую через локальную сеть. Ну и дальше уже пиринг провайдеров. Учитывая, что тут стоит одна очень большая игровая компания, я догадываюсь, кому это было нужно в первую очередь, чтобы у юзеров не лагало.
На площадке на момент публикации поста 43 провайдера. Год назад это было второе место в России по коннективити. Сейчас, вполне возможно, IXcellerate уже вышел на первое, но исследования пока не было.
На крыше есть площадка под спутниковое оборудование, можно ставить любые антенны, но пока ничего нет. Говорят, один из заказчиков планировал поставить туда спутниковый телепорт, но в итоге не поставил.
Машзал
Давайте просто походим, а я покажу, что можно было снимать.
Много клеток:
Оптимизация охлаждения — загородки и панели с вынимаемыми ламелями:
Термодатчики:
PDU делаются под них по их проекту на подмосковном заводе. Говорят, это импортозамещение, которое смогло. Они, кстати, запираются:
Вот большой машзал:
Вот за такими дверями техпомещения и секретные уровни:
Бывает, что за ними закрытые комнаты на 25–35 стоек для секретности. Но может оказаться и аккумуляторная. В первом машзале обычные батареи, в третьем уже литий-ионные. Последние хороши отдельной телеметрией каждой батареи, сроком службы до 12 лет (у свинцовых максимум 7, а скорее, 5), они более стойкие к перепадам температуры и нагреву, плюс два градуса не вышибают год из срока эксплуатации. В перспективе больше 5 лет они дешевле свинцовых. У каждой батареи свой отдельный кожух:
Вот оптические лотки. Посмотрите, какая забота о людях: вот эти заглушки не дают кабелю порезаться о края держателя:
Вот это гравицапа. Предлагаю угадать, что это такое:
В некоторых клетках клиенты хранят табуретки, стремянки, терминалы. Есть пара шкафов с ЗИП. Требование одно – чтобы из негорючего материала. В паре стоек стоят чемоданчики (это которые ставятся на салазки и предназначены специально для хранения вещей в стойке). А вот характерная деталь: металлические трубы для слаботочки.
Наше железо:
Питание
На территорию приходит два независимых городских луча на 13 МВт.
Сейчас питание 2N. В следующем году должно быть 3N — строят энергоцентр на три газовые турбины.
Вот дизели:
Бетонные блоки, чтобы машина даже случайно не въехала в дизель:
Рядом охлаждение:
И в конце нас ждёт газон для музфестивалей и футбола. Там же можно отдохнуть:
ТТХ ЦОДа
- Сертификаты: PCI DSS, ISO 27000 (27001), ISO 9000 (9001), ISO 14001:2004.
- Здание площадью 6 тысяч квадратных метров, 1835 стойко-мест, мощность — 13,7 МВт.
- Энергетика — 2N, ИБП+ДГУ, охлаждение — чиллеры с фрикулингом, резерв — N+1.
Пока всё. В ЦОДе работает 50 человек, включая неинженерный персонал. Мы очень долго выбирали себе вторую площадку и вроде бы выбрали правильно (по крайней мере, наше оборудование стоит тут уже больше года). Но ещё раз отмечу: если что-то поменяется, буду держать в курсе.