Pull to refresh

Как мы строили отказоусточивый дата-центр уровня TIER-III

КРОК corporate blog
В 2009 году здесь был уже давно не использующийся склад уникальных компрессоров (в частности для системы «Энергия-Буран»), куда когда-то заезжал для разгрузки поезд.



Здание нам сразу понравилось. Мы выкупили его для строительства собственного ЦОД повышенной ответственности. Через несколько лет на месте цеха появился современный ЦОД, который стал третьим в России, сертифицированным по уровню Tier III Uptime Institute как объект.

Недавно я нашел довольно много фотографий со строительства. Думаю, вам будет интересно посмотреть, как всё это выглядит в процессе, обычно такие штуки не показывают.


А это 2012 год, машинный зал только начинает заполняться

Осторожно, под катом много фотографий
Читать дальше →
Total votes 108: ↑106 and ↓2 +104
Views 88K
Comments 50

Инфраструктура отказоустойчивого дата-центра класса TIER-III

КРОК corporate blog


В средней части первого этажа ЦОД «Компрессор» два машзала, строго над ними — два машзала на втором этаже. В каждом зале по 1 МВт электромощности на стойки. На первом этаже трансформаторная подстанция, распредпункт, электрощитовая. Слева-сверху на схеме бытовой комплекс, помещение охраны. Справа от машзалов – помещение системы охлаждения – насосная станция. Рядом с машзалами (по бокам) коридоры с фанкойлами, по центру — коридор с распредщитами.
Читать дальше →
Total votes 31: ↑27 and ↓4 +23
Views 42K
Comments 21

Дата-центр NORD на Коровинском шоссе

DataLine corporate blog
Знакомьтесь, это дата-центр NORD на Коровинском шоссе.
ЦОД состоит из трех корпусов (NORD 1, NORD 2, NORD 3) и на сегодняшний день является самым масштабным объектом компании DataLine. Общая площадь всех корпусов дата-центров NORD 7636 кв. м., на таких пространствах с легкостью разместятся 1280 стоек в 8 машинных залах.

Панорамный вид на локацию NORD: NORD 2 (серый) и NORD 1, тот, что у серого под боком. Общая площадь NORD 2 — 1713 кв. м, количество стойко-мест — 474. Общая площадь NORD 1 — 1320 кв. м, количество стойко-мест – 284. А серый корпус в стороне – это NORD 3, который был запущен в этом году. Общая площадь — 1880 кв. м, количество стойко-мест — 426. Там же, где котлован (сейчас уже залит фундамент), строится новый корпус NORD 4 общей площадью 11700 кв. м и на 2000 стоек. Запуск первых машинных залов NORD 4 запланирован на первую половину 2014 года.

Читать дальше →
Total votes 63: ↑61 and ↓2 +59
Views 39K
Comments 51

Когда система бесперебойного электропитания может вызывать перебой или «История нескольких аварий»

R-Style corporate blog
Самый надежный источник бесперебойного питания (ИБП) – шкаф, с одним проходящим насквозь кабелем. Это шуточное утверждение иногда имеет смысл. Особенно в России, где на передний план зачастую выходит человеческий фактор, а ошибку может допустить кто угодно, и инженер, и «бабушка — смотрительница» за ЦОДом. Поэтому количество девяток в коэффициенте доступности далеко не всегда определяет реальную надежность объекта.


Понятно, что система бесперебойного электропитания (СБЭ) должна обеспечивать максимальную надежность электропитания для работы объектов, приложений и сервисов. Однако периодически возникают ситуации, когда сама СБЭ становится причиной сбоя – дополнительной точкой отказа. Это проблема, с которой могут столкнуться многие из вас. Крылатое латинское выражение «Praemonitus praemunitus» («предупрежден — значит вооружен») отражает цель моей статьи. Материал основан на реальных событиях и личном опыте с разных мест работы. Сейчас я работаю в системном интеграторе R-Style, где на деле применяю свои знания и успешно избегаю описанные ниже ситуации. Надеюсь, что статья поможет «вооружиться» и вам. По политическим этическим соображениям подробности об объектах не будут раскрыты. Все совпадения случайны. Аварии и их типы распишу по пунктам с технической стороны.


Справка: Причина самого популярного типа отказов ЦОДов – сбой электропитания (46% всех случаев по данным Ассоциации Информации IT-индустрии США).

Читать дальше
Total votes 55: ↑54 and ↓1 +53
Views 29K
Comments 10

Зелёная энергетика для базовых станций и всего до 2 КВт — трёхлетний опыт с ветряками, солнечной генераций + геозондом

КРОК corporate blog Development of communication systems *

Монтаж ветрогенератора


Ветрогенератор, контейнер с батареями, геозонд и базовая станция в Самаре

Примерно 3 года назад мы начали эксперимент по обеспечению базовых станций энергией из источников на месте. Уже через полгода стало понятно, что геозонд для базовых станций — очень полезная вещь в средней полосе, солнечные батареи зеленоградского завода замечательно себя показывают, но главная проблема — не в получении энергии, а в её преобразованиях и накоплении.

Расскажу про сломанные ветряки и то, что мы поняли за три года, и уникальный геозонд для охлаждения стойки с оборудованием связи.
Читать дальше →
Total votes 54: ↑54 and ↓0 +54
Views 52K
Comments 46

Путь электричества в дата-центре

DataLine corporate blog Hosting IT Infrastructure *Data storage *
Система энергоснабжения — одна из самых критических составляющих инженерной инфраструктуры дата-центра. Без электричества дата-центр за доли секунды может превратиться в бесполезное здание с грудой простаивающего ИТ-оборудования. Чтобы такого не случалось, дата-центр имеет на борту дизельные генераторы и источники бесперебойного питания.

Сегодня подробно поговорим о системе энергоснабжения дата-центра: узнаем, какой путь проходит электричество до стойки и что происходит, когда в ЦОДе пропадает городское электричество. Сабж разберем на примере одного из наших дата-центров.

Читать дальше →
Total votes 31: ↑29 and ↓2 +27
Views 22K
Comments 39

Динамические ИБП: история одного инженерного апгрейда очень в духе времени

КРОК corporate blog IT Infrastructure *
Сейчас расскажу про эволюцию устройства, изначально предназначенного для обеспечения питания военных дата-центров по всему миру. Вот такой:


Новое поколение, «бронепоезд» на жаргоне. Справа наша давняя мечта — решётка, чтобы крыс не засасывало.

Технология родилась примерно в тот же период, что и ядерная бомба, поэтому она простая и понятная, как автомат Калашникова. Берём огромный железный волчок, раскручиваем электромотором. После преодоления инерции покоя тяжеленная железка крутится почти без трения. Отрубается питание — железка начинает сама крутить электромотор, который её запускал, и тем самым преобразует свою кинетическую энергию в электрическую некоторое время, пока не остановится. За это время успевает запуститься дизель.

Старые советские ДДИБП, которые стояли на Байконуре, принципиально не отличаются от своих современных аналогов. Те же волчки, те же дизели. Но есть масса полезных нюансов. Вот о них и о том, как вообще эволюционирует такое «кондовое» железо, и поговорим.
Total votes 60: ↑59 and ↓1 +58
Views 34K
Comments 45

Как тестируют ДГУ в дата-центре

DataLine corporate blog IT Infrastructure *
В эксплуатации дата-центров мы уделяем тестированию инженерных систем и оборудования много внимания. Один из самых важных тестов – это запуски дизель-генераторных установок (ДГУ). Эти испытания помогают проверить работоспособность сразу нескольких инженерных систем.

ДГУ отвечают за гарантированное энергоснабжение. В случае перебоев с городским питанием на них ложится вся нагрузка дата-центра. Питание от ДГУ обычно называют резервным, но относиться к нему стоит как к основному: только этим видом энергоснабжения мы можем управлять. Это еще одна причина, почему тесты ДГУ так нужны.

На всех площадках у нас работает суммарно 30 ДГУ мощностью от 1200 до 1750 кВт. Сегодня расскажем, как мы тестируем ДГУ в своих дата-центрах и на что обращаем внимание в процессе. Надеемся, что наш опыт будет полезен и обладателям небольших серверных.

Перед прочтением рекомендуем пробежаться по нашей прошлой статье и освежить знания об устройстве электроснабжения в дата-центрах.


ДГУ в помещении и в контейнерном исполнении.
Читать дальше →
Total votes 29: ↑28 and ↓1 +27
Views 12K
Comments 7

Мониторинг инженерной инфраструктуры в дата-центре. Часть 2. Система энергоснабжения

DataLine corporate blog Hosting IT Infrastructure *Data storage *
Часть 1. Мониторинг инженерной инфраструктуры в дата-центре. Основные моменты.
Часть 2. Как устроен мониторинг энергоснабжения в дата-центре.
Часть 3. Мониторинг холодоснабжения на примере дата-центра NORD-4.
Часть 4. Сетевая инфраструктура: физическое оборудование.

Продолжаем серию статей про работу систем мониторинга инженерной инфраструктуры в наших дата-центрах. В первой части разобрали теоретические моменты, сегодня обратимся к практике. Начнем с самой критичной системы – энергоснабжения. Перед прочтением рекомендуем освежить знания про устройство электропитания в дата-центре.


Одна из схем для мониторинга системы энергоснабжения в дата-центре OST-2.
Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views 13K
Comments 8

Не скоро строится забор, тем более – красивый ЦОД. Как мы строим ЦОД «Авантаж». Часть 1

Группа Т1 corporate blog IT Infrastructure *Data storage *Data storages *


Этим постом начнем свой рассказ о том, как «Техносерв» ведет строительство с чистого поля нового дата-центра «Авантаж», который станет одной из крупнейших коммерческих площадок московского региона. Участок проведения работ расположен восточнее города Лыткарино (Московская область, г. Лыткарино) в 9 км от Москвы. ЦОД разместится на территории в 3 га, на которой уже сейчас возведен комплекс зданий и сооружений общей площадью 1,08 га. Внимание, впереди много фото. Прошу под кат.


Читать дальше →
Total votes 19: ↑19 and ↓0 +19
Views 12K
Comments 15

Как мы обслуживали дизель-динамический источник бесперебойного питания

КРОК corporate blog IT Infrastructure *

Это такой здоровенный волчок-ротор, стоящий в разрыве электрической цепи на входе в дата-центр. Он постоянно крутится. Если отключают питание, то он по инерции обеспечивает беспрерывность питания до запуска дизеля. Питание без переключения снова восстанавливается. У нас там выработались подшипники, и мы решили их немного поменять.

Современная практика такова, что здания строятся с учётом того, что там будет резерв в части энергоснабжения, в нашем случае это ДДИБП. Здание подземного дата-центра у нас уже было, и поэтому замена проходила очень увлекательно.

Вот, например, задача на знание физики.



Здесь на вал посажена соединительная муфта. Она прилегает к валу настолько плотно, что снять его нет никакой возможности.

Мы позвали специального мужика с чёрным поясом по сварке, задача которого была ОЧЕНЬ БЫСТРО разогреть эту муфту. Было важно, чтобы муфта нагрелась как можно сильнее, при этом вал оставался холодным, и поэтому для лучшего контроля мы наблюдали за этим процессом через тепловизор. Параллельно тепловым работам между валом и муфтой прикладывалось усилие гидравлическим 10-тонным прессом, и в какой-то момент у нас получилось «сдернуть» и впоследствии снять эту муфту. Обратно ставить муфту было гораздо проще. Мы постепенно её разогрели до 200 °С и надели на вал.

В общем, лучше я расскажу сначала про работу людей, обслуживающих эти ваши хрупкие процессоры в дата-центрах.
Читать дальше →
Total votes 89: ↑88 and ↓1 +87
Views 32K
Comments 77

Топливный мониторинг для дизель-генераторов ЦОДа – как его делать и почему это так важно?

Linxdatacenter corporate blog IT Infrastructure *Systems engineering


Качество системы электроснабжения – важнейший показатель уровня сервиса современного дата-центра. Это понятно: абсолютно все оборудование, необходимое для работы ЦОДа, питается электричеством. Не будет его – серверы, сеть, инженерные системы и СХД прекратят функционировать до полного восстановления электроснабжения.  

Рассказываем, какую роль в бесперебойной работе ЦОДа Linxdatacenter в Петербурге играют дизельное топливо и наша система контроля его качества. 

Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views 4.3K
Comments 16

Конкурс! Истории при свете мерцающих серверов…

Selectel corporate blog System administration *Entertaining tasks Server Administration *
image

На Хабре сегодня уже звучали хэллоуинские байки. А как насчет конкурса на самую страшную историю?

Пускай она начинается так:

Пустой ночной офис отзывался холодом. Шум серверов и ветер в холодных коридорах притупляли накрывающее чувство одиночества. Уставший от ослепляющего света монитора, он решил найти минутное освобождение в какао с маковыми сушками. Едва сделав шаг в сторону кофе-поинта, он почувствовал, как запускается ДГУ...

А продолжение этой истории предстоит придумать вам!
Сладость или гадость
Total votes 23: ↑19 and ↓4 +15
Views 3.4K
Comments 11

Чистота – залог энергоздоровья ЦОДа, или как уход за ДГУ влияет на SLA

Linxdatacenter corporate blog IT Infrastructure *Systems engineering
Без надежного резервного электроснабжения нет гарантий бесперебойной работы дата-центра. Поэтому мы решили посвятить этой теме сразу несколько постов. Ранее мы уже рассказывали про систему топливного мониторинга ЦОДа Linxdatacenter в Санкт-Петербурге. Сегодня расскажем, как правильно ухаживать за важнейшим элементом резервного энергопитания — дизель-генераторной установкой (ДГУ).


Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 2.3K
Comments 12

Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

DataLine corporate blog IT Infrastructure *Data storage *Data storages *Systems engineering
Где-то посередине между Москвой и Санкт-Петербургом есть небольшой город Удомля. Раньше он был известен Калининской АЭС. В 2019 году рядом появилась еще одна достопримечательность – мегаЦОД «Удомля» на 4 тыс. стоек. 

После присоединения к команде Ростелеком-ЦОД специалисты DataLine также будут заниматься эксплуатацией этого дата-центра. Наверняка вы уже что-то слышали про «Удомлю». Сегодня мы решили подробно рассказать, как там все устроено.


Индустриальные пейзажи: дата-центр площадью 32 000 м² и АЭС на заднем плане. Удомля образца весны 2019.

Под катом собрали больше 40 фото инженерных систем дата-центра с подробным описанием. Тех, кто дойдет до конца, ждет приятный сюрприз.
Читать дальше →
Total votes 28: ↑27 and ↓1 +26
Views 13K
Comments 23

Гуляем по новому дата-центру “Ростелеком-ЦОД” в Санкт-Петербурге

DataLine corporate blog IT Infrastructure *Data storage *Data storages *Systems engineering

Сегодня отправимся в Калининский район Санкт-Петербурга и со всех сторон посмотрим на дата-центр "Ростелеком-ЦОД", который запустился в декабре 2020 года. Новый ЦОД построили "с нуля"  недалеко от корпусов завода ЛОМО по адресу: ул. Жукова, 43 (не путать с проспектом Маршала Жукова!). 

Пять лет назад здесь было заброшенное строительство мазутохранилища (а мы любим строить на территориях старых заводов). Сейчас на петербургской площадке заказчики уже арендовали первые стойки и заработали облачные сервисы DataLine. 

Погулять и посмотреть
Total votes 26: ↑24 and ↓2 +22
Views 13K
Comments 11

Проверка двигателя на прочность: как мы тестируем динамические ИБП

DataLine corporate blog IT Infrastructure *Data storage *Data storages *Systems engineering

Привет, Хабр! Меня зовут Виктор, я главный инженер-энергетик в мегаЦОДе "Удомля". Мои коллеги уже показывали, как мы организуем гарантированное электропитание дата-центра с помощью ДГУ и регулярно проверяем их работоспособность. Но кроме ДГУ есть другое оборудование, которое может одновременно обеспечить гарантированное электроснабжение и бесперебойное питание. Речь о дизельных динамических ИБП (ДИБП). Такие установки стоят в нашем мегаЦОДе, и мы уже немного рассказывали про их устройство в экскурсии по дата-центру.

Сегодня покажу, как мы проводим тестирование дизельных двигателей ДИБП, чтобы быть уверенными в их надежности.

Читать далее
Total votes 18: ↑18 and ↓0 +18
Views 3.6K
Comments 3

Динамические ИБП в дата-центрах: как мы устанавливали Piller CPM300 с двойным преобразованием

Selectel corporate blog Energy and batteries Systems engineering
✏️ Technotext 2021
Внутри такой штуки крутится маховик

Уверен, что читатели Хабра представляют, почему лидеры рынка дата-центров столько внимания уделяют бесперебойной подаче электропитания к серверным. Критичен даже секундный сбой, поэтому обычно с резервированием электроэнергии у ЦОД все строго, а провайдеры ищут более эффективные решения.

Для Selectel таким решением стали динамические источники бесперебойного питания Piller CPM300. В этой статье я расскажу вам, как мы запустили в работу новые для рынка ИБП, с какими трудностями столкнулись и почему вообще решили изменить подход к резервированию IT-нагрузок.
Читать дальше →
Total votes 52: ↑51 and ↓1 +50
Views 7.3K
Comments 72