Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/79b/67e/303/79b67e30302e41d974b6dde6da558b5e.jpg)
ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.
Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:
Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:
Мы верим, что у Вас получится отличный дата-центр. А пока посмотрим, как выглядит наш.
Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.
В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тб/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.
В пике дата-центр генерирует более 1 Тб/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/4bf/144/72f/4bf14472f119b9d4b30d3c0913dd921c.jpg)
Первый машинный зал. Возможно, именно здесь лежит Ваше любимое видео.
Все элементы системы электроснабжения резервируются как минимум N+1. Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/134/8f2/3b4/1348f23b4115851a27ed4c3507f5b986.jpg)
Схема электропитания в штатном режиме
Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/e12/11f/61e/e1211f61e7438077fe30409b9b1012b1.jpg)
Схема электропитания при аварии на вводе
Если всё совсем плохо, и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/675/192/131/6751921312d3f3ddad4a6eec580a2735.jpg)
Источники бесперебойного питания
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/142/e4d/3c9/142e4d3c95aa6c1f1e646001d2e460be.jpg)
А это аккумуляторы для них — внешне очень похожи на автомобильные…
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/9cb/c9b/097/9cbc9b0976f3f1d56635937e0d11082e.jpg)
… только занимают несколько больших помещений
Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/f8a/de2/e66/f8ade2e66edfa270bb06923af3155b41.jpg)
Дизель-генераторные установки
Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/7ae/0ef/ba5/7ae0efba5f4fdae56effc15356d59838.jpg)
Статический переключатель нагрузки + ручной байпас Digital Energy
Для комфортной жизни оборудования в машинных залах нужно поддерживать определенный температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).
У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.
Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/8d5/668/4de/8d56684de03f4d456f3278f25a1fd30e.jpg)
Внутренние блоки прецизионных кондиционеров
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/00e/3bc/ae0/00e3bcae0a01aee68edcd92160954e62.jpg)
Внешние блоки прецизионных кондиционеров
Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/7ed/1e8/d09/7ed1e8d09b162a46aa94c9da590299e6.jpg)
Холодный коридор машинного зала
С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/bbf/2bf/524/bbf2bf524f478fdb775947e42b22bac7.jpg)
Горячий коридор машинного зала
Километры бережно уложенных проводов. Здесь не нужны слова.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/a19/b65/fdc/a19b65fdca82be39c609f8e42fc7dde1.jpg)
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/afd/514/78b/afd51478b0d8f9018ff2514e6e09fed1.jpg)
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/f93/ce1/350/f93ce135031cd5721ba1b018875cb34b.jpg)
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/946/3eb/d32/9463ebd32e76b81bb262f31bc4f30b16.jpg)
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/5f7/5f4/5fe/5f75f45fee2eb60db46d4f01f874ae9a.jpg)
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/62a/dca/a3c/62adcaa3cad161d1d5683be776eb65da.jpg)
В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/75d/d87/01c/75dd8701c47c260da2cd5f787895cb5a.jpg)
Баллоны с хладоном
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/cad/0fc/c45/cad0fcc4551e9fa47002deb493c1def7.jpg)
Манометр
Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/5c2/ee4/5c4/5c2ee45c480b1f56931b18ae32262849.jpg)
Мониторинг электроснабжения
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/64f/1ad/dfc/64f1addfc5d7a4787858ea58cbda999f.jpg)
Мониторинг системы охлаждения
На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.
ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.
Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но мы планомерно работаем над снижением этого показателя.
Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.
Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с нашим дата-центром поближе, став частью команды. Мы приглашаем на работу руководителя тестовой лаборатории ЦОД и системных администраторов.
![image](https://habrastorage.org/r/w780q1/getpro/habr/post_images/dc3/517/fdb/dc3517fdbeaa578057eceed385de442f.jpg)
P.S. Статьи о технической стороне ВКонтакте также можно читать в нашем блоге на русском и английском языках. Задать вопрос автору можно в официальном сообществе.
![image](https://habrastorage.org/getpro/habr/post_images/79b/67e/303/79b67e30302e41d974b6dde6da558b5e.jpg)
Как построить дата-центр?
ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.
Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:
- Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.
- Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.
- Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.
Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:
- Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.
- Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.
- Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.
- Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.
- Система видеонаблюдения.
Мы верим, что у Вас получится отличный дата-центр. А пока посмотрим, как выглядит наш.
Добро пожаловать в ИЦВА
Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.
В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тб/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.
В пике дата-центр генерирует более 1 Тб/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.
![image](https://habrastorage.org/getpro/habr/post_images/4bf/144/72f/4bf14472f119b9d4b30d3c0913dd921c.jpg)
Первый машинный зал. Возможно, именно здесь лежит Ваше любимое видео.
Электроснабжение
Все элементы системы электроснабжения резервируются как минимум N+1. Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):
![image](https://habrastorage.org/getpro/habr/post_images/134/8f2/3b4/1348f23b4115851a27ed4c3507f5b986.jpg)
Схема электропитания в штатном режиме
Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:
![image](https://habrastorage.org/getpro/habr/post_images/e12/11f/61e/e1211f61e7438077fe30409b9b1012b1.jpg)
Схема электропитания при аварии на вводе
Если всё совсем плохо, и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.
![image](https://habrastorage.org/getpro/habr/post_images/675/192/131/6751921312d3f3ddad4a6eec580a2735.jpg)
Источники бесперебойного питания
![image](https://habrastorage.org/getpro/habr/post_images/142/e4d/3c9/142e4d3c95aa6c1f1e646001d2e460be.jpg)
А это аккумуляторы для них — внешне очень похожи на автомобильные…
![image](https://habrastorage.org/getpro/habr/post_images/9cb/c9b/097/9cbc9b0976f3f1d56635937e0d11082e.jpg)
… только занимают несколько больших помещений
Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.
![image](https://habrastorage.org/getpro/habr/post_images/f8a/de2/e66/f8ade2e66edfa270bb06923af3155b41.jpg)
Дизель-генераторные установки
Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:
![image](https://habrastorage.org/getpro/habr/post_images/7ae/0ef/ba5/7ae0efba5f4fdae56effc15356d59838.jpg)
Статический переключатель нагрузки + ручной байпас Digital Energy
Система охлаждения
Для комфортной жизни оборудования в машинных залах нужно поддерживать определенный температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).
У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.
Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.
![image](https://habrastorage.org/getpro/habr/post_images/8d5/668/4de/8d56684de03f4d456f3278f25a1fd30e.jpg)
Внутренние блоки прецизионных кондиционеров
![image](https://habrastorage.org/getpro/habr/post_images/00e/3bc/ae0/00e3bcae0a01aee68edcd92160954e62.jpg)
Внешние блоки прецизионных кондиционеров
Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:
![image](https://habrastorage.org/getpro/habr/post_images/7ed/1e8/d09/7ed1e8d09b162a46aa94c9da590299e6.jpg)
Холодный коридор машинного зала
С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.
![image](https://habrastorage.org/getpro/habr/post_images/bbf/2bf/524/bbf2bf524f478fdb775947e42b22bac7.jpg)
Горячий коридор машинного зала
Структурированная кабельная система
Километры бережно уложенных проводов. Здесь не нужны слова.
![image](https://habrastorage.org/getpro/habr/post_images/a19/b65/fdc/a19b65fdca82be39c609f8e42fc7dde1.jpg)
![image](https://habrastorage.org/getpro/habr/post_images/afd/514/78b/afd51478b0d8f9018ff2514e6e09fed1.jpg)
![image](https://habrastorage.org/getpro/habr/post_images/f93/ce1/350/f93ce135031cd5721ba1b018875cb34b.jpg)
![image](https://habrastorage.org/getpro/habr/post_images/946/3eb/d32/9463ebd32e76b81bb262f31bc4f30b16.jpg)
![image](https://habrastorage.org/getpro/habr/post_images/5f7/5f4/5fe/5f75f45fee2eb60db46d4f01f874ae9a.jpg)
![image](https://habrastorage.org/getpro/habr/post_images/62a/dca/a3c/62adcaa3cad161d1d5683be776eb65da.jpg)
Система пожаротушения
В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.
![image](https://habrastorage.org/getpro/habr/post_images/75d/d87/01c/75dd8701c47c260da2cd5f787895cb5a.jpg)
Баллоны с хладоном
![image](https://habrastorage.org/getpro/habr/post_images/cad/0fc/c45/cad0fcc4551e9fa47002deb493c1def7.jpg)
Манометр
Мониторинг
Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).
![image](https://habrastorage.org/getpro/habr/post_images/5c2/ee4/5c4/5c2ee45c480b1f56931b18ae32262849.jpg)
Мониторинг электроснабжения
![image](https://habrastorage.org/getpro/habr/post_images/64f/1ad/dfc/64f1addfc5d7a4787858ea58cbda999f.jpg)
Мониторинг системы охлаждения
Система контроля доступа и охрана
На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.
Подведём итоги
ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.
Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но мы планомерно работаем над снижением этого показателя.
Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.
Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с нашим дата-центром поближе, став частью команды. Мы приглашаем на работу руководителя тестовой лаборатории ЦОД и системных администраторов.
![image](https://habrastorage.org/getpro/habr/post_images/dc3/517/fdb/dc3517fdbeaa578057eceed385de442f.jpg)
P.S. Статьи о технической стороне ВКонтакте также можно читать в нашем блоге на русском и английском языках. Задать вопрос автору можно в официальном сообществе.