Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу «Удомля»

    Где-то посередине между Москвой и Санкт-Петербургом есть небольшой город Удомля. Раньше он был известен Калининской АЭС. В 2019 году рядом появилась еще одна достопримечательность – мегаЦОД «Удомля» на 4 тыс. стоек. 

    После присоединения к команде Ростелеком-ЦОД специалисты DataLine также будут заниматься эксплуатацией этого дата-центра. Наверняка вы уже что-то слышали про «Удомлю». Сегодня мы решили подробно рассказать, как там все устроено.


    Индустриальные пейзажи: дата-центр площадью 32 000 м² и АЭС на заднем плане. Удомля образца весны 2019.

    Под катом собрали больше 40 фото инженерных систем дата-центра с подробным описанием. Тех, кто дойдет до конца, ждет приятный сюрприз.

    О логистике

    Дата-центр находится в Тверской области. Из Москвы в Удомлю дорога займет около трех часов: 1 час 45 минут на Сапсане до станции Вышний Волочек, а оттуда по предварительной заявке вас встретит шаттл и довезет до дата-центра. Из Санкт-Петербурга до Вышнего Волочка чуть дольше – 2 часа 20 минут. 

    На машине из Москвы можно добраться за 4,5 часа, из Санкт-Петербурга – за 5.

    Да, ради пары юнитов, наверное, ехать сюда не захочется. А вот если вам нужен новый дом для десятков стоек, то стоит присмотреться. Места и электричества хватит, даже если вам захочется удвоить это количество в любой момент. В Москве, где, по нашему опыту, дата-центры бронируются еще на этапе строительства, такой трюк не всегда пройдет.

    Кроме того, расположение дата-центра между Москвой и Питером можно использовать для георезервирования. Если основные мощности в Москве или в Питере, то сюда неплохо впишется резервная площадка.

    Со всеми стандартными операциями на месте будет помогать команда smart hands. Они примут, распакуют и установят оборудование в стойках, подключат его к питанию и сети, предоставят удаленный доступ к оборудованию. В случае неисправностей помогут с диагностикой и заменят вышедшие из строя компоненты.

    Первая очередь дата-центра – это 4 машинных зала, или модуля, по 205 стоек. На первом этаже работают 2 машинных зала и энергоцентр, на втором – еще два зала и хладоцентр. Идем смотреть, как тут все устроено.

    Физическая безопасность

    Дата-центр занимает выделенную территорию, на которую не пройти без пропуска и документа, удостоверяющего личность. Те, кто приезжает на своем автомобиле, также получают пропуск на транспорт и только после этого могут попасть на территорию дата-центра. Для тех, у кого с пропуском все в порядке, дата-центр открыт 24х7.



    Первый пост круглосуточной охраны – вход на территорию.



    Идем дальше и попадаем на пропускной пункт непосредственно при входе в дата-центр.



    Сотрудники охраны не только встречают клиентов и выдают пропуска, но и круглосуточно следят за видеостеной, куда выводится изображение всех внутренних помещений дата-центра и прилегающих территорий.



    Электроснабжение

    Свой путь в дата-центр электричество начинает от АЭС. В дата-центр приходит 10 кВ  на 6 понижающих трансформаторов. Далее – уже 0,4 кВ двумя независимыми маршрутами идут в распределительное устройство низкого напряжения (РУНН). Потом через ДИБП электропитание поступает на ИТ- и инженерное оборудование. К стойке подходят два независимых ввода, то есть резервирование 2N. Подробнее о том, как все устроено в части электроснабжения, расскажем в отдельной статье.


    Путь электричества в дата-центре «Удомля»


    Силовые шины, по которым электричество приходит от РУНН до силовых панелей ДИБП


    Ряды РУНН

    Несмотря на то, что под боком АЭС, в любом надежном дата-центре основным питанием считается гарантированное. В наших дата-центрах, как вы знаете, за него отвечают ДГУ, но тут используются динамические ИБП (ДИБП). Они также обеспечивают и бесперебойное питание. ДИБП зарезервированы по схеме N+1. 


    ДИБП марки Euro-Diesel (Kinolt) мощностью 2 МВт. Ревут так, что без беруш туда лучше не заходить

    И вот как это работает. ДИБП – это связка трех основных компонентов: дизельный двигатель, синхронная электромашина и аккумулятор кинетической энергии с ротором. Все они закреплены на главном валу.

    Электромашина может работать в режиме электродвигателя и генератора. Когда ДИБП питается штатно от города, электромашина – это электромотор, который крутит ротор и запасает кинетическую энергию в аккумуляторе.




    Серый блок на первом плане – синхронная машина ДИБП


    Дизельный двигатель ДИБП

    Если городское питание пропадает, электромашина переходит в режим генератора. Благодаря накопленной кинетической энергии ротор заставляет вращаться основной вал ДИБП, электромашина продолжает работать без городского питания и напряжение на выходе не пропадает. Так обеспечивается бесперебойное питание в дата-центре. Одновременно с этим система управления ДИБП подает сигнал на запуск дизельного двигателя. Та же кинетическая энергия ротора запускает дизель и помогает ему выйти на рабочую частоту. Ротор держит обороты до одной минуты, и этого хватит, чтобы в дело вступил дизель. После запуска уже дизель вращает основной вал, а через него – и электромашину (вот наглядное видео переключения ДИБП из одного режима в другой).

    В результате питание в стойках не пропадает ни на секунду.



    Бак каждого дизель-генератора рассчитан на 3 часа. В дата-центре есть и свое топливохранилище на 80 тонн, которое позволит держать всю нагрузку дата-центра в течение 24 часов. На случай очень гипотетических блэкаутов (АЭС под боком этого не допустит) есть договоры с несколькими подрядчиками, которые оперативно подвезут дизельное топливо на площадку по звонку. В общем, все как положено.

    Каждую неделю ДИБП самотестируются и заводят дизель. Раз в месяц проходят тесты с кратковременным отключением городской сети.


    Панель управления ДИБП


    Помещение ЩГП и ЩБП 


    «Магистрали» и «развязки» силовых кабелей

    Машинные залы

    Каждый модуль располагается в гермозоне, в специальном коробе. Эти дополнительные стены и крыша защищают машинный зал от пыли, воды и огня. При приемке дата-центра гермозону традиционно проливают водой, чтобы проверить на герметичность.


    Крыша здания и своя крыша машинного зала с дренажными трубами


    Вода, попадающая на крышу гермозоны, уходит по желобам в дренажный трубопровод

    Каждый зал готов принять по 205 стоек средней мощностью 5 кВт.



    Расстановка оборудования в зале организована по схеме холодных и горячих коридоров. 


    По потолку проходит разводка систем раннего пожарообнаружения Bolid и газового пожаротушения. 



    Датчики задымления расположены и под фальшполом. Достаточно сработать двум любым датчикам, и завоет сирена пожарной тревоги, но об этом поговорим чуть позже.

    Тут же, вдоль рядов кондиционеров, расположены ленточные датчики протечек.



    Каждый коридор между стойками «простреливается» камерами видеонаблюдения.
    При желании, стойки можно разместить за специальным ограждением (cage) и установить на него дополнительные камеры, СКУД и датчики движения, объема и прочее. 



    Холодоснабжение

    В дата-центре «Удомля» используется чиллерная схема на этиленгликоле. В машинных залах работают кондиционеры, на крыше – чиллеры, а на втором этаже находится хладоцентр с трубопроводами, системой автоматики и управления, насосами, аккумулирующими баками и пр.

    В каждом зале 12 кондиционеров, половина из них – с пароувлажнителями. Схема резервирования N+1.

    В холодном коридоре поддерживается температура в пределах 21–25 °C и влажность 40–60%.


    Прецизионные кондиционеры Stulz CyberAir 3PRO CW 

    Вокруг каждого машинного зала два кольца: «холодная» магистраль, подающая охлажденный этиленгликоль в кондиционер, и «горячая», отводящая нагретый гликоль от кондиционеров к чиллерам. Если откроем фальшпол в коридоре, то увидим опуски в машинные залы от системы холодоснабжения. 



    Маршрут этиленгликоля выглядит следующим образом: из кондиционера нагретый этиленгликоль попадает сначала в обратную магистраль вокруг машинного зала, а потом в общее кольцо. Затем этиленгликоль идет на насос и далее на чиллер, где и охлаждается до 10 °C. После чиллера этиленгликоль снова возвращается к кондиционеру через подающую магистраль общего кольца, аккумулирующие баки и кольцо вокруг модуля.


    Схема холодоснабжения дата-центра


    Вот так выглядит хладоцентр, через который проходит 100 м3 этиленгликоля 

    Серые емкости – это расширительные баки. Через них проходит нагретый этиленгликоль на пути к чиллеру. Летом этиленгликоль расширяется и требует дополнительного пространства.



    Эти внушительные емкости – аккумулирующие баки, по 5 м3 каждый. Они обеспечивают бесперебойное охлаждение дата-центра на случай отказа чиллеров.
    Охлажденный этиленгликоль из баков подается в систему, и это позволяет сохранить температуру воздуха на выходе из кондиционера на уровне 19 °C в течение 5 минут. Даже если за окном +40 °C.




    Насосы системы холодоснабжения


    Сетчатые карманные фильтры и баки-сепараторы для очистки этиленгликоля от механических частиц и воздуха

    Тонкая красная линия на полу под трубами – это ленточные датчики протечек. Они идут по всему периметру хладоцентра.



    Если какая-то из труб даст течь, то этиленгликоль уйдет по системе дренажа и попадет в специальный бак в помещении водоподготовки. Тут же стоят два бака с «запасным» этиленгликолем для подпитки системы холодоснабжения на случай крупных протечек.



    И про чиллеры. На крыше работает 5 чиллеров по схеме резервирования N+1. Каждые сутки автоматика определяет, в зависимости от наработки, какой чиллер вывести в резерв. 


    Чиллеры марки Stulz CyberCool 2 мощностью 1096 КВт

    Чиллеры поддерживают три режима:

    • компрессорный – от 12 °C;
    • смешанный – при 0–12 °C;
    • фрикулинг – от 0 и ниже. Этот режим подразумевает охлаждение этиленгликоля за счет работы вентиляторов, а не компрессора.



    Пожарная безопасность

    В дата-центре две станции газового пожаротушения. В каждом две батареи из 11 баллонов: первая основная, вторая – резерв.

    Противопожарная система дата-центра завязана с сервером Калининской АЭС, и, если потребуется, на место за минуты приедет собственная пожарная служба станции.



    На фото система пожарной сигнализации и кнопка аварийного выхода в машинном зале. Последняя нужна, если во время пожарной тревоги двери по какой-то причине не разблокировались: она разрывает питание электрозамка.



    Телеком

    В дата-центр независимыми маршрутами приходят две магистрали Ростелеком.  Каждая из DWDM систем имеет емкость 8 Терабит.

    В дата-центре два телеком-ввода, которые располагаются на расстоянии более 25 метров друг от друга.

    Также на площадке присутствуют операторы Раском, Telia Carrier Russia, Консист, в ближайшем будущем появится DataLine.  

    От Удомли можно построить канал в Москву, Санкт-Петербург или любую точку России и мира. 



    Мониторинг

    В центре мониторинга круглосуточно несут свой пост дежурные инженеры.

    Сюда поступает вся информация по инженерными системам: климатические условия в зале, состояние вводов, ДИБП и т. д.

    Каждые два часа дежурные совершают обход всех инфраструктурных помещений, чтобы осмотреть состояние инженерного и ИТ-оборудования. 



    Вспомогательная инфраструктура

    Для доставки оборудования в дата-центр предусмотрена зона разгрузки.



    Зона разгрузки изнутри.



    Если ваш зал на втором этаже, то вот этот гидравлический грузоподъемник доставит туда любое оборудование.



    Шкафчики для хранения клиентских инструментов, и не только.  



    Немного про быт

    Для постоянного персонала можно арендовать оборудованные рабочие места в офисной части. Если же будете наезжать время от времени, то можно остановиться во временной гостинице со всеми удобствами прямо на территории дата-центра. 
    В офисной части также работает столовая и кухня.  



    А еще тут кругом обалденная природа с лесами, озерами, реками, рыбалкой и прочим досугом на свежем воздухе. Приезжайте в гости.





    Как и обещали, приятный бонус для тех, кто дошел до конца. Первые полгода аренда стойко-места в «Удомле» с подведенной мощностью 5 кВт будет бесплатной. Платите только за фактически потребленную электроэнергию. Заявку отправляйте на request@dtln.ru.
    DataLine
    Экосистема на базе дата-центров TIER III

    Комментарии 23

      +1
      Слушайте, а нормальную систему пожаротушения нельзя было заложить? Болидовский АСПТ, в который только аналоговые датчики воткнешь. На адресную совсем денег видимо не хватило, все на холодоснабжение или еще куда видать ушло :)
        +1
        А чем болидовская плоха? Российская, при грамотной установке — норм работает, и конских денег не стоит!
          0
          Я оччень сильно подозреваю, что эта одинокая С2000-АСПТ — не центр АПС всего ЦОДа =) Просто экскурсовод не до конца разбирается. Скорее на ней сделана блокировка конкретной двери при тушении, или блокировка пожаротушения по открытой двери, например.
            0
            Все верно, эта «одинокая АСПТ» не центр АПС всего ЦОДа, это только маленькая часть всей системы пожарной сигнализации, системы газового пожаротушения и противопожарной автоматики, которая отвечает непосредственно за одно помещение.
          0
          Каждая из DWDM систем имеет емкость 8 Террабит.

          Достаточно одной буквы «р».
            0
            Да, спасибо, поправил.
              +2
              Выделение ошибки и ctrl+enter
              0
              Интересно, а почём электричество для Удомли? Цена так же образуется через «посредников»? Или удалось договориться покупать иными способами?(что маловероятно)
              А почём электричество для арендаторов?
                0
                Круто. Осенью дадите ресурсы потестить размещение 1С?
                  0
                  Каждая картинка — 16,2 МПикс, ок. 3 МБ jpeg.
                  С малым сжатием — можно в ~ 8 раз ужать.
                  Зачем?
                  Хотя бы под кат убирали бы. И предупреждали. И использовали webp. И…
                    0
                    Должно было стать чуть лучше)
                    +1
                    Интересно, когда у нас здания перестанут выглядеть как из сами знаете чего… А так спасибо, было интересно
                      0
                      Сколько датчиков температуры предусмотрено?
                      Вот были бы датчики температуры под топливохранилищем в Норильске, глядишь и заметили бы, что грунт оттаял.
                        0
                        По два: два в горячем коридоре и два в холодном.
                        0
                        Я правильно понял, что резервирования по стороне 10кВ нет и линия от ЗРУ на внутреннюю ПС идёт одна?
                          0
                          Нет, не так.
                          Всего к нам приходит 6 линий 10 кВ. Резервирование на ЗРУ 110/10 кВ на низкой стороне.
                            0
                            При таком резерве и близости АЭС ДИБП выглядят излишеством.
                            Отключение обоих линий 110кВ имеет очень низкую вероятность.
                            Я бы вместо ДИБП применил ИБП на суперконденсаторах.
                            В остальном, красота. На экскурсию пригласите?
                              0
                              Мы много раз говорили и продолжаем говорить, что для ЦОД основным и самым важным источником электропитания является ДГУ или ДИБП (то, чем возможно управлять). Поэтому, даже несмотря на близость к АЭС и резервы по высокой стороне, ДИБП (ДГУ) обязательны.
                                0
                                Или ИБП на суперконденсаторах
                                Или любые другие ИБП обеспечивающие работу на время ввода резерва по высокому. Чем ближе к стойке — тем лучше, чем избирательнее резерв — тем надежнее © Uptime Institute.
                                Посмотрите статистику аварийных отключений 110кВ Калининской АЭС — их нет. И не будет в обозримом будущем. А вот маховики в ДДГУ менять через 12 лет.
                                и КПД у ДДГУ 98,5%, т.е. полтора процента электрической мощности за все эти годы — коту под хвост в теплоту трения и вибрацию.
                                  0
                                  ИБП проработает несколько минут, а ДИБП и ДГУ — вечность (только топливо заливай).
                                  Цитата из Uptime Institute — откуда это? Кажется, что вырвано из контекста.
                                    0
                                    Посмотрите статистику сбоев выработки ЭЭ у АЭС — они ненулевые.
                                    АЭС иногда чинят, иногда — закрывают.
                                    Сделали как должно.
                                      0

                                      Ремонт АЭС и даже полный останов АЭС никак не скажется на отключении двух секций 110кВ. Там свой АВР. И секции будут запитаны с кольца. Лет через 5 зайдем в эту тему и послушаем отчет автора о том, как по высокому отключились обе линии хотя бы раз.

                            0
                            >Насосы системы холодоснабжения

                            Очень непривычно видеть электромоторы, покрашенные в чёрный цвет. Сразу глаз цепляется, как за какую-то неправильность.

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое