Безопасность и еще раз безопасность – это ЦОД «Калининский»

    image

    Два года назад, когда я впервые услышал о проекте мега-ЦОДа рядом с Калининской АЭС, сразу же возникло множество вопросов, первые из которых – кто туда поедет и сколько времени займет такая поездка из Москвы или Санкт-Петербурга. Я давно хотел побывать в дата-центре Концерна и трезво оценить все плюсы и минусы мега-дата-центра, находящегося в Тверской области в г.Удомля.

    Мой интерес подогревался информацией о масштабах проекта:

    • общая площадь объекта – 10,3 Га;
    • первая очередь – три здания ЦОД площадью 36 756 м2;
    • вторая очередь – размещение до 30 КЦОД или МЦОД по одному МВт;
    • общая проектная мощность площадки – 80 МВт;
    • подведенная мощность дата-центра – 48 МВт.

    Таких дата-центров еще не строили в России, да и по европейским меркам он весьма внушительный.

    Первая моя поездка проходила на личном автомобиле по платной дороге М11 «Нева». Комфортная скорость – 110-130 км/час. С несколькими остановками я проехал расстояние в 390 км приблизительно за 4,5 часа. Когда будет достроен северный обход Твери (по разным данным это случится в конце 2024-го), «подлетное» время должно сократиться еще на час.

    Также до дата-центра можно добраться высокоскоростным поездом «Сапсан» из Санкт-Петербурга и Москвы до стации Вышний Волочек за 2 часа 12 минут и 1 час 46 минут соответственно. На станции вас встретит корпоративная машина дата-центра, если вы, конечно, заранее предупредили о своем визите. Еще около 70 км (примерно час в пути) – и вы на месте.

    Часть I. Физическая безопасность


    Побывав в первый раз в дата-центре «Калининский», я постарался обратить внимание на все детали, ничего не упустить из виду. Слова о том, что при организации эксплуатации дата-центра перенимались лучшие практики коллег с АЭС приобрели для меня четкие очертания.
    ЦОД расположен в контуре АЭС и является частью атомной станции, поэтому имеет все необходимые средства защиты и безопасности, которые соответствуют такому режимному объекту, как атомная станция.

    Но, как говорится, театр начинается с вешалки, а дата-центр – с КПП. Тут проверят вашу личность и паспортные данные, сверившись с заявкой, которая оформляется от организации. Проверка проходит достаточно быстро, и уже через несколько минут в сопровождении дежурного инженера мы идем по территории ЦОД «Калининский».

    image

    image

    image

    image

    Сразу за КПП расположено четырехэтажное административное здание, в котором размещаются все службы дата-центра, центр мониторинга инженерной инфраструктуры ЦОД, помещения для команды эксплуатации и работы персонала заказчиков, кафе-столовая и т. д. При необходимости вам оперативно обеспечат сетевой доступ к оборудованию, расположенному в ЦОДе.

    В городе-спутнике Калининской АЭС Удомле есть несколько гостиниц, ресторанов и кафе. Так что с инфраструктурой здесь все более чем в порядке.

    За административным зданием в левой части располагается первая очередь дата-центра «Калининский», состоящая из трех зданий. Каждое здание – это восемь модулей, рассчитанных на размещение до 200 стоек со средним тепловыделение 6 кВт и возможностью увеличения до 20 кВт. Система охлаждения проектировалась исходя из мощности 1 МВт на каждый аппаратный зал. Мы еще вернемся сюда, и я подробнее расскажу обо всех инженерных системах дата-центра.

    Справа от административного здания мы видим вторую очередь – это первая и в некоторой степени уникальная площадка для размещения контейнерных и модульных дата-центров. На территории площадью 2 гектара с подготовленной производственной и энергетической инфраструктурой можно разместить до 30 КЦОД и МЦОД с подключением до 1 МВт.

    Часть II. Энергетическая безопасность


    image
    С противоположной стороны от центрального КПП расположена трансформаторная подстанция с прямым подключением двумя линиями по 110 кВ. Это одно из ключевых преимуществ дата-центра. Установленная мощность электроподстанции – 80 МВА, все электроснабжение реализовано по схеме 2N, то есть два трансформатора по 80 МВА, 110 на 10 кВ. В каждом здании ЦОД 16 трансформаторов 10 на 0,4 кВ. Они сгруппированы в трансформаторные подстанции и секционируются по стороне 0,4 кВ.

    В случае отказа одного трансформатора на 110 кВ всю нагрузку возьмет на себя второй трансформатор. Аналогичная схема и по стороне на 10 кВ. За трансформаторными подстанциями по уровню напряжения 0,4 кВ реализованы по схеме 2N динамические дизель-роторные источники бесперебойного питания производства Hitec. Всего в секции Росэнергоатома установлено семь ДДИБП мощностью по 1970 кВА каждый.

    После ДДИБП расположен набор распределительных щитов, с которых запитаны щиты различного назначения, в том числе и отвечающие за ИТ-нагрузку. Если говорить про аппаратный зал, питание каждого ряда стоек и каждой стойки в отдельности обеспечивается с двух сторон: две разные шины, два разных промежуточных щита, два разных ГРЩ. И каждая из сторон способна обеспечить всю нагрузку зала.

    В каждом здании есть свое топливохранилище по два бака (объем одного бака – 40 м3). При условии работы всех ДДИБП на полную мощность запаса достаточно для работы в течение суток.

    image

    image

    При питании по 110 кВ преимуществом является то, что подстанция «Восток», которая обеспечивает энергоснабжение ЦОД, принадлежит Калининской АЭС, как и подстанция ЦОДа. То есть все управляется в едином ключе, что исключает ошибки при переключении.

    Часть III. Климатическая безопасность


    Шесть холодильных машин производства Stulz холодопроизводительностью 971,5 кВт каждая расположены на кровле здания. Резервирование организовано по аналогии с внутренними блоками – по схеме N+1. Все машины с функцией фрикулинга, что существенно снижает энергопотребление в холодное время года.

    Обслуживание холодильных машин осуществляется с привлечением опытных специалистов атомной станции, где системы охлаждения являются одними из ключевых.

    image

    image

    Во всех модулях установлено по 12 прецизионных кондиционеров, четыре из которых оснащены пароувлажнителями, и реализована схема резервирования N+1. К каждому модулю подведены два кольца трубопроводов: они позволяют вывести в сервисный режим любой кондиционер, не влияя при этом на работу системы в целом. Сердцем системы охлаждения является хладоцентр. Здесь расположены все циркуляционные насосы, обеспечивающие циркуляцию 40% раствора этиленгликоля между холодильными машинами и внутренними блоками кондиционеров. Здесь же, в хладоцентре, установлены четыре бака по 5 м3 с запасом холодного теплоносителя для обеспечения работы всей системы при полной нагрузке в случае выхода из строя всех холодильных машин.

    Часть IV. Пожарная безопасность


    На четыре аппаратных зала оборудовано одно помещение газового пожаротушения с двумя батареями (основной и резервной) с огнетушащим веществом хладон 227еа. Для помещений, где так же используется газовое пожаротушение, например, для электротехнических и телекоммуникационных, обустроены отдельные помещения и имеются свои батареи баллонов.

    image

    image

    В каждом аппаратном зале установлена система раннего обнаружения возгорания: четыре аспирационных датчика, два из которых расположены под фальшполом и два – под потолком.

    Часть V. Эксплуатационная безопасность


    Эксплуатацию инженерных и ИТ-систем дата-центра обеспечивает круглосуточная дежурная смена Калининской АЭС, техническую поддержку клиентов и каналов связи осуществляет АО «КОНСИСТ-ОС» – дочерняя компания концерна «Росэнергоатом», имеющая сертификат ISO 9000. Энергетика, холод, ИТ – все системы дата-центра находятся на круглосуточном мониторинге.

    Команда не только задействована в эксплуатации инфраструктуры дата-центра, но и оказывает услугу удаленных рабочих рук, что позволяет оперативно решать задачи клиентов без их личного присутствия на площадке. Так, например, отправляя оборудование в ЦОД «Калининский», можно быть уверенным, что его встретят, распакуют, установят в стойку и организуют коммутацию в соответствии с техническим заданием. Перезагрузка, визуальный осмотр, проверка работоспособности патч-кордов между оборудованием, работа с консолью управления, замена сменных носителей – это лишь малая часть функционала, которым можно воспользоваться в дата-центре.

    image

    image

    В ближайшее время будет реализован проект по внедрению сервиса «Цифровой помощник в ЦОД», который позволит сделать эту услугу еще более удобной.

    Не могу не отметить, что команда собрана из профессионалов своего дела, постоянно повышающих свою квалификацию и имеющих большинством профильных сертификатов: CCNA, CCNP, MCSE, MCSA, Juniper Certify Expert, NetApp Certified Data Administrator, ONTAP certificate, NetApp Certified Implementation Engineer, VMware Certified Professional, PMP, IPMA Level B, C, Checkpoint, АПКШ «Континент», Positive Technologies, Kaspersky.

    У каждого сотрудника, каждого инженера есть должностная инструкция, доступ к общим документам, которые описывают работу систем, инструкции по эксплуатации, порядок действий при различных инцидентах. Во всей этой четко выстроенной работе чувствуется применение опыта эксплуатации атомной станции. И нет никаких сомнений, что команда эксплуатации дата-центра профессионально обеспечивает управление всеми системами, взяв за основу регламенты, проверенные годами надежной эксплуатации АЭС.

    Для повышение эффективности оказания сервисной и технической поддержки заказчиков дата-центра силами специалистов АО «КОНСИСТ-ОС» разрабатывается «Цифровой ассистент» — система автоматизации взаимодействия с клиентами, реализованная на основе искусственного интеллекта (AI) в диалоговом формате (чат-бот, навыки для голосового помощника). Сервис будет осуществлять текстовые и голосовые консультации, обработку заявок и поддержку по основным услугам дата-центра. Заказчик отправляет запрос в чате в свободной текстовой или голосовой форме, а система предоставляет быстрый подходящий ответ.

    Как мне рассказали разработчики, уже совсем скоро будет опытная эксплуатация.

    Часть VI. Дополнительный рубеж защиты


    Компаниям, которым необходим беспрецедентный уровень защиты данных, выходящий за рамки перечисленных выше мероприятий, проводимых сотрудниками ЦОД «Калининский» (хотя и гарантированный сейчас уровень по меркам российских дата-центров значительно выше среднего), дата-центр в ближайшей перспективе будет предлагать дополнительный комплекс мер, соответствующий пожеланиям самых требовательных заказчиков к контролю и безопасности.

    Часть VII. Заключение: вишенка на торте


    Дата-центр «Калининский» находится в Тверской области на северо-восточных отрогах Валдайской возвышенности, называемых Лесной (или Удомельско-Лесной) грядой. Множество живописных озер, вековые леса, чистейший воздух… Побывать здесь – это отличная возможность отдохнуть, сменив обстановку после напряженного рабочего дня или недели. Приезжайте и посмотрите сами!

    Я, во всяком случае, уже договорился с местными ребятами, что в следующий мой приезд они мне покажут самые лучшие места для клева…

    image

    image
    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 15

      0
      И сразу же вопрос по первой фотке: Интересно, как согласовывалась установка «вертушки в полный рост» на проходной? Почему пожарные не выписали предписание?
      В школе как-то пытались установить простой турникет по пояс, так его заставили демонтировать согласно нормам, потому что велик риск давки людей при ЧП. Случится пожар/что-то иное — все ломанутся, застрянут в этой мельнице и все, будет мясорубка.
      Тут тоже самое, ворота/калитку заклинит и люди просто не смогу выбраться.
        +1
        Может отдельные пожарные выходы имеются?
          0
          +1
          В случаях ЧС проход через такие турникеты по сути должен быть закрыт, возможно рядом с ними открываются дополнительные секции (как ворота) для свободного выхода с территории.
          В принципе вопрос пожарной безопасности на таких больших объектах довольно интересен и сложен.
            0
            Вполне возможно, не исследовал этот вопрос, ростовые турникеты, как и меньшие их браться, имеют режим аварийного открытия «Паника». Кроме того рядом с турникетом может быть предусмотрено аварийно отрывающийся проход.
              0
              «Анти-паника» — это немного не то, там просто отключаются магниты и вертушка свободно прокручивается, но тут вопрос именно в давке людей или какой-нибудь случайной блокировке, физической к примеру.
              В общем интересный нюанс такой.
              Само-собой никто не отменял запасные двери, они должны быть всегда, но тут вопрос именно в этих вертушках.
                +1
                У нас на АЭС есть специальные пожарные выходы которые в штотном режиме всегда закрыты
                  0
                  У нас на подобных вертушка с одной из сторон ворота «Анти-паника» на магнитном замке, которые в том числе служат для того чтобы проносить что-то крупнее телефона
                    0
                    Когда то у нас тоже так делали потом запретили и сказали что крупногабаритные грузы перевозить на машине через ворота (это правило касается только проходной что на выходе с территории, для тех вертушек что на территории без проблем отрывали аварийные выходы)
                    Про мобильные телефоны Вы конечно преувеличили, я спокойно с МФУ А4 формата через вертушку проходил
                      0
                      С военного производства кинескопы 51 см проносили через вертушки женщины в длинных пальто.
                0
                При пожаре по сигналу «Пожар» разблокируются и турникеты и калитка для вноса габаритных грузов и прохода инвалидов. Во всяком случае так должно быть.
                Помимо того на выходе должна быть кнопка ручной разблокировки такой калитки.

                Ну и на последок физическая безопасность не очень, над турникетами можно пролезть, притом еще возможно за подвесным потолком еще куча места, маски шоу быстро заберутся.
                  0
                  Где ближайшая кнопка пожарной тревоги? Тут паре инвалидов нужно вынести кое-что из материальных ценностей. А ещё бывают периодические проверки пожарного оборудования — на время их проведения отпирающую автоматику ломиком подпирать?
                  +1
                  В ЦОДе людей в принципе немного, чуть больше в офисном здании. И уж точно меньше, чем в школе.
                  У вертушек есть запасные выходы и конечно госэкспертиза проекта пройдена успешно в т.ч. по пожарной безопасности.
                  +1
                  К сожалению, не слова про информационную безопасность
                    0

                    А почему не используют системы охлаждения от АЭС? Пруд-охладитель, градирни…

                      +1
                      всего-то на два порядка меньше надо сбросить :)

                    Only users with full accounts can post comments. Log in, please.