Два года назад, когда я впервые услышал о проекте мега-ЦОДа рядом с Калининской АЭС, сразу же возникло множество вопросов, первые из которых – кто туда поедет и сколько времени займет такая поездка из Москвы или Санкт-Петербурга. Я давно хотел побывать в дата-центре Концерна и трезво оценить все плюсы и минусы мега-дата-центра, находящегося в Тверской области в г.Удомля.
Мой интерес подогревался информацией о масштабах проекта:
- общая площадь объекта – 10,3 Га;
- первая очередь – три здания ЦОД площадью 36 756 м2;
- вторая очередь – размещение до 30 КЦОД или МЦОД по одному МВт;
- общая проектная мощность площадки – 80 МВт;
- подведенная мощность дата-центра – 48 МВт.
Таких дата-центров еще не строили в России, да и по европейским меркам он весьма внушительный.
Первая моя поездка проходила на личном автомобиле по платной дороге М11 «Нева». Комфортная скорость – 110-130 км/час. С несколькими остановками я проехал расстояние в 390 км приблизительно за 4,5 часа. Когда будет достроен северный обход Твери (по разным данным это случится в конце 2024-го), «подлетное» время должно сократиться еще на час.
Также до дата-центра можно добраться высокоскоростным поездом «Сапсан» из Санкт-Петербурга и Москвы до стации Вышний Волочек за 2 часа 12 минут и 1 час 46 минут соответственно. На станции вас встретит корпоративная машина дата-центра, если вы, конечно, заранее предупредили о своем визите. Еще около 70 км (примерно час в пути) – и вы на месте.
Часть I. Физическая безопасность
Побывав в первый раз в дата-центре «Калининский», я постарался обратить внимание на все детали, ничего не упустить из виду. Слова о том, что при организации эксплуатации дата-центра перенимались лучшие практики коллег с АЭС приобрели для меня четкие очертания.
ЦОД расположен в контуре АЭС и является частью атомной станции, поэтому имеет все необходимые средства защиты и безопасности, которые соответствуют такому режимному объекту, как атомная станция.
Но, как говорится, театр начинается с вешалки, а дата-центр – с КПП. Тут проверят вашу личность и паспортные данные, сверившись с заявкой, которая оформляется от организации. Проверка проходит достаточно быстро, и уже через несколько минут в сопровождении дежурного инженера мы идем по территории ЦОД «Калининский».
Сразу за КПП расположено четырехэтажное административное здание, в котором размещаются все службы дата-центра, центр мониторинга инженерной инфраструктуры ЦОД, помещения для команды эксплуатации и работы персонала заказчиков, кафе-столовая и т. д. При необходимости вам оперативно обеспечат сетевой доступ к оборудованию, расположенному в ЦОДе.
В городе-спутнике Калининской АЭС Удомле есть несколько гостиниц, ресторанов и кафе. Так что с инфраструктурой здесь все более чем в порядке.
За административным зданием в левой части располагается первая очередь дата-центра «Калининский», состоящая из трех зданий. Каждое здание – это восемь модулей, рассчитанных на размещение до 200 стоек со средним тепловыделение 6 кВт и возможностью увеличения до 20 кВт. Система охлаждения проектировалась исходя из мощности 1 МВт на каждый аппаратный зал. Мы еще вернемся сюда, и я подробнее расскажу обо всех инженерных системах дата-центра.
Справа от административного здания мы видим вторую очередь – это первая и в некоторой степени уникальная площадка для размещения контейнерных и модульных дата-центров. На территории площадью 2 гектара с подготовленной производственной и энергетической инфраструктурой можно разместить до 30 КЦОД и МЦОД с подключением до 1 МВт.
Часть II. Энергетическая безопасность
С противоположной стороны от центрального КПП расположена трансформаторная подстанция с прямым подключением двумя линиями по 110 кВ. Это одно из ключевых преимуществ дата-центра. Установленная мощность электроподстанции – 80 МВА, все электроснабжение реализовано по схеме 2N, то есть два трансформатора по 80 МВА, 110 на 10 кВ. В каждом здании ЦОД 16 трансформаторов 10 на 0,4 кВ. Они сгруппированы в трансформаторные подстанции и секционируются по стороне 0,4 кВ.
В случае отказа одного трансформатора на 110 кВ всю нагрузку возьмет на себя второй трансформатор. Аналогичная схема и по стороне на 10 кВ. За трансформаторными подстанциями по уровню напряжения 0,4 кВ реализованы по схеме 2N динамические дизель-роторные источники бесперебойного питания производства Hitec. Всего в секции Росэнергоатома установлено семь ДДИБП мощностью по 1970 кВА каждый.
После ДДИБП расположен набор распределительных щитов, с которых запитаны щиты различного назначения, в том числе и отвечающие за ИТ-нагрузку. Если говорить про аппаратный зал, питание каждого ряда стоек и каждой стойки в отдельности обеспечивается с двух сторон: две разные шины, два разных промежуточных щита, два разных ГРЩ. И каждая из сторон способна обеспечить всю нагрузку зала.
В каждом здании есть свое топливохранилище по два бака (объем одного бака – 40 м3). При условии работы всех ДДИБП на полную мощность запаса достаточно для работы в течение суток.
При питании по 110 кВ преимуществом является то, что подстанция «Восток», которая обеспечивает энергоснабжение ЦОД, принадлежит Калининской АЭС, как и подстанция ЦОДа. То есть все управляется в едином ключе, что исключает ошибки при переключении.
Часть III. Климатическая безопасность
Шесть холодильных машин производства Stulz холодопроизводительностью 971,5 кВт каждая расположены на кровле здания. Резервирование организовано по аналогии с внутренними блоками – по схеме N+1. Все машины с функцией фрикулинга, что существенно снижает энергопотребление в холодное время года.
Обслуживание холодильных машин осуществляется с привлечением опытных специалистов атомной станции, где системы охлаждения являются одними из ключевых.
Во всех модулях установлено по 12 прецизионных кондиционеров, четыре из которых оснащены пароувлажнителями, и реализована схема резервирования N+1. К каждому модулю подведены два кольца трубопроводов: они позволяют вывести в сервисный режим любой кондиционер, не влияя при этом на работу системы в целом. Сердцем системы охлаждения является хладоцентр. Здесь расположены все циркуляционные насосы, обеспечивающие циркуляцию 40% раствора этиленгликоля между холодильными машинами и внутренними блоками кондиционеров. Здесь же, в хладоцентре, установлены четыре бака по 5 м3 с запасом холодного теплоносителя для обеспечения работы всей системы при полной нагрузке в случае выхода из строя всех холодильных машин.
Часть IV. Пожарная безопасность
На четыре аппаратных зала оборудовано одно помещение газового пожаротушения с двумя батареями (основной и резервной) с огнетушащим веществом хладон 227еа. Для помещений, где так же используется газовое пожаротушение, например, для электротехнических и телекоммуникационных, обустроены отдельные помещения и имеются свои батареи баллонов.
В каждом аппаратном зале установлена система раннего обнаружения возгорания: четыре аспирационных датчика, два из которых расположены под фальшполом и два – под потолком.
Часть V. Эксплуатационная безопасность
Эксплуатацию инженерных и ИТ-систем дата-центра обеспечивает круглосуточная дежурная смена Калининской АЭС, техническую поддержку клиентов и каналов связи осуществляет АО «КОНСИСТ-ОС» – дочерняя компания концерна «Росэнергоатом», имеющая сертификат ISO 9000. Энергетика, холод, ИТ – все системы дата-центра находятся на круглосуточном мониторинге.
Команда не только задействована в эксплуатации инфраструктуры дата-центра, но и оказывает услугу удаленных рабочих рук, что позволяет оперативно решать задачи клиентов без их личного присутствия на площадке. Так, например, отправляя оборудование в ЦОД «Калининский», можно быть уверенным, что его встретят, распакуют, установят в стойку и организуют коммутацию в соответствии с техническим заданием. Перезагрузка, визуальный осмотр, проверка работоспособности патч-кордов между оборудованием, работа с консолью управления, замена сменных носителей – это лишь малая часть функционала, которым можно воспользоваться в дата-центре.
В ближайшее время будет реализован проект по внедрению сервиса «Цифровой помощник в ЦОД», который позволит сделать эту услугу еще более удобной.
Не могу не отметить, что команда собрана из профессионалов своего дела, постоянно повышающих свою квалификацию и имеющих большинством профильных сертификатов: CCNA, CCNP, MCSE, MCSA, Juniper Certify Expert, NetApp Certified Data Administrator, ONTAP certificate, NetApp Certified Implementation Engineer, VMware Certified Professional, PMP, IPMA Level B, C, Checkpoint, АПКШ «Континент», Positive Technologies, Kaspersky.
У каждого сотрудника, каждого инженера есть должностная инструкция, доступ к общим документам, которые описывают работу систем, инструкции по эксплуатации, порядок действий при различных инцидентах. Во всей этой четко выстроенной работе чувствуется применение опыта эксплуатации атомной станции. И нет никаких сомнений, что команда эксплуатации дата-центра профессионально обеспечивает управление всеми системами, взяв за основу регламенты, проверенные годами надежной эксплуатации АЭС.
Для повышение эффективности оказания сервисной и технической поддержки заказчиков дата-центра силами специалистов АО «КОНСИСТ-ОС» разрабатывается «Цифровой ассистент» — система автоматизации взаимодействия с клиентами, реализованная на основе искусственного интеллекта (AI) в диалоговом формате (чат-бот, навыки для голосового помощника). Сервис будет осуществлять текстовые и голосовые консультации, обработку заявок и поддержку по основным услугам дата-центра. Заказчик отправляет запрос в чате в свободной текстовой или голосовой форме, а система предоставляет быстрый подходящий ответ.
Как мне рассказали разработчики, уже совсем скоро будет опытная эксплуатация.
Часть VI. Дополнительный рубеж защиты
Компаниям, которым необходим беспрецедентный уровень защиты данных, выходящий за рамки перечисленных выше мероприятий, проводимых сотрудниками ЦОД «Калининский» (хотя и гарантированный сейчас уровень по меркам российских дата-центров значительно выше среднего), дата-центр в ближайшей перспективе будет предлагать дополнительный комплекс мер, соответствующий пожеланиям самых требовательных заказчиков к контролю и безопасности.
Часть VII. Заключение: вишенка на торте
Дата-центр «Калининский» находится в Тверской области на северо-восточных отрогах Валдайской возвышенности, называемых Лесной (или Удомельско-Лесной) грядой. Множество живописных озер, вековые леса, чистейший воздух… Побывать здесь – это отличная возможность отдохнуть, сменив обстановку после напряженного рабочего дня или недели. Приезжайте и посмотрите сами!
Я, во всяком случае, уже договорился с местными ребятами, что в следующий мой приезд они мне покажут самые лучшие места для клева…
