У нас кончилось место на московских площадках, и мы довольно долго выбирали новый ЦОД. Отсмотрели с десяток вариантов и пришли в гости в Останкино. ЦОД, конечно, удивительный.
Во-первых, у него нет и не будет уровня по Uptime Institute, несмотря на то что он фактически соответствует уровню Tier III, потому что это объект Федерального значения России.
Во-вторых, у него нет дизельного питания. Вообще! Есть 4 (четыре, Карл!) независимых ввода питания повышенной надежности. Ну как вы понимаете, поскольку там самое главное телевидение, если бы свет хотя бы моргнул за последние 55 лет, стук «летящих голов» было бы слышно на много сотен километров от Москвы.
В-третьих, охрану осуществляет отдельный батальон Росгвардии. Помните, как в 93-м штурмовали телецентр? Ну так вот, с тех пор там все несколько настороже.
В общем, я просто не могу не рассказать про это место. Но с некоторыми ограничениями, поскольку безопасники не всегда рады публичности некоторых вещей. Фотографии, например, мы делали так: вставали на точку и говорили, что нужно сфотографировать. Дальше приходил их сотрудник и фотографировал. Что-то из архива, чтобы не было видно конкретного оборудования их заказчиков. Где-то вообще нельзя было снимать.
▍ АСК-1
Итак, в далёком 1967 году был построен аппаратно-студийный комплекс №1 (Королева, 12). На сегодняшний день это ФГУП, при этом это коммерческая организация. Государство дало компании в управление землю, здание, всю инженерку и часть оборудования. ЦОД — это небольшая часть комплекса, и о том, почему его тут разместили, чуть позже. Итак, на территории большого комплекса живут телекомпании «Первый канал», «НТВ», «Матч-ТВ» и др. Каждая отдельная телекомпания, по сути, не имеет собственности: здания не их, частоты не их, офисы, вычислительные мощности и студии берутся в аренду. В аренду можно взять даже персонал. Одежду, реквизит, свет, транспорт и студийное обслуживание тоже можно получить за дополнительную плату. Телекомпании владеют контентом.
Через телецентр проходит более 10 тысяч человек в сутки. Поскольку на площадке часто идут прямые эфиры, безопасники достаточно хорошо знают этих людей: до уровня «как зовут ваших детей, собаку, и способны ли вы отчебучить что-то радикальное в эфире». Безопасники поддерживаются в отличной форме, потому что телевизионщики обожают любые ЧП и всегда оказываются там чуть ли не первыми. Соответственно, если что-то случится, оно окажется снятым минимум на три их камеры и ещё на десяток камер безопасников, потому что видеонаблюдение на территории тоже на высоте. На территории ЦОДа камер ещё больше, более 280 штук, можно ходить только с бейджами, в сопровождении сотрудника ЦОДа.
В общем, АСК-1 — это как офисный центр, только очень большой и очень специфический.
Теперь переходим к ЦОДу.
▍ Как это выглядит снаружи
Начинается всё с вот такого КПП:
За постом охраны видно здание ЦОДа на территории Останкинского парка.
Если вы завозите оборудование, то, пройдя через КПП, вы попадаете на ресепшен:
Далее вы попадаете в разгрузочную площадку для распаковки оборудования: это где упаковка из внешнего мира должна быть выброшена, а в помещение ЦОДа должно заехать только чистое оборудование.
Для удобства транспортировки оборудования в один из машзалов имеется специальный подъёмный механизм:
Кстати, в распаковочной грязные тележки меняются на чистые:
Клиентская комната (для админов) выглядит вот так:
Рядом с ней нечто, похожее на КПЗ:
На самом деле, это склад временного хранения. Рядом есть антистатическое рабочее место:
▍ ЦОД
На данный момент построено четыре зала: три зала заполнены полностью, четвёртый зал заполнен больше, чем на две трети. По плану второй очереди строительства будет ещё два зала по 170 стоек в среднем по 10 кВт на стойку.
Четвёртый машзал наименее загружен сейчас, туда только заезжают стойки, поэтому можно показывать общие планы
Залы большие, но стойки, в принципе, кончаются.
Вот так выглядит пока ещё свободный участок машзала 4
Раньше на месте ЦОДа был хладоцентр для охлаждения всего телецентра. Технологии с тех пор немного поменялись: здание потребляет меньше тепла, а доставать холод можно оборудованием меньшего объёма. В общем, освободилось несколько площадей прямо около места, откуда берётся холод и где есть стабильное питание. В 2017 году этот ЦОД тихо и без лишней рекламы появился на рынке. Учитывая несколько специфические особенности его работы, туда встали медийные компании, госкомпании и прочие конторы, в которых люди редко улыбаются на переговорах, и, вообще, когда-либо. К слову, сам ЦОД при этом не проходил сертификацию для разных интересных данных, но даёт возможность операторам аттестоваться на своей инфраструктуре.
Опять же, в силу своих особенностей, тут, прямо на территории телецентра, есть собственная пожарная часть, которая контролирует в том числе и ЦОД, — это очень дисциплинирует. Соответственно, косяков по пожарке тут не было с момента запуска ЦОДа.
Площадь территории ЦОДа – 1 Га, помещений – 4 000 квадратных метров, ёмкость – 700 стоек, фальшпол в машзалах высокий – 1,2 метра, максимально возможная нагрузка – 1,2 тонны на квадратный метр. Кроме машзалов есть ещё две кроссовые. Охлаждение классическое, проверенное временем, на основе чиллеров.
Вот они Novec 1230
Как я уже говорил, фальшпол высокий:
Как вы можете увидеть по залам, тут везде стоят загородки, повышающие эффективность теплообмена:
Стойки глубиной 1070мм и 1200мм отечественные
В каждом холодном коридоре есть термодатчики:
Это на высоте, ещё есть под фальшполом
Ещё одно не совсем стандартное требование ЦОДа — ставить глухие заглушки во все пустые места стоек. Это увеличивает эффективность охлаждения. Насколько я знаю, в одном из залов стоит стойка на 28 кВт, но она в своей особенной загородке и окружена малонагруженными.
Инженеры работают в ЦОДе с тепловизором, проверяя где, что и у кого греется.
Датчики дыма (точнее, запаха) — Vesda.
Снаружи парковую зону нюхает ещё пара датчиков: это чтобы порыв ветра из Останкинского парка от компаний шашлычников не был принят за возгорание в ЦОДе. Внутри машзалов избыточное давление.
Оптику тут кладут преимущественно в сплошные лотки. Поскольку она редко бывает самонесущей и провисает, лучше, чтобы она лежала именно в них.
В зале есть привычная тележка с консолью:
Что непривычно, так этот ящик с болтами:
Аккумуляторная выглядит вот так:
Диспетчерскую разрешили сфотографировать только вот так:
Там же рядом лежит оборудование для нестандартных ситуаций:
Из достопримечательностей, во-первых, образцово-показательная стойка:
Заявлено, что в любую стойку от кроссовых можно прийти двумя разными, непересекающимися маршрутами
Во-вторых, увлажнители, которые доготавливают воздух:
И, в-третьих, репитеры сотовой связи:
Они нужны потому, что машзалы практически радионепрозрачны. Судя по характеру строительства, я бы сказал, что проектировали военные: несущие конструкции (балки) тут выстоят при обрушении стен, по сути, зал – это коробка, на 50–70 сантиметров отступающая от бетонного контура вокруг. Крыша коробки под наклоном, чтобы не было заливов. В торцах здания приямки с насосами. К потолку ничего не крепится, только к балкам.
А еще у них на территории живут белочки
