Продолжаем цикл экскурсий по Селектелу. На этот раз — дата-центр «Цветочная». Там же находятся наши офисные помещения (то есть мы).
Начнём с видео экскурсии (обратите внимание на кнопку HD сверху):
(альтернативная ссылка)
Серверная на Цветочной имеет очень высокий потолок. Благодаря этому там находится довольно значительный объём прохладного воздуха. Наш НЗ, так сказать.
На этой фотографии видна высота потолков. На фотографии — бесперебойники, точнее, их силовая часть. Аккумуляторы находятся в другом помещении. Три белых ящика посередине — электрические коммутационные узлы, которые позволяют вывести из эксплуатации любой из источника питания (оба ввода городской электрической сети, упсы, дизели) без остановки работы. Я откровенно плаваю в такой электротехнике, но во время профилактики я в них (издалека) заглядывал — внутри огромной толщины медные шины — в палец толщиной, шириной в ладонь.
На фотографии ниже можно видеть как именно выглядит холодный коридор — в относительно тесном Технодоме не было возможности увидеть его целиком, на Цветочной — можно. Каждая такая «комнатка» распределяет холодный воздух для двух рядов стоек для серверов. Эта фотография сделана через «смотровое окошко для клиентов» не во время основной фотосессии, так что зал находится в совершенно непарадном виде: половина освещения выключена (экономим, угу), виден след от ежедневной влажной уборки.
Вид в холодном коридоре. Обратите внимание на вентиляцию, точнее, на перфорированные плиты вдоль серверов. Через них поступает холодный воздух. Степень перфорации этих пластин — 85% площади.
А вот и пластина крупным планом из запасников. Весь фальшпол устроен очень интересно — это огромная металлическая рама примерно на пол-метра высотой. На неё кладутся пластины двух видов — сплошные (обычный пол) и перфорированные. Каждая такая пластина выдерживает 500 кг, а сама весит около 5. Чтобы снять с пола эти пластины особых усилий не нужно, чтобы снять сплошные пластины используются ваккумные присоски. Кстати, если оказывается, что в шкафах мало активного оборудования, то вентиляционные отверстия перед ним закрывают, чтобы не тратить холод. На Цветочной холод не дефицит, но ценится, т.к. это определяет расходы на электричество для кондиционеров.
.
Стоять на таких пластинах неуютно — снизу дует реально 15-16 градусами, плюс шум стоит такой, что приходится перекрикиваться.
Снаружи находится пространство «горячего коридора» (это означает, что там не так холодно, как в холодных, хотя всё равно не очень уютно).
Все провода серверов (питание и сеть) подключаются со стороны горячего коридора. С этой стороны шкафы закрыты (на фотографии несколько замков приоткрыли, в нормальном режиме они обычно закрыты)
Я думаю, все знают, что образуется внутри компьютера под столом за пару лет. Чтобы такого не происходило, у нас:
Благодаря этим мерам сервера остаются чистыми. Я сам очень удивился, когда во время экспериментов с оборудованием открыл сервер, который проработал в серверной минимум год, и всё, что увидел, это едва заметный слой, похожий на то, что образуется на обычном столе за день.
Немного о бахилах. Сначала у нас были обычные коробки с бахилами, которые нужно было одевать самостоятельно. Всех это сильно достало и был куплен «бахилятор» — аппарат для надевания бахил. К сожалению, нормально он не работал и мы опять вернулись к ручному одеванию.
Потом мы купили более клёвую модель, которая работает нормально (именно она на фотографии слева от коробки с бахилами). Принцип работы прост — ногу ставят на тонкий лист пластика, наступают на качающуюся площадку, пластик обворачивается вокруг подошвы, подогревается тёплым (горячим? Но его не чувствуется) воздухом и затвердевает. Как только ногу убирают, выдувается следующий лист пластика. После того, как бахилятор хорошо себя зарекомендовал, был куплен второй, для обувания обоих ног одновременно. Единственный недостаток этих бахил — они очень шуршат при хождении.
Несколько постов охраны, железная вертушка во всю стену, проход только по RFID токенам. Доступ в серверную строго ограничен, часть сотрудников (отдел разработки) может физически находится в серверной только вместе с сопровождающим (собственно, наши программисты там были один раз, во время экскурсии после окончания испытытельного срока).
Серверная буквально утыкана камерами с разными ракурсами. Цель — иметь полное покрытие, причём не в режиме «а вот те 4 пиксела в углу — это один из шкафов», а иметь возможность видеть ясно всё изображение. Камеры не FullHD, всего 720p, но зато цветные. Разумеется, есть и наружные камеры. Часть камер используется не для охраны, а для наблюдения за работой оборудования, например, есть камеры, которые «смотрят» на внешние блоки охлаждения. Помимо приложений мониторинга, которые скажут что случилось, если что, за оборудованием так же наблюдают визуально. Например, вот эта камера смотрит не столько за проходом, сколько за бесперебойниками. (общий план — первая фотография в посте).
В центре зала находятся кондиционеры. Они нагнетают воздух под фальшпол, откуда он через «дырки в полу» попадает в холодные коридоры. Как мне заметил человек, занятый системами охлаждения: «обрати внимание на чистые воздушные фильтры».
Кондиционеры имеют схему N+1, плюс приличный запас (минут 15) холодного воздуха вокруг (понятно, что его никто использовать не собирается, но резерв карман не тянет).
Поскольку в серверной высокие потолки, на втором этаже сделаны красивые смотровые окошки для гостей, откуда можно наблюдать жизнь в серверной. Эта фотография с «дальнего» конца серверной, окошки вдоль всей стены на уровне второго этажа:
Вот так выглядит наше здание и ресепшен.
А вот тут клиенты могут заменить кусочки своего collocation:
В Селектеле очень развит культ поклонения пингвинам. В наличии два тотема — один светящийся и пластиковый, второй плюшевый.
И остальные фотографии, которые приглянулись фотографу. Что в них комментировать я не знаю, но выглядят, вроде бы, красиво (хотя я предпочёл бы опубликовать не пачку пошлых RJ45 категории 5E, а аналогичную же пачку 10G оптики). Но, фотограф уже убежал, а фотографии остались.
К сожалению, нам не дали толком отснять дизели, подземное хранилище солярки, и, главное, не пустили в электрощитовую. 6 киловольт, однако.
Для тех, кто страдал по поводу узла связи в Технодоме — на Цветочной дискриминации операторов нет, их стойки размещаются в общем зале.
Начнём с видео экскурсии (обратите внимание на кнопку HD сверху):
(альтернативная ссылка)
Серверная
Серверная на Цветочной имеет очень высокий потолок. Благодаря этому там находится довольно значительный объём прохладного воздуха. Наш НЗ, так сказать.
На этой фотографии видна высота потолков. На фотографии — бесперебойники, точнее, их силовая часть. Аккумуляторы находятся в другом помещении. Три белых ящика посередине — электрические коммутационные узлы, которые позволяют вывести из эксплуатации любой из источника питания (оба ввода городской электрической сети, упсы, дизели) без остановки работы. Я откровенно плаваю в такой электротехнике, но во время профилактики я в них (издалека) заглядывал — внутри огромной толщины медные шины — в палец толщиной, шириной в ладонь.
На фотографии ниже можно видеть как именно выглядит холодный коридор — в относительно тесном Технодоме не было возможности увидеть его целиком, на Цветочной — можно. Каждая такая «комнатка» распределяет холодный воздух для двух рядов стоек для серверов. Эта фотография сделана через «смотровое окошко для клиентов» не во время основной фотосессии, так что зал находится в совершенно непарадном виде: половина освещения выключена (экономим, угу), виден след от ежедневной влажной уборки.
Вид в холодном коридоре. Обратите внимание на вентиляцию, точнее, на перфорированные плиты вдоль серверов. Через них поступает холодный воздух. Степень перфорации этих пластин — 85% площади.
А вот и пластина крупным планом из запасников. Весь фальшпол устроен очень интересно — это огромная металлическая рама примерно на пол-метра высотой. На неё кладутся пластины двух видов — сплошные (обычный пол) и перфорированные. Каждая такая пластина выдерживает 500 кг, а сама весит около 5. Чтобы снять с пола эти пластины особых усилий не нужно, чтобы снять сплошные пластины используются ваккумные присоски. Кстати, если оказывается, что в шкафах мало активного оборудования, то вентиляционные отверстия перед ним закрывают, чтобы не тратить холод. На Цветочной холод не дефицит, но ценится, т.к. это определяет расходы на электричество для кондиционеров.
. Стоять на таких пластинах неуютно — снизу дует реально 15-16 градусами, плюс шум стоит такой, что приходится перекрикиваться.
Снаружи находится пространство «горячего коридора» (это означает, что там не так холодно, как в холодных, хотя всё равно не очень уютно).
Все провода серверов (питание и сеть) подключаются со стороны горячего коридора. С этой стороны шкафы закрыты (на фотографии несколько замков приоткрыли, в нормальном режиме они обычно закрыты)
Чистота
Я думаю, все знают, что образуется внутри компьютера под столом за пару лет. Чтобы такого не происходило, у нас:
- Повышенное давление в серверной относительно атмосферного. Это не означает, что дверь трудно закрыть, но несколько десятков паскалей вполне определяют направение тока воздуха при открытии двери, а значит, и направление движение пыли
- Ежедневная (это не шутка) влажная уборка серверной, несколько раз в день убирается коридор, по которому проходят инженеры из своего помещения в серверную
- Бахилы на входе (о них чуть ниже)
- Воздушные фильтры кондиционеров, которые регулярно чистятся и проверяются
Благодаря этим мерам сервера остаются чистыми. Я сам очень удивился, когда во время экспериментов с оборудованием открыл сервер, который проработал в серверной минимум год, и всё, что увидел, это едва заметный слой, похожий на то, что образуется на обычном столе за день.
Немного о бахилах. Сначала у нас были обычные коробки с бахилами, которые нужно было одевать самостоятельно. Всех это сильно достало и был куплен «бахилятор» — аппарат для надевания бахил. К сожалению, нормально он не работал и мы опять вернулись к ручному одеванию.
Потом мы купили более клёвую модель, которая работает нормально (именно она на фотографии слева от коробки с бахилами). Принцип работы прост — ногу ставят на тонкий лист пластика, наступают на качающуюся площадку, пластик обворачивается вокруг подошвы, подогревается тёплым (горячим? Но его не чувствуется) воздухом и затвердевает. Как только ногу убирают, выдувается следующий лист пластика. После того, как бахилятор хорошо себя зарекомендовал, был куплен второй, для обувания обоих ног одновременно. Единственный недостаток этих бахил — они очень шуршат при хождении.
Охрана и видео-наблюдение
Несколько постов охраны, железная вертушка во всю стену, проход только по RFID токенам. Доступ в серверную строго ограничен, часть сотрудников (отдел разработки) может физически находится в серверной только вместе с сопровождающим (собственно, наши программисты там были один раз, во время экскурсии после окончания испытытельного срока).
Серверная буквально утыкана камерами с разными ракурсами. Цель — иметь полное покрытие, причём не в режиме «а вот те 4 пиксела в углу — это один из шкафов», а иметь возможность видеть ясно всё изображение. Камеры не FullHD, всего 720p, но зато цветные. Разумеется, есть и наружные камеры. Часть камер используется не для охраны, а для наблюдения за работой оборудования, например, есть камеры, которые «смотрят» на внешние блоки охлаждения. Помимо приложений мониторинга, которые скажут что случилось, если что, за оборудованием так же наблюдают визуально. Например, вот эта камера смотрит не столько за проходом, сколько за бесперебойниками. (общий план — первая фотография в посте).
Охлаждение
В центре зала находятся кондиционеры. Они нагнетают воздух под фальшпол, откуда он через «дырки в полу» попадает в холодные коридоры. Как мне заметил человек, занятый системами охлаждения: «обрати внимание на чистые воздушные фильтры».
Кондиционеры имеют схему N+1, плюс приличный запас (минут 15) холодного воздуха вокруг (понятно, что его никто использовать не собирается, но резерв карман не тянет).
Поскольку в серверной высокие потолки, на втором этаже сделаны красивые смотровые окошки для гостей, откуда можно наблюдать жизнь в серверной. Эта фотография с «дальнего» конца серверной, окошки вдоль всей стены на уровне второго этажа:
Внешний вид
Вот так выглядит наше здание и ресепшен.
А вот тут клиенты могут заменить кусочки своего collocation:
Благоглупости
В Селектеле очень развит культ поклонения пингвинам. В наличии два тотема — один светящийся и пластиковый, второй плюшевый.
И остальные фотографии, которые приглянулись фотографу. Что в них комментировать я не знаю, но выглядят, вроде бы, красиво (хотя я предпочёл бы опубликовать не пачку пошлых RJ45 категории 5E, а аналогичную же пачку 10G оптики). Но, фотограф уже убежал, а фотографии остались.
К сожалению, нам не дали толком отснять дизели, подземное хранилище солярки, и, главное, не пустили в электрощитовую. 6 киловольт, однако.
Для тех, кто страдал по поводу узла связи в Технодоме — на Цветочной дискриминации операторов нет, их стойки размещаются в общем зале.
