Привет, Хабр, на связи команда Т1 Облако. Продолжаем делиться с вами необычными историями из жизни инженеров data-центров. Если вам любопытно, читайте первый и второй выпуски баек, а сегодня расскажем о том, как природные стихии, огонь и вода, устроили суровые испытания для серверов, а отключение электричества и соседские «шалости» превратили рутину в незабываемые удивительные события. Если вы тоже верите, что ЦОДы — это нескучно, то добро пожаловать под кат.

Байка о старой «газели» и синем тракторе

В начале 2010-х мне довелось работать в небольшом интернет-провайдере, который по совместительству оказывал услуги по аренде серверов и владел небольшими ЦОДами в нескольких городских районах. Причём как местный провайдер эта компания состоялась, но с точки зрения data-центра это был, мягко говоря, стартап. Все его площадки с серверными стойками находились в подвалах административных зданий, где изначально располагались узлы связи. Но главная загвоздка этих незамысловатых «серверных» была с резервированием электропитания.

Конечно, везде стояли бесперебойники, но их магии хватало примерно на 30-40 минут работы оборудования. Некоторым зданиям ��овезло больше: к ним было подведено по несколько веток электропитания, но так было не везде. Мы решили включить фантазию и придумали организовать автономное питание в виде дизельного генератора на несколько десятков киловаттов, но тут возник закономерный вопрос: как быть, если все площадки в разных местах?

У нас появился план: купить газель, поставить в кузов дизель-генераторную установку и на каждой из площадок организовать возможность быстро подключить питание. По нашему замыслу, при аварии мы быстро подгоняем газельку к площадке, протягиваем кабель, заводим генератор, всё подключается — все молодцы!

Идея была неплоха, но подкачала реализация. Из соображений экономии купили настолько гнилую газельку, насколько было возможно. Погрузили в неё 1,5-тонный генератор и поставили на парковку рядом с одной из площадок. Когда там отключали электроэнергию, генератор благополучно справлялся со своими обязанностями. Но как-то раз авария произошла в другом ЦОДе, и когда мы узнали, что электричества там не будет 3-4 часа, то сразу начали действовать.

Словно герои из триллера о конце света, мы помчались на парковку, не догадываясь, какие испытания нам подготовила судьба. Сначала у газельки не открывалась дверь, но с этим как-то справились. Потом машина не заводилась: сел аккумулятор, так как два месяца автомобилем никто не пользовался. И тут мы случайно заметили, как по району беспечно катается синий коммунальный трактор. Мы взглянули на это чудо техники так, будто оно было посланием свыше.

Накинули ему пару тысяч, и трактор подцепил горе-газель, но не тут-то было: у авто оказался заблокирован руль и замок зажигания. Тогда я взял отвертку, снял рулевую колонку и замок, разблокировал руль, он завертелся-закрутился, и трактор печально поволок нашу газель по району под «веселую» симфонию разрывающегося от звонков мобильника. А вы чем обычно занимаетесь, когда отключают электричество?

…Вы, наверное, удивитесь, но генератор запустился без проблем. Газелька после этого случая отправилась на заслуженный отдых свалку. А районный интернет-провайдер до сих пор работает.

Как счастливая случайность спасла ЦОД

Во время очередной декабрьской «оттепели» в одном из подвальных ЦОДов уже известного вам районного интернет-провайдера произошла беда. Я тогда работал на суточных сменах, и уже собирался домой. Но тут из смежного подвального помещения позвонил арендатор: «Алло, Андрей, нас топит, вода на полу, несколько сантиметров!» Пришлось бежать не домой, а в ЦОД: открыл входную дверь в подвал, глянул вниз, а там кругом вода. Надо идти проверять серверную, а у меня ни сапог, ничего, а там внизу, возможно, шаговое напряжение: это очень опасно. Сначала мы с коллегой попытались вычерпать воду, но она не убывала. Потом решили проникнуть в серверную по-другому: я взял два ведра, переставлял их и по ним, как по болотным кочкам, добрался до двери серверной, чтобы не наступать в воду. Когда открыл дверь, то произнес что-то похожее на «ё-моё»: искрилась проводка внизу стоек, один бесперебойник орал алярмой, другой вырубился, ещё ча��ть оборудования обесточилась.

Сначала я хотел просто отрубить к чертям всё электричество, но заметил, что вода перестала прибывать. Тогда я отключил электрику внизу стоек и сбойный ИБП, чтобы исключить напряжение в воде. И тут взгляд упал на новенький ИБП, удачно собранный буквально за несколько дней до того. Он стоял высоко и избежал контакта с водой, поэтому мне удалось переключить нагрузку на него и восстановить работу оборудования. К тому моменту мои ноги промокли, ботинки развалились, но я был доволен. Можно сказать, нас спасла счастливая случайность.

Затем вместе с коллегой, словно матросы в трюме, вычёрпывали воду ведрами. Потом кто-то приволок садовый насос со шлангом, но он оказался бесполезен. И тут мы догадались проверить общий подвал здания со всеми инженерными коммуникациями, так как он был на одном уровне с нашим ЦОДом. Подвал затопило. Тогда уже мы отправили коллегу купить мощный высококачественный насос, и, как по волшебству, за час всё откачали.

Кстати, этот аппарат в дальнейшем не раз защищал ЦОД от подтопления: насос автоматически включался, когда оказывался в воде. Возможно, он дежурит в том подвале и по сей день.

Как несуществующий пожар чуть не погубил ЦОД

Знаете ли вы, как в ЦОДе проверяют работу противопожарной системы? Расскажу, как однажды это произошло в data-центре, где я работал. Там использовали газовое пожаротушение — баллоны с газом Новек, который не вредит оборудованию. Этим газом даже какое-то время могут дышать люди: так сделано специально, чтобы при пожаре сотрудники успели взять противогазы и покинуть помещение.

Эксплуатацией системы пожаротушения в том ЦОДе занималась подрядная организация: её сотрудники периодически приезжали, проверяли давление в баллонах, работу пожарной системы и другие параметры. Обычно проверка выглядела так: один инженер фирмы отправлялся в помещение, где стояли баллоны, а другой — в машинный зал. Они переговаривались по рациям, и когда убеждались, что готовы начинать проверку, то первый сотрудник, находившийся в помещении с газовыми баллонами, отключал их физически от системы пожаротушения и подключал к ней обычную лампочку накаливания. По команде второй инженер, находившийся в машинном зале, запускал пожарную тревогу. Если после этого лампочка загоралась, значит сигнал оповещения проходил и всё прекрасно работало.

И вот как-то раз во время очередной проверки неожиданно возникли помехи в связи, возможно, магнитные бури разбушевались или ретроградный меркурий полетел не туда. В общем, инженер, который ждал в машзале среди серверных стоек, не расслышал второго, находившегося в помещении с газовыми баллонами.

— Ты готов? — спросил инженер, который дежурил в помещении с баллонами.

«Готов», — вот что ошибочно услышал инженер в машзале, принял это за призыв к действию и включил пожарную сигнализацию.

И тут сработали баллоны. Надо отметить, что они обычно подключены пиропатронами, и если те сработали, то пути назад нет и баллоны выпустят весь газ. Кроме того, у газа Новек есть ещё одна очень интересная особенность, которая тогда была не так сильно известна: газ выходит под высоким давлением и сильно свистит.

В общем, когда сработали баллоны, машинный зал стал напоминать безумный рок-концерт с несколькими дым-машинами. Из-за свиста газа произошёл настоящий звуковой удар: погнулась дверь, треснула штукатурка, жёсткие диски отправились в Вальгаллу, а инженера, находившегося в машинном зале, контузило. Благо, контуженный уцелел и кое-как, «где ползком, где перебежкой», смог выбраться из здания.

Произошла авария, после которой подрядная организация в качестве извинения несколько лет работала с нами бесплатно и выкупила все жёсткие диски, а такая система пожаротушения теперь всегда ставится со специальными глушителями, которые предотвращают звуковой удар.

В нашем ЦОДе поселился «замечательный» сосед

Когда я работал в одной ИТ-компании, мы сотрудничали с провайдером связи, строившим кроссовые помещения для последних миль. Нам нужна была аккуратненькая кроссовая без бомжей для слаботочной инфраструктуры, в которой мы хотели дополнительно разместить маленький ЦОД, например, серверов на 100 с общей коммутацией.

Провайдер связи предложил нам неплохое помещение на первом этаже здания, с офисом и складом, где мы и организовали свой ЦОД. Ровно под нами находился большой подвал, в который из нашей кроссовой можно было спуститься на лифте. И вот туда заехал другой арендатор и переоборудовал помещение под… подпольное казино с рулеткой и автоматами. Для соблюдения приличий они обесточили лифт и не пользовались им, а в своё логово спускались по лестнице, доступной только им.

Как-то ночью мне позвонил взволнованный сотрудник ЦОДа и что-то торопливо говорил про людей с оружием: я выслушал много интересных бранных слов, а затем трубка резко замолчала и раздались гудки. Я не сразу понял, что это было, но потом, когда включил у себя трансляцию с камеры наблюдения, сразу всё понял. Моему взору открылась следующая картина: сидит мой коллега, а рядом – два ОМОНовца в бронежилетах о чём-то мило беседуют. «Что за чертовщина?» — подумал я и позвонил нашему ИТ-директору, коммерческому и генеральному, всё рассказал, и мы решили срочно выезжать на площадку.

Когда мы приехали, выяснилось, что спецназ прибыл штурмовать не наш ЦОД, а подпольное казино, и заблокировал незадачливых хозяев рулетки. Им не удалось сбежать через обесточенный лифт и наш ЦОД, поэтому они заперлись в своём подвале за тяжелыми сейфовыми дверями. ОМОН безуспешно пытался выбить двери кувалдой, а тем временем гангстеры старались пробить бетонный пол ломом, чтобы попасть в канализацию, как черепашки ниндзя, и сбежать. Но реальность отличается от кино, и за 5 часов у них получилось выдолбить только 10 см. В результате «охотники за удачей» очень устали, перестали сопротивляться и безропотно приняли свою судьбу.

Натурные испытания ЦОДа

Как-то раз делегация от одного очень крупного китайского вендора в виде группы высокопоставленных сотрудников приехала в Россию, чтобы выбрать три самых надёжных ЦОДа для размещения суперважного заказчика. Иностранные коллеги проводили полную проверку: смотрели планы зданий, изучали дизельный генератор, спрашивали, сколько топлива в баке и надолго ли его хватит, разглядывали контракты с поставщиками, уточняли, какой газ используется в системе пожаротушения и как она запускается. Получив всю необходимую информацию, директор по безопасности этого китайского вендора засыпал комплиментами наших коллег, которые, по его мнению, так щепетильно подходят к организации всех систем ЦОДа. Он ещё не знал, чем завершится эта «презентация».

Тут важно упомянуть, что у высокопоставленного топ-менеджера был пунктик по поводу ИБ. По его словам, построить ЦОД — полдела, а весь прикол в том, как это будет поддерживаться, обновляться, проверяться и соответствовать всем регламентам и изменениям. И когда делегация стала изучать особенности доступа на объект, на огонёк заглянул директор по безопасности этого ЦОДа, бывший кагэбэшник. Иностранных коллег пригласили в диспетчерскую, где на мониторах велась трансляция с камер наблюдения. И тут наш герой решил наглядно показать, как работает система безопасности периметра:

— Приём, шестой, шестой, это первый. Выходи на улицу, — передал он по рации. Тем временем камера наблюдения навела объектив на «шестого» и вела трансляцию с улицы. — Теперь иди к забору. Чего стоишь, лезь на забор!

— Пал Палыч, вы что? — возмущалась рация.

— Лезь, я сказал! — ответил настойчивый голос.

Иностранные коллеги смотрели, как «шестой» начал штурмовать ограждение, и моментально заработала сигнализация. Вот так директор по безопасности показал, насколько чётко умеет работать и он, и его система.

По традиции, делитесь своими ИТ-приключениями в комментариях: какие удивительные события происходили с вами и как вы находили из них выход.