В Страсбурге сгорел дата-центр OVH SBG2

    Фото DNA.FR / Jean-Christophe DORN
    Фото DNA.FR / Jean-Christophe DORN

    10 марта в 02:42 по московскому времени облачным провайдером OVH было опубликовано оповещение о деградации сервиса в дата-центре SBG1 в Страсбурге, которое позже было дополнено информацией о пожаре в здании SBG2:

    В настоящее время в нашем центре обработки данных в Страсбурге произошел серьезный инцидент, связанный с пожаром в здании SBG2. Пожарные немедленно прибыли на место происшествия, но не смогли справиться с возгоранием в SBG2. Все здание было изолировано, что влияет на все наши услуги на SBG1, SBG2, SBG3 и SBG4. Если ваш сервис хостится в Страсбурге, мы рекомендуем активировать План аварийного восстановления. Все наши бригады полностью мобилизованы вместе с пожарными. Мы будем держать вас в курсе по мере поступления дополнительной информации.

    Фото DNA.FR / Jean-Christophe DORN
    Фото DNA.FR / Jean-Christophe DORN

    SBG2 является частью кампуса SBG, состоящего из 4 ЦОД. В SBG2 предоставлялись услуги аренды выделенных серверов (dedicated) и облачные сервисы. И если облачным сервисам OVH должен был обеспечивать резервное копированием своими силами, то для арендаторов выделенных серверов эта ситуация в отсутствии резервных копий может быть фатальной.

    Тем временем real-time мониторинг доступности выделенных серверов в SBG2 рапортует о полной доступности всего оборудования в ЦОД. Вероятно, сервера мониторинга располагались в том же дата-центре.

    Среди облачных провайдеров, не входящих в "большую тройку" (AWS, Azure и Google Cloud), OVH является одним из наиболее популярных. Большинство из 27 дата-центров OVH расположены в Европе. Последняя крупная авария у OVH также произошла в кампусе SBG в 2017 году. В результате отключения электроэнергии весь кампус SBG был отключен. Сорок минут спустя другой кампус RBX (Рубе, Франция) потерял связь из-за несвязанной ошибки программного обеспечения в сетевом оборудовании.

    Сочувствуем всем проектам, у кого сервера находились в данном дата-центре, а остальным напоминаем про давно известный чек-лист:

    1. Храните бекапы в сберегательных кассах отдельных дата-центрах;

    2. Периодически проверяйте работоспособность своих бекапов;

    3. Имейте наготове план аварийного восстановления доступности сервиса.

    UPD: В 9:20 по московскому времени пожар закончился. Судя по сообщениям Octave Klaba (основателя и владельца OVH) в Twitter, в связи с близким расположением зданий дата-центров SBG1, SBG3 и SBG4 к сгоревшему SBG2, пожарным пришлось их "охлаждать", в связи с чем в настоящий момент отсутствует доступ в эти здания и работа данных ЦОД сегодня восстановлена быть не может.

    UPD 2: Octave Klaba оценил в своем Twitter сроки восстановления работы не пострадавших от огня ЦОД SBG3, SBG4 и частично SBG1, в 1-2 недели.

    Комментарии 224

      +1
      Интересно, это нормально, что я прям так, с улицы, могу смотреть все открытые тикеты этого датацентра и их содержимое?
      travaux.ovh.net
        +23
        Это status, а не тикеты, там пишут обо всех инцидентах. И да, это нормально
          +5
          Да, изначально так и задумывалось.
          И это не совсем тикетница, скорее «uptimerobot» их производства.
            0
            Смотрю на свои серверные и не понимаю что там вообще может интенсивно гореть.
            Видимо у меня не хватает каких-то очень нужных конструкций ;-)
              0
              А у вас разве нет пучка силовых кабелей и витой пары от каждой стойки?
                +2
                С витыми парами мне все понятно.
                Сейчас действует много стандартов в разных странах что UTP должен быть LSZH, а это означает, как минимум: «Материалы класса LSZH не распространяют горение»

                С силовыми пока не знаю, предполагаю что все тоже самое.
                  0
                  Да от температуры зависит, на самом-то деле. Они самозатухают, если их поджечь спичкой, или там от козы загорелось. Но все эти пластики с антипиреновыми добавками прекрасно горят, если вокруг горит всё остальное.
                    0
                    Угу, помнится на одной АТС-ке «негорючие» кабели горели так, что рама станции в штопор свернулась.
                      0
                      Дык, прокладка не одиночная =)
                        0

                        Горят не только оболочки, насколько я понимаю горит и алюминий, но вот вопрос как так хорошо подожгли...

                          +1

                          Разве что магний гореть может. Алюминий так не умеет (разве что в виде пудры)

                            0

                            При очень высокой температуре, вроде даже ролики есть… Ну и самолёты...

                              0
                              Алюминий горит очень хорошо.
                              Не горит оксидная пленка.
                              Но если алюминий нагреть так, что он начинает кипеть — то он горит не хуже магния.
                                +1

                                https://www.wikipro.ru/wiki/goryuchest-alyuminievyh-konstrukcij-mif-i-realnost/
                                Он то горит, только в виде пудры. Тут пишут что горючесть конструкций это миф

                                  +2
                                  Он не поддерживает горение в обычном огне(1500градусов) в виде пластин. Но если вокруг температура 2500+ то пластина кипит и кипящий алюминий вполне окисляется почти в 0.
                                  Другой вопрос, что в горящем фасаде больше 1200 не должно быть. А вот в закрытом помещении — вполне может быть.
                                  А при 3000 кипит сам оксид и тогда вообще все.
                                  Но да, обычно таких температур нету. С другой стороны, та же фольга-самоклейка горит при меньшей температуре.
                                    +1

                                    Но там же не ацетилен с чистым кислородом горит. Врятли там могут быть такие температуры

                                      0
                                      Да, врятли.
                                      Такие температуры возникают когда было сильное пламя, а потом перекрыли приток свежего(охлаждающего) воздуха.
                        0
                        Часто бывает другая фраза: «Не распространяет горение при одиночной прокладке».
                          0
                          Эм, для электрики уже давно есть разные:
                          Примеры из наших гостов
                          5.11 Кабельные изделия должны подразделяться по показателям пожарной опасности на следующие типы исполнения:

                          — кабельные изделия, не распространяющие горение при одиночной прокладке (без обозначения);

                          — кабельные изделия, не распространяющие горение при групповой прокладке [исполнение — нг(...)*-];

                          — кабельные изделия, не распространяющие горение при групповой прокладке, с пониженным дымо- и газовыделением [исполнение — нг(...)*-LS];

                          — кабельные изделия, не распространяющие горение при групповой прокладке и не выделяющие коррозионно-активных газообразных продуктов при горении и тлении [исполнение — нг (...)*-HF];

                          — кабельные изделия огнестойкие, не распространяющие горение при групповой прокладке, с пониженным дымо- и газовыделением [исполнение — нг (...)*-FRLS];

                          — кабельные изделия огнестойкие, не распространяющие горение при групповой прокладке и не выделяющие коррозионно-активных газообразных продуктов при горении и тлении [исполнение — нг (...)*-FRHF];

                          — кабельные изделия, не распространяющие горение при групповой прокладке, с пониженным дымо- и газовыделением и с низкой токсичностью продуктов горения [исполнение — нг (...)*-LSLTx];

                          — кабельные изделия, не распространяющие горение при групповой прокладке, не выделяющие коррозионно-активные газообразные продукты при горении и тлении и с низкой токсичностью продуктов горения [исполнение — нг(...)*-HFLTx].

                          — кабельные изделия огнестойкие, не распространяющие горение при групповой прокладке, с пониженным дымо- и газовыделением и с низкой токсичностью продуктов горения [исполнение — нг(...)*-FRLSLTx];

                          — кабельные изделия огнестойкие, не распространяющие горение при групповой прокладке, не выделяющие коррозионно-активных газообразных продуктов при горении и тлении и с низкой токсичностью продуктов горения [исполнение — нг(...)*-FRHFLTx].
                            0
                            Это да, но вот сейчас отмотал пару метров из бухты более-менее честного UTP кабеля, прочитал маркировку «ETG UTP Cat 5e 24AWG Cable Cert to TIA/EIA 568 271m». Горит ли оно — а чёрт его знает. Да, можно конечно на всё, что менее брендово, чем хотя-бы Hyperline (а то и Panduit, если совсем много понтов), нос ворочать, но Low-Cost при этом не очень Low будет.
                      0
                      Сама электроника прекрасно горит, пока на ней есть напряжение, все эти процессоры, резисторы и танталовые конденсаторы. Особенно если она плотно упакована в стойку. А питание в дата-центре так просто не снимешь, во-первых, там многократное резервирование, а во-вторых, это будет диверсия.
                        0
                        во-вторых, это будет диверсия.

                        Хм. Как по мне, как раз не работающий сценарий пожаротушения — это диверсия ещё та, по сравнению с аварийным обесточиванием и отключением вентиляции :)
                          0
                          По мне так это производственный объект. На таком обесточивание должно одной кнопкой производится. Не?
                            +2
                            Это объект стандарта TIA-942. Если он был 4-го класса (судя по размерам — не ниже третьего), то он онлайн 99,995% времени, то есть суммарные простои в год не превышают 10...20 минут. Поэтому рубильника, одним нажатием выключающего всё, в нём гарантированно нет — там даже резервные источники питания продублированы. А вот почему не срабатала пожарная сигнализация, автоматика не обесточила аварийные стойки, а система пожаротушения не задула всё вокруг углекислым газом — очень интересные вопросы.
                              0
                              Поэтому рубильника, одним нажатием выключающего всё, в нём гарантированно нет

                              Почему нет? Все эти классы подразумевают, что оно имеет многоуровневые степени защиты от неконтролируемых инцидентов, а не от контролируемого отключения, если это необходимо.
                                0
                                Ну как же. Вот же пункт
                                В с вязи с правилами противопожарной безопасности и электробезопасности всё-таки будет некоторое воздействие простоя из-за срабатывания пожарной сигнализации или из-за того, что кто-то из персонала инициирует процесс аварийного отключения нагрузки (EPO, Emergency Power Off).
                                UPD
                                Типичный щит PDU должен содержать следующие компоненты:
                                -устройства экстренного отключения нагрузки (EPO);
                                  +1
                                  Вот именно что щит, который почему-то не обесточил аварийную стойку. Весь ЦОД может отключить только самый верхний инженер, но никак не дежурный админ, причём он вначале переведёт нагрузку на другие ЦОДы, корректно сохранит все данные на диски… Поэтому скорее приедут пожарные, которых вызвали прохожие, заметившие, что дата-центр переносится в облако, чем вся эта бюрократия аварийно обесточит электронику и вручную запустит пожаротушение…
                                    0
                                    Я конечно не знаю как в датацентрах, но у нас такие кнопки отрубают вообще весь объект. И я считал, что на любом производстве, в том числе и в датацентрах, такая кнопка доступна в шаговой доступности у любого персонала. И жмакнув на нее обесточивается весь объект. По крайней мере у дежурного инженера она точно должна быть. И у охраны должна быть. На то она и экстренная. Есть кончено локальные стопы, но они на каждую единицу оборудования отдельно. Как раз для проведения обслуживания. Пришел, нажал, и ковыряешься не переживая, что запустят дистанционно. Там это сделано на разрыве фазы(Для большей безопасности). Я почему то думал что в ЦОД такие же правила по электрике. Тем более там мощности колоссальные. Что в каждом зале есть локальный стоп, а на посте управления и еще в пару помещений, глобальное обесточивание. Ну кроме аварийного освещения, сигнализации и прочего не много жрущего. Но такие линии обычно требуют исполнения в негорючих кабелях, и отдельно от всего остального.
                                      0
                                      Аварийное отключение дата-центра такого масштаба может принести владельцам убытков больше, чем он стОит вместе со всем оборудованием. Это примерно как на сталеплавильном заводе — если в печи застынет металл, то её уже не растопить, придётся ломать и строить новую, поэтому на ютубе полно видео, как весело разлетаются по цеху брызги металла, и все прячутся, а не отключают печь и запускают охлаждение…
                                        0
                                        Я так понимаю это про нашу необъятную речь идет? Думаю что там, это не здесь. Человеческая жизнь ТАМ дороже, не здесь. Здесь, я смотрю, жизнь человека оценили в миллион рублей. Все. Больше не получается. То есть в сумму которую может заработать среднестатистический россиянин за 2.5 года, это если верить в среднюю зарплату. Не думаю, что там сумма такая же. Хотя могу ошибаться. Если есть кто может сказать сколько стоит компенсация на производстве за жизнь в не РФ, прошу поделиться.
                                          0
                                          Я так понимаю это про нашу необъятную речь идет?

                                          По аварийным остановам я уже чуть раньше отписался.
                                          Человеческая жизнь ТАМ дороже, не здесь.

                                          Вы в абсолютных, или относительных значениях? Если в относительных — примерно равнозначно. Более того, я вам тайну открою, но тот же самый ЕВРАЗ — международный холдинг и заводы есть в том числе в Канаде.
                                          стоит компенсация на производстве за жизнь в не РФ

                                          В зависимости от обстоятельств произошедшего. ИРЛ большая часть травматизма на производствах происходит из-за нарушения ОТиТБ. А дальше уже начинаются проверки и поиски виновных. Например, даже если сотрудник явно и грубо нарушил ОТиТБ, но в каком-нибудь журнале не хватает какой-нибудь подписи — работодателя ждёт грусть.
                                          Там примерно так же. А сумма компенсаций в большинстве своём определяется лишь скиллом адвоката, предрасположенностью судьи и наличием/отсутствием лобби. Но в тех же самых штатах у конторы откосить от штрафа и компенсаций, если вина исключительно на работнике, значительно проще чем у нас.
                                          ТАМ

                                          На самом деле распространённое заблуждение. Я работал в международной иностранной металлургической компании и покатался по миру, побывав на многих заводах.
                                          Могу сказать что «ТАМ» (естественно мы не берём в расчёт страны «третьего» мира типа Индии, Пакистана, Бангладеш) состояние производства, отношение к персоналу и условия труда во многих случаях не сильно лучше, чем тут: есть новые производства, есть не очень; есть производства с ответственным персоналом и эксплуатацией, есть не очень.
                                          0
                                          Аварийное отключение дата-центра такого масштаба может принести владельцам убытков больше, чем он стОит вместе со всем оборудованием

                                          Это целиком и полностью зависит от SLA. Например, OVH никогда себя не обременял в своих договорах лишними обязательствами и ответственностью. С другой стороны, вот если бы тут нажали такую аварийную кнопку, которая бы всё обесточила и погасила нахрен вентиляцию, убытков было бы куда меньше, и оператору, и его клиентам. Так что ваша теория имеет пробелы.
                                            0
                                            В дата-центрах хостятся не только сайты с картинками котиков, но и, например, какая-нибудь биржа. И вот, идут миллиардные торги, прибыль или разорение зависит от того, кто на миллисекунду опередит конкурента, и тут сисадмин Вася, покурив на крыльце и увидев с улицы задымление над крышей, решает рубануть сразу всё здание… Таки нет, пусть лучше оно всё сгорит, и потом перед страховой и клиентами списать на форс-мажор (а мы старались до последнего поддерживать работоспособность), чем умышленно отключить серверы и потом Самим возмещать клиентам убытки, поскольку это не будет страховым случаем.
                                              –1
                                              ну тут такая себе грань
                                              а если соседнее здание — детский сад, вы не отключите датацентр ради биржи (ну чтобы там миллиардные торги не сорвались)… а потом сгорит детский сад и еще пару жилых домов?
                                              А если проходящий мимо газопровод бахнет? еще еще какой бензовоз или чё покруче?

                                              пожар это пожар, это уже форсмажор. если начинать приоритеты расставлять… то тут прям титаник вспоминается, 'сначала эвакиуруем богатых, потом всех остальных'… ну правильно Васян мелкий служащий не нужен для экономики, а банкир из пентхауса — владелец параходов самолетов — он рабочие места дает.

                                              для всего этого есть страховка, если ты биржа то и заплатишь соответственно и дублирование у тебя будет в разных ДЦ с онлайн переключением.

                                              p.s. я помню NY биржа падала несколько раз со страшным грохотом… ну и ниче, мировая экономика не рухнула и MS не обанкротилась (в те времена они хвастались что поставщики софта для них)
                                                0
                                                Биржы хостятся на хостингах со строгим SLA, и OVH к ним никак не относится. Ну а если какая-то биржа и разместится, то ССЗБ, договор читать надо было. Чуть более чем уверен, что OVH в принципе не будет ничего возмещать сверх стоимости услуг или доверенных им железок.
                                                  0
                                                  Будет, если мы говорим об аренде.

                                                  Дедики:

                                                  To apologise for the inconvenience caused, we will provide the service free of charge, for an equivalent of 3 times the amount of your February 2021 invoice for this service. We will get back to you in a few days to inform you about the conditions for receiving this service free of charge.

                                                  ВПС:

                                                  Для тех, кто сгорел: We recommend placing a new order for an alternative service in our Gravelines datacentre (GRA), where we are increasing our capacity. To support you, we will provide the service free of charge, for an equivalent of 6 times the amount of your February 2021 invoice for this service.

                                                  Для тех, кого задело: We will retroactively provide the service free of charge, for an equivalent of 3 times the amount of your February 2021 invoice for this service.

                                                    0
                                                    Ну окей, х3 за месяц.
                                                  +2
                                                  чем умышленно отключить серверы

                                                  Умышленное отключение серверов при пожаре юридически является таким точно форс-мажором, как и их физическое уничтожение. С той лишь разницей, что у вас не сгорает всё здание нафиг, а на восстановление вы тратите не месяцы, а дни.
                                                  Кроме того, даже такая авария на биржах не является смертельной. В подобных случаях происходит откат сделок на состояние, предшествующее открытию дня, это неприятность, но отнюдь не миллиардные потери.
                                                  Самим возмещать клиентам убытки, поскольку это не будет страховым случаем

                                                  Опять же таки, это зависит от SLA. Если по договору вы предоставляете хостинг и отвечаете за качество хостинга, вы хоть триллионные убытки можете нанести, но заплатите вы клиенту за стоимость оборудования и хостинга, а не за утраченную им прибыль.
                                                0
                                                если в печи застынет металл

                                                Какой печи? :)
                                                Их существует почти столько-же, сколько распространённых дистрибутивов линукса.
                                                то её уже не растопить, придётся ломать и строить новую

                                                Коксохимические батареи так-же.
                                                поэтому на ютубе полно видео, как весело разлетаются по цеху брызги металла,

                                                Которые могут разлетаться по тысяче различных причин. Более того в некоторых случаях это вполне себе нормальное технологическое явление.
                                                а не отключают печь

                                                В тех же самых АПК (агрегат печь-ковш) в ковшах, переносящих расплав, нет никаких отключалок. Только ковш отвалиться сможет. Плюс вы на минуточку забываете о теплоёмкости нескольких сотен тонн расплавленного металла.
                                                запускают охлаждение

                                                Этого не делают ровно по той же причине, по которой в космос их не запускают — такого функционала не завезли.
                                                Я конечно понимаю, что это не совсем профильный ресурс, если мы говорим об инженерах. Но металлургические (или коксохимические) производства имеют крайне высокий SLA, те же коксохимические батареи работают десятки лет без останова.
                                                И нет, те ролики, которые выглядят пугающими в сети (с брызгами расплава и прочим) в большинстве своём выглядят пугающе и завораживающе, но на самом деле «это норма» (с).
                                                И нет, кнопки аварийного останова, по которым участок встаёт колом есть на всех производствах в нашей стране. И да, даже в «нашей необъятной» (с) травматизм на рабочем месте меньше всего нужен работодателю. Даже если отбросить все «человеческие» причины — потом проверками задолбают.
                                                0
                                                Выключение датацентра такого плана для бизнеса — аналог ядерной бомбы.
                                                Не удивлюсь, если для этого надо два разных ключа повернуть.
                                            +1
                                            То, что выставляет Uptime Institute и размеры ДЦ вещи не связанные. Есть мелкие ЦОДы, которые соответствуют Tier-IV, есть крупные, которые и на III не тянут.
                                              0
                                              А почему вы думаете, что там был газ? Я вот как раз на днях вернулся из поездки по нескольким крупнейшим североамериканским DC Tier III, в которых держат своё оборудование top brand names. Тушение у них у всех организовано трубами для воды с распылителями (sprinklers), которые будут лить воду на железные стенки шкафов. На мой вопрос все отвечали, что для сертификации на Tier III этого достаточно, и вообще этого же никогда не случится, и, если что, дежурный с огнетушителем прибежит и всё потушит, в том числе батареи ИБП, запакованные в многоэтажный закрытый шкаф. Главное — трубы сухие (dry pipes), так что волноваться вам нечего — оборудование случайно не зальёт.
                                              А OVH — лоукостер, там и такого могло не быть.
                                              0
                                              На таком обесточивание должно одной кнопкой производится

                                              Насколько я понимаю, смежные здания так и обесточивались. Пожарный не будет лить воду на работающую электроустановку, а это опять потеря времени.

                                              Вопрос в другом — мы не знаем что произошло в действительности и гадаем по кофейной гуще. Мы не знаем, где произошло возгорание. Мы не знаем, на каком этапе была противопожарная система, может быть она и сработала, но уже поздно. Пока ясно только одно — как только прогорела стенка контейнера и у пламени появился доступ к кислороду, процесс горения стал неуправляемым; а штатные системы пожарной безопасности, основанные на ограничении кислорода — бесполезными.

                                              PS: точно знаю что ночью техники работаю по датацентру, пару раз проводили работы (меняли БП, память) ночью. И хвата небесам, что не слышно про человеческие жертвы.
                                            0
                                            Пол\потолок из чего? Двери металлические? Шкафы деревянные со всяким хламом (картонные коробки картриджей) есть?
                                            Ещё есть пластиковые pdu, розетки…
                                              0
                                              жидкосное охлаждение на каждое устройство (сервер), заправлено, возможно, этиленгликолем, плюс кабель (силовой, utp, оптика), плюс сами сервера — с кислородом горит все аки порох.
                                          +16
                                          Интересно как современный датацентр со всеми мерами защиты смог полностью сгореть…
                                            +8
                                            Плотность серверов и законы Мерфи.
                                              +2
                                              Плюс отсутствие надлежащего контроля работоспособности системы пожаротушения.
                                                0
                                                Надо добавить четвёртым пунктом в чек-лист из поста )
                                                0
                                                Так о том и речь, что в такого уровня ЦОДах законы Мерфи не должны работать. А иначе это «трэш-дата-центр» (по строгой классификации TIA-942). ИМХО, конечно…
                                                  +4
                                                  что в такого уровня ЦОДах законы Мерфи не должны работать

                                                  Мерфи был оптимистом…
                                                +12
                                                Это ещё же не всё веселье. Как вам вот эта часть:
                                                в связи с близким расположением зданий дата-центров SBG1, SBG3 и SBG4 к сгоревшему SBG2, пожарным пришлось их «охлаждать»

                                                Т.е. если бы ветер дул сильнее в нужную сторону, то сгорел бы не один дата-центр, а несколько.
                                                  0
                                                  КМК эти ДЦ всяко не Tier-III и может даже не Tier-II
                                                    0
                                                    Судя по тому, как горело и как расположены здания — реально повезло, что не распространилось дальше: image twitter.com/xgarreau/status/1369559995491172354?s=20
                                                      +2

                                                      Данная картинка говорит о том что здание строили из чего попало (коридоры/отделка/стены и возможно даже перекрытия).
                                                      Вот я подумал, наши мостостроители просят разрешить им строить мосты из алюминия, как в высокоразвитых странах, а ведь они тоже могут сгореть....

                                                        0
                                                        Дата-центр из старых морских контейнеров? Серьезно?
                                                        Странно, что не каждый день такое горит.
                                                          0
                                                          Странно, что не каждый день такое горит.


                                                          Морской контейнер горит? Как?
                                                            +1
                                                            Дело не в горючести контейнера, а в подходе к проектированию и постройке. Нужно было не из контейнеров, а из коробок от холодильников строить.
                                                    0
                                                    фальшпол мог быть не металлический… (в дсп удобней дырки сверлить чтоб силовые провода в стойки заводить)
                                                      0
                                                      Если это так, то как такая компания может носить статус крупнейшего хостинга в Европе. Удивлен, что такое произошло не в каком-нибудь российском датацентре.
                                                      0
                                                      была превышена концентрация одного или нескольких компонентов смеси из русского авось, веры в то, что сценарий X никогда не произойдёт, и красивых графиков архитекторов аварийных режимов

                                                      Если совсем кратко, то ситуацию можно выразить двумя словам: «не фортануло»
                                                      +24
                                                      Кто сегодня научился держать актуальные бэкапы, тот я. Минус прод сервер в SBG2
                                                        +1
                                                        К сожалению, помимо бэкапов есть еще много чего — эквайринг, системы оповещения (mail+sms) и т. д., часть из которых требуют перезаключения договоров или уведомления о смене провайдера/ip/настроек — а это не быстрый процесс. Легли пять серверов, расположенных в 1, 2, 3. Дев сервер у нас работает — по моему в 4, и то с перебоями. Офисы в России, Украине и Франции без работы. И сколько это все продлится...?
                                                          +1
                                                          то что было в 2, скорее всего, поедет на мусорку, так как он весь сгорел
                                                          1 сгорел частично
                                                          3 и 4 — целые
                                                          в ближайшее время они будут вводить в работу 3 и 4, а потом рассказывать что будут делать с 1 и 2
                                                            0
                                                            1 сгорел частично

                                                            4 гермозоны повреждены, 8 уцелело — можно считать, что повреждена треть SBG1

                                                            они будут вводить в работу 3 и 4

                                                            Еще допишите потери на запуск, SBG3 и SBG4 тоже обесточивались в аварийном порядке.
                                                        +1
                                                        Интересно, это отголосок из 2017 года, когда SBG весь «рухнул» на 3,5 часа из-за проблем с электричеством?
                                                        hosting.kitchen/ovh/teper-vot-dlinnyy-otvet.html

                                                        Остается только ждать публикации информации о причине возгорания, но моё мнение — электрика подвела.
                                                          +2
                                                          «автоматы выключаются, насяльника, мы их заменили на более мощные»… Шутка с долей шутки, сам встречал такое не раз в жизни, начиная с квартир и до промышленных объектов. Переделывать же дорого и долго, «и так сойдёт» от «как выделят денег» до «работает же, зачем трогать»… Беда в том, что работать так может долго, прививая мысль что это норма, а потом ломается в самый неподходящий момент и «ты виноват, надо было что-то сделать».

                                                          А подвела тут таки система пожаротушения, и не факт что она вообще была, а если и была то полностью исправная, заряженная и включенная. Про включенное тоже не шутки, «а вдруг оно сработает, а там газ дорогой, сами потушим огнетушителем»…
                                                            0

                                                            «а вдруг оно сработает, а там газ дорогой, сами потушим огнетушителем»…
                                                            Увы он не дорогой, от него просто умирают, соответственно есть правила эвакуации из помещений в которых срабатывает система с газовым тушением, а если кто-то был внутри и покидал помещение не соблюдая инструкцию (а жить охото больше чем все двери запирать, в экстренной ситуации).

                                                              0
                                                              Увы он не дорогой, от него просто умирают

                                                              На самом деле, от газа не умирают уже какое-то время. Та фигня, которой тушили американские военные и которая по действию была близка к боевому ОВ — слишком дорогая и остальным не по карману. Тушат или фреоном (тогда проблема в основном в нехватке кислорода, но если автоматика настроена правильно, то исключается возможность срабатывания при людях внутри), или чем-нибудь типа Новек/FM-200. Реже встречается инерген. У всех этих систем есть одно общее (если все сделано правильно) — уровень кислорода если снижается, то ниже порога, при котором возможно горение, но остается выше того минимума, который нужен человеку для выживания.


                                                              А вот с ценой… FM-200 и Новек стоят дорого. Инерген сам по себе дешевый, но там очень высокое давление и из-за этого сама система стоит запредельных денег.


                                                              Больше ужаснуло то, что все декоративные конструкции сделаны из чего-то очень сильно горючего были. Наша Главгосэкспертиза такой проект бы зарубила бы однозначно. Ну и да… "Огнестойкость конструкций? Не, не слышали!"

                                                                0

                                                                Ну так то в идеале,


                                                                1. Не сработает при человеке,
                                                                2. Человек вероятно не умрёт если всё очень точно настроено и успеют потом откачать, причём человек — это нечто среднестатистическое, причём не из админов датацентров.
                                                                  А по факту не думаю что нашёлся кто-то кто готов был к эксперименту с реальным срабатыванием "правильно установленной" системы не в лаборатории… Слишком много допущений.

                                                                По поводу материалов, да вот это действительно проблема, причём если взять к примеру норм офис то там всё более менее, но вот как подумаешь, а что же там в квартирах под тобой… Так вспоминаешь утеплители для домов из пенопласта...

                                                                0
                                                                C нейтральными газами типа фреонов достаточно развесить по стенам самоспасы с запасом кислорода, этого достаточно чтобы выйти без паники, там минут на 15 запас (что я видел). И даже видел такие в ДЦ. Единственное — чтобы автоматика при пожаре не блокировала двери напрочь и можно было всё-таки покинуть помещение.
                                                                  0

                                                                  Да! Есть же еще вообще почти бесплатное и почти совсем нейтральное огнетушащее вещество. Тонко-распыленная вода. Централизованная установка стоит относительно дорого (пока), но зато огнетушащее вещество — 1-2 евро за кубометр (в Европе). Тушит достаточно эффективно. Если в помещении не работают с перфокартами, то примерно безопасное для всего оборудования. Абсолютно безопасно для персонала.

                                                                    0

                                                                    водяной аэрозоль не вытеснит воздух из зоны горения, а именно эта функция является основной в таких системах

                                                            +2
                                                            электрика подвела.

                                                            Скорее подвела система пожаротушения, которая не позволила локализовать очаг возрастания.
                                                              0
                                                              Тут похоже звезды сошлись.
                                                              • Не отработал автомат защиты по КЗ
                                                              • Не сработала пожарная сигнализация
                                                              • Не сработало пожаротушение
                                                              • В SCADA не отражен факт пропажи питания
                                                              • Охрана визуально не увидела возгорания

                                                              UPD.
                                                              • Не отключилась система вентиляции
                                                                +2
                                                                Вывод: поджог :) Кому то было выгодно все уничтожить.
                                                                Та и владелец же в Твитере написал, что уже едут новые сервера.
                                                                  0
                                                                  Так хорошо сжечь специально не получится.
                                                                    0
                                                                    А то что сразу ВСЕ загорелось это не подозрительно? Та и не одна система безопасности не сработала? А где дежурные? Просто визуально можно же увидеть огонь. Принудительно запустить пожаротушение, не?
                                                                    Я не верю что оно само так загорелось.
                                                                      0
                                                                      Вы никогда не видели, как горят обычные подъездные стояки? Огонь быстро распространяется вверх, с этажа на этаж, просто за счет естественной конвекции воздуха. Здесь гораздо хуже, потому что кабелей-проводов просто в разы больше, а еще, в буквальном смысле, ветер гуляет. Вся наша надежда — на раннее обнаружение и локализацию очага.

                                                                        0
                                                                        Система пожаротушения, очевидно, не была исправной. А визуально увидеть такое не получится в большинстве случаев. Кабельное добро при горении выделяет очень много дыма, и прежде чем появится открытое пламя, там всё дымом закроет, и хрен поймёшь, где источник возгорания, пока он не разгорится основательно.
                                                                          0
                                                                          судя по графикам что я видел, температура с рабочей до 90+ выросла за 4 минуты. Если не находился прямо в помещении, можно очень долго не замечать. А ещё в ДЦ всегда очень шумно, по звуку тоже не обнаружить.
                                                                          Вообще, датчики уже много десятилетий существуют, включая на радиоизотопах, плюс в вентиляцию ставят, там уже небольшой дым обнаруживают. Скорее всего или вообще не было, или выключили.
                                                                          0
                                                                          Я обслуживал Датацент…
                                                                          Там холтура еще та. И руководство ЖМОТЫ.
                                                                          Они там миллионы рубят на сервере который ты обслуживаешь примерно за 100$ в месяц… + еще и оверселлинг мощностей.
                                                                        +1
                                                                        это офигеть как много звезд сошлось в один момент времени, этожеж неспроста
                                                                          0
                                                                          Это как в ДТП. Пока в одном месте не соберутся несколько альтернативно ездящих — ничего необычного не происходит, всё разруливается как-то.
                                                                      +1
                                                                      А ведь в ЦоДах есть специальная система вентиляции. Неужели нельзя было как-то её перекрыть, чтобы кислород не поступал? Так огонь бы сам затух.
                                                                        +2
                                                                        Нет. Чтобы локальное стало относительно глобальным, хватит и того что есть, а дальше оно себе прожигает дыры в другие гермозоны и на улицу и горит себе дальше. Подводные лодки тоже горят, и горят страшно…
                                                                        И полностью герметичным без спец мер оно не будет, а спроектировать отдельные зоны, устойчивые к пожару хотя бы час в соседней зоне — стоят очень много. Дешевле нормальную систему тушения.
                                                                        Исключительно системы пожаротушения помогут, причём с системами раннего реагирования. Более безопасны фреоновые и на «сухой воде», менее опасные углекислотные. Водяные — пожар может и потушат, но с долгим ремонтом (все кабели зальёт, железная основа включая стойки будет ржаветь и так далее) и заменой всего в гермозоне.
                                                                          0
                                                                          Подлодка — нерелевантный пример, на ней есть независимые источники сжатого воздуха (баллоны с ВВД).
                                                                            0
                                                                            Более безопасны фреоновые и на «сухой воде», менее опасные углекислотные.

                                                                            Ммм… так какие безопаснее?
                                                                              0
                                                                              Более безопасные — менее опасные [относительно воды, для техники] — опасные.
                                                                              Для человека более опасна углекислота, в замкнутом пространстве человек умирает не от того что кислород кончился, а что СО2 слишком много. Так же может вызвать термический ожог при попадании жидкой фракции на кожу. Он не так опасен как СО, достаточно просто покинуть место тушения. Фреоном я как-то дышал, когда проткнул холодильник, без последствий. Для техники это всё достаточно безопасно, правда есть опасность акустического разрушения (https://nag.ru/news/newsline/101227/lojno-srabotavshaya-sistema-pojarotusheniya-vyivela-iz-stroya-jestkie-diski-v-tsod.html), но это другое.
                                                                              При этом сухая вода и фреон дороже углекислоты.
                                                                              0
                                                                              Интересно, а если в качестве термоизоляции в стенах между отсеками делать что-то типа льда — такой вариант не катит?
                                                                                +1
                                                                                Лёд хреновый материал. Во первых он тает. Во вторых сильно меняет обьем.
                                                                                  0
                                                                                  Каменная вата?
                                                                                  0
                                                                                  Насколько я помню, фреон при взаимодействии с пламенем, претерпевает ряд химических превращений, побочным эффектом которых является появление фосгена.
                                                                                    +1
                                                                                    Смотря какие. К примеру есть фреон(R718), который, после добавления солей, вполне себе становится питьевым, ну и ещё одна марка (R290), которую можно прекрасно использовать для приготовления еды, но вот тушить ей пожар (которому кстати для ликвидации можно просто удалить фреон R729 в некоторых случаях) — идея не очень.
                                                                                      0
                                                                                      фреоны это группа газов, и те что тушат — на фосген не распадаются. В гугле очень подробно есть.
                                                                                        0
                                                                                        побочным эффектом которых является появление фосгена.

                                                                                        помоему этот эффект только за давным давно устаревшим и много где запрещенным R12 был замечен
                                                                                        также там есть зависимость от температуры пламени
                                                                                    +5

                                                                                    У PDFForge не работает сайт и как следствие лицензионный софт от них. Зато у крякнутых версий всё хорошо, я предполагаю — при том что модуль активации пишет, что до времени следующей активации ещё несколько месяцев. Ну вот класс...

                                                                                      +8
                                                                                      Практика покупки лицензии, но использования крякнутого софта жива как никогда, когда каждый первый софт пытается в интернет ломиться.
                                                                                        +1

                                                                                        Да ладно лицензия, захотел я eclipse (WTP тот который for jacaee) использовать для разработки под tomcat (так сказать совместить изучение с пользой для рабочих процессов) так вот оказывается без доступа в сеть даже пустой проект не запустить (с установкой всего нужного оффлайн тоже не так просто но решаемо), оказывается он не умеет по человечески брать xsd схемы из jar файлов tomcat (или с собой привезти), и хочет их через интернет привезти, при этом их не выходит даже в одном месте сложить чтобы использовать… Нужно чуть ли не поштучно искать какого не хватает и класть в правильный каталог (что-то вроде cashe/jcp.org/javaee/.../webXx.xsd).
                                                                                        Т.е. выходит что даже средства разработки уже работать не умеют…
                                                                                        p.s. ранее как-то пробовал лицензионную версию visual studio 2017 с полного архива поставить, вроде как инструкция есть но… но не работает...

                                                                                          0

                                                                                          Отличный повод перейти на IDEA.

                                                                                            0

                                                                                            К сожалению, практически это невозможно.


                                                                                            1. Мои планы не подпадают под лицензию community edition
                                                                                            2. В нашей ситуации приобрести лицензии практически невозможно(есть особенности, дело в внутренних процессах).
                                                                                            3. Даже если с внутренними процессами вопросы решить, ввиду грозящего импортоза ещения, idea немного не подходит по параметрам к допустимому по(открытое/свободное под некоторым набором лицензий в принципе допустимо).
                                                                                            4. Покупать её на себя не вижу никакого смысла, т.к. я фактически не совсем разработчик и в принципе мои интересы за пределами рабочего периметра немного не совпадают с закрытыми средами разработки (не говоря уже об отсутствии экономического смысла).

                                                                                            И да, мой опыт мне подсказывает, что опираться на коммерческие закрытые решения, наверное нет большого смысла.


                                                                                            p.s. но мысль попробовать запустить аналогичную конфигурацию в изолированной среде есть, интересно всё-таки заработает или точно так же танцы с бубном...

                                                                                              0

                                                                                              Можно использовать EAP: https://www.jetbrains.com/ru-ru/idea/nextversion/

                                                                                              EAP-сборки IntelliJ IDEA Community и IntelliJ IDEA Ultimate можно использовать для любых целей, включая разработку проприетарного и коммерческого ПО.

                                                                                              Из недостатков такого подхода:


                                                                                              • Могут быть периоды, когда предыдущий EAP закончился, а новый ещё не начался.
                                                                                              • Могут быть баги. Но баги могут быть всегда.
                                                                                                0

                                                                                                На мой взгляд это неправильно.


                                                                                                • Есть проблема того, что то что не факт что возможность сейчас "доставить некоторое по на рабочую станцию" сохраниться со временем, в закручивании гаек участвуют как внутренние службы так и регулятор(законодатели)…
                                                                                                  Да и установив вчера idea для того чтобы ребёнок изучал kotlin, начал сильно сомневаться что будет работать offline… Консольная программка минут 5 не запускалась до того как среда что-то там заканчивала (да наверное нужно было как-то переключиться с gradle на внутреннюю сборку но это уже начало танцев с бубном).

                                                                                                p.s. jEE в community edición не входит

                                                                                      0
                                                                                      Хотелось бы знать в каком из этих ДЦ находилось ядро управления всеми сетевыми плюшками и позволит ли включение уцелевших ДЦ делать тот же «ip migration».
                                                                                      Пока даже из Рубе в Гравлин не могу роутить подсети, перестали приходить всякого рода уведомления об атаках и т.д., то есть, видимо, и защита от DDoS сейчас либо отключена, либо «замерзла» в состоянии на момент пожара/отключения ДЦ.

                                                                                      И вот ждать ли включения этих ДЦ и возможности роутиться или пяти сотням сайтов менять А-записи вручную…
                                                                                        0
                                                                                        Судя по дашборду, пострадали большинство сервисов компании. Будут постепенно давать апдейты по ситуации.
                                                                                          +1
                                                                                          Завелось!
                                                                                          Вот надо было раньше пожаловаться на хабр…

                                                                                          Сервера в SBG-2 ожидаемо недоступны, но таски по переносу ip начали выполняться.
                                                                                          +4

                                                                                          меня больше всего веселит в этой ситуации система мониторинга.
                                                                                          все сервера показывает — доступны.

                                                                                            0
                                                                                            Как вариант она фейковая)
                                                                                            А то что пишут, что она была на SBG2, так опять же не была бы доступна вообще.
                                                                                            Так что, я думаю что то просто для отчетности.
                                                                                            Еще, как вариант, такой алгоритм: если сервер выключился до 30 мин, то показывать что он офф. Если больше серверов потухло и все сразу, то знач что ЧП и не показывать это людям. Зачем портить статистику?

                                                                                              +4
                                                                                              Я не думаю, что там такой хитрый замысел. Скорее, система построена на сигналах от watchdog'ов — как только те видят недоступность сервера, то сообщают на панель мониторинга. А если к праотцам отправился весь датацентр вместе с watchdog'ами, то и сигналов о недоступности не поступает.
                                                                                                +1
                                                                                                Даа, но как проверить работает ли вобще watchdog? Должна же быть обратная связь. Если не выходит на связь, знач что то не впоряде.
                                                                                                  +2

                                                                                                  Вы слишком усложняете :)
                                                                                                  Не современно это...

                                                                                                    0
                                                                                                    Наоборот это современно! Должна быть же самодиагностика датчиков.
                                                                                                    Тогда накой их ставить, если, например, мыша повредила провод и датчик ничего не показывает. А когда что то не так будет с сервером, то опять же датчик ничего не покажет, т.к. он поврежден :)
                                                                                                      +1

                                                                                                      Увы как бы это не звучало, но я всё больше и больше вижу решений уровня "прототип" даже в тех местах где их быть вроде как не должно...

                                                                                                        0
                                                                                                        Ну системы диагностики на этом и строятся, а выше троллинг=) Namur для дискретных датчиков уже весьма распространен.
                                                                                                        UPD к моему удивлению — печальный факт…
                                                                                                      +1
                                                                                                      нужны watchdog'и за watchdog'ами и так далее. Философский вопрос на самом деле.
                                                                                                        0
                                                                                                        Достаточно, чтобы сервис мониторинга не пассивно ждал сигнала, а периодически опрашивал, все ли в порядке. И получал ответ — в порядке или нет. А если ответ не получен — то тревога.
                                                                                                          0
                                                                                                          Или не опрашивал, а вочдоги сами должны периодически отправлять сигналы «пульса», что они работают. Но то такое. Можно одно и то же сделать разными способами, было бы желание.
                                                                                                          0
                                                                                                          Отнюдь. Достаточно, чтобы у лампочки состояние по умолчанию было «авария». Нет пинга — авария. Нет связи с попингуем — авария. Сломалась лампочка — авария.
                                                                                                            0

                                                                                                            А если на лампочку никто смотреть не будет?

                                                                                                              0
                                                                                                              Ну блин, всегда можно что-то придумать. К лампочке приделываем конденсатор. Если лампочка не горит, он разряжается минут за 10. Если он полностью разрядится — срабатывает граната, расположенная под креслом оператора. С такой системой оператор очень внимательно следит за лампочкой.
                                                                                                                0

                                                                                                                Смешно :)
                                                                                                                на самом деле, когда мы делали мониторинг похожего места, обдумывали это и пришли к выводу, что 1) нужен внешний автоматизированный контроль (расположенный как можно дальше — хоть на другом континенте), 2) финальная надёжность всё равно на людях, но их тоже надо проверять. Например, техдиректор вводит в систему некоторое случайное число, а старший по смене мониторинга рапортует результат хитрой обработки этого числа (которая зависит от уровня текущих алармов и ещё и меняется каждый час). Могут быть другие похожие подходы.

                                                                                                          0
                                                                                                          это 100% ситуация из сети компании в которой я работал.
                                                                                                          Удаленная циска (в Ступино) проверяла нашу сеть (Алматы), но когда сама легла — у нас никто об этом не узнал, пока не произошел сбой.

                                                                                                          Потом мы настроили двухстороннюю проверку.
                                                                                                    –3
                                                                                                    А как ущерб будут возмещать то? Если у меня, например, 8Тб инфы там было. Все транзакции… Статистика…
                                                                                                      +9
                                                                                                      А вам кто-то давал гарантии сохранности данных?
                                                                                                        +6
                                                                                                        А как ущерб будут возмещать то?

                                                                                                        По договору. Скорее всего, вам смогут вернуть деньги за последний месяц.
                                                                                                        SLA и прочие гарантии оно такое, дорогого стоит.
                                                                                                          +13
                                                                                                          Значит вы заплатили за лекцию о необходимости качественных бэкапов этими самими 8Тб информации. Если разнести/делать бэкапы мешала политика руководства вашей фирмы — то сейчас самое время прочитать им лекцию о стоимости бэкапа и стоимости отсутствия бэкапа.
                                                                                                          +1
                                                                                                          У меня два VPS сервера в OVH. Тот который в SBG1 ожидаемо недоступен.
                                                                                                          Но есть еще кое-что о чем не говорят — панель управления услугами и хостингом OVH почти не работает глобально — просто не получается залогинится или постоянные таймауты страницы, т.е. даже если у Вас сервер в другом дата-центре OVH, но ряд настроек Вам не доступен (биллинг, переустановка образа сервера, бэкап на уровне OVH, DNS записи на уровне OVH и т.д.
                                                                                                          2. И более того, мой другой сервер в другом дата-центре OVH в другом городе тоже странно работает — файлы с него скачиваются со скоростью 12 килобайт в секунду. Фактически сервер тоже не работоспособен.
                                                                                                            0

                                                                                                            А как узнать, в каком ДЦ vps? Панель управления не работает, в почте от них этой информации не нашел...

                                                                                                              +1
                                                                                                              Смотрите в ovh manager в панели vps вот такую колонку
                                                                                                              Location Strasbourg (SBG1) — France

                                                                                                              Мне тоже на почту ничего не пришло и в менеджере всё якобы неплохо, но при этом сам vps остаётся недоступен.
                                                                                                                0
                                                                                                                … А в остальном, прекрасная маркиза...


                                                                                                                И это наводит на мысли о более тщательном анализе телеметрии других локаций.
                                                                                                                  +2

                                                                                                                  Проблема в том, что ovh manager говорил, что виртуалки не существует :) И ничего, собственно, не показывал.


                                                                                                                  Но whois показал, что она SBG6. В твиттере ответили уже, что это виртуальное облако внутри SBG3

                                                                                                                0
                                                                                                                2. И более того, мой другой сервер в другом дата-центре OVH в другом городе тоже странно работает — файлы с него скачиваются со скоростью 12 килобайт в секунду. Фактически сервер тоже не работоспособен.
                                                                                                                Подстроки 't.co' в доменном имени нет случайно?
                                                                                                                  0
                                                                                                                  Возможно, те кто уцелел массово делают/качают бекапы — от того и скорость от дата-центра упала.
                                                                                                                    0
                                                                                                                    Держу в курсе:

                                                                                                                    не упала
                                                                                                                0
                                                                                                                Было бы интересно узнать подробности, чтобы исключить это в других ЦОДах — возможно некоторые другие ЦОДы тоже не застрахованы от таких аварий.
                                                                                                                  +1
                                                                                                                  Скорее всего эти проблемы исключены в ЦОД более высоких классов доступности. Ну а этот и некоторые другие лоу кост, ожидаемо сэкономили на всём чем можно.
                                                                                                                    +1
                                                                                                                    Tier-III тоже не гарантия. «Извиняй чувак, мы тут в процессе ТО уронили твой сервак, нам очень сорри, но мы уже по договору задеплоили тебе другой, а твоему хана, в нём диски теперь все щёлкают»
                                                                                                                      0
                                                                                                                      интересно где вам так ответили в T-III цоде?
                                                                                                                        0
                                                                                                                        А что скрывать, у аналога OVH из той же страны.
                                                                                                                        0
                                                                                                                        А что ещё они могут сделать, если и правда стойка упала физически? Понятно, что перед плановыми работами надо передислоцировать виртуалки в другое место, но бывают и внеплановые.
                                                                                                                          0
                                                                                                                          А ничего, тут как говорится ССЗБ, если перед обслуживанием не сделал актуальный бэкап, не проверил его и даже не прочитал, что даже в рассылке упомянули «всё круто, мы супер, но бэкап таки сделать надо».
                                                                                                                        +1
                                                                                                                        Мне в Tier-i от IBM(один из лучших в США) как-то сказали «извините, сервер восстановлению не подлежит, вместе с дисками. Вам развернут новый сервер с той же конфигурацией, в соответствии с SLA вы получите 15% компенсации за последний месяц»
                                                                                                                        Еще и адреса поменяли. Сервер был с рейдом и 2x PSU. Вышел из строя PSU и все сжег.
                                                                                                                      +2
                                                                                                                      Это, часом, не наш ли ответ на падение сайтов кремлин, РКН и РТ? Удаленная перегрузка батарей упсов ;) (на правах шутки, если что)
                                                                                                                        0
                                                                                                                        SBG сгорел раньше.
                                                                                                                          0
                                                                                                                          Ну слегка поспешили. Бывают накладки.
                                                                                                                            0
                                                                                                                            Не учли разницу между московским и римским временем, и о покушении на папу московское радио сообщило на два часа раньше, чем оно было совершено
                                                                                                                          0
                                                                                                                          треш конечно… я вот тоже пошел проверять все… это же сколько IT-ишников без работы останутся? если нет бекапов вне ДЦ, полюбому увольняться же придется…
                                                                                                                            +3
                                                                                                                            Да это фигня. Перекрёстная смена работ.
                                                                                                                            Тело А уволился\уволили из компании А, Тело Б из компании Б.
                                                                                                                            Теперь тело А в конторе Б, тело Б в конторе А.

                                                                                                                            Менеджеры HRени поделили премию за быстрый поиск сотрудника.

                                                                                                                            P.S. Я люблю людей.
                                                                                                                            +14
                                                                                                                            image
                                                                                                                              +1
                                                                                                                              "-А как он упал?"
                                                                                                                              "-Со стола..."
                                                                                                                                +2
                                                                                                                                Тут более уместен анекдот про замену по гарантии сгоревшего жёсткого диска…
                                                                                                                                  0
                                                                                                                                  Ну, почти:
                                                                                                                                  image
                                                                                                                                +3
                                                                                                                                Объясните. Как такое возможно? Где были сотрудники охраны? Где были датчики темпиратур/дыма и так далее? Как может быть такая халатность в крупном дата центре Европы?
                                                                                                                                  +8
                                                                                                                                  Это Европа. Там работают с 8 до 17 пять дней в неделю.
                                                                                                                                  +1
                                                                                                                                  Еще не придумали помещения с серверами заполнять углекислым газом?
                                                                                                                                    0
                                                                                                                                    Да хотя бы перекрыли бы вентиляцию, сгорела бы пара стоек, а не все несколько этажей.
                                                                                                                                      0
                                                                                                                                      Давно придумали.
                                                                                                                                        +1
                                                                                                                                        придумали. но это такая себе штука… каждый раз заходя в серверную с этой самой 'порошокгаз уходи, газ не входи'… и страшные инструкции 'деактивируй систему входя в помещение!' 'не запускай систему при наличии людей внутри!'
                                                                                                                                        и мысли когда там находишся...'ща если оно сработает по ошибке, и дверь не разблокируется, то мне крындец'… у нас тогда (покая я работал админом в одной конторе с небольшим собственным ЦОД в подвале) эта штука была включена только по ночам, днем её выключали от греха подальше (серверную только отлаживали, были еще косяки по кондиционерам и вообще по инженерке)
                                                                                                                                        ==
                                                                                                                                        был свидетелем срабатывания такой системы в ЖД вагоне… и выпрыгиванием находившихся людей внутри через все доступные форточки и аварийные выходы… с тех пор везде во всех ЖД вагонах которые я видел, эта система была отключена сразу после приемки вагона с завода, провода насмерть заизолированы и спрятаны.

                                                                                                                                        imho её могли тупо не включать, учитывая что там например работы могли проводиться
                                                                                                                                          +4
                                                                                                                                          В нормальных ДЦ, оборудованных такими штуками, где мне приходилось бывать, на стенах висели ОЗК спаскомплекты — такие полускафандры, дающие сколько-то минут автономного пребывания в горящем помещении, заполняемом тушащей смесью.
                                                                                                                                            +3
                                                                                                                                            Это же денег стоит!
                                                                                                                                              +1

                                                                                                                                              Отлично сэкономили, офигеть как.

                                                                                                                                                +1
                                                                                                                                                Они уже не первый год в этом бизнесе. Так что да, вполне возможно, что действительно сэкономили, даже с учётом всех этих пожаров.
                                                                                                                                            +1
                                                                                                                                            Открою страшную тайну — Хладон 125 или 227 относительно безопасны для человека в течении 5 минут (при концентрации достаточной для тушения) — пруф: algoritm.org/arch/09_1/09_1_6.pdf
                                                                                                                                            Главное под насадком в момент запуска не находиться.
                                                                                                                                            NOVEC1320 еще безопаснее вроде как.
                                                                                                                                            Один производитель шкафов возит посмотреть чешский ЦОД — там вообще тонкораспыленная вода (вот насколько она действенно работает ведутся споры).
                                                                                                                                            Небольшой нюанс для систем объемного пожаротушения: если будет открыт контроллируемый системой проем (например, входная дверь), который не дает создать необходимую концентрацию, то система тупо не запускается. Т.е. может система и работала исправно, но например персонал держал дверь приоткрыто (чтобы каждый раз карточкой туда-сюда не махать) и система фактически не могла сработать.
                                                                                                                                              +3
                                                                                                                                              — Хладон 125 или 227 относительно безопасны для человека в течении 5 минут (при концентрации достаточной для тушения)

                                                                                                                                              Опасность/безопасность хладонов (не только 125, они вообще практически все безопасны) тут вообще значения не имеет особо, опасность тут в том что они выдавливают кислород и в большом помещении если не разблокируются двери, человек элементарно задохнется
                                                                                                                                                +5
                                                                                                                                                человек элементарно задохнется

                                                                                                                                                Более того, эволюция заложила в человеке не контроль уровня кислорода, а контроль уровня углекислого газа. Достаточно заместить кислород даже довольно невинным азотом и незаметно для самого себя начнется кислородное голодание, которое закончится обмороком. А в состоянии обморока человек сам себе помочь не может.
                                                                                                                                                  0
                                                                                                                                                  Не понял в чем проблема эвакуации? В примере выше указывалось, что люди прям таки через окна выпрыгивали, чтобы спастись. Однако, за 5 минут можно вполне комфортно эвакуироваться практически из любого технологического помещения, которое тушится Хладонами.
                                                                                                                                                  Не разблокировать двери на пути эвакуации может только малограмотный проектировщик — все знают: ставь на выходе зеленую кнопку «ПОЖАР» на разрыв питания электромагнитного замка, а то потом получишь замечания. Данный метод разблокировки дверей можно дополнить другими.
                                                                                                                                                    +1
                                                                                                                                                    Есть механические ручки, которые открываются изнутри. В торговых центрах такие везде стоят куда проход посетителям запрещен. Туда по карте, а обратно толкнул ручку, дверь открылась. При чем ручка во всю дверь. Грубо говоря, если толпа будет подпирать эту дверь, то она по любому откроется, даже если не знать про эту ручку.
                                                                                                                                                      0
                                                                                                                                                      открывание может блокироваться (в «вишне» кажется вообще амбарные замки на петлях повесили). Но иногда подобные замки бывают говёнными, быстро изнашиваются (например, если дверь на чёрную лестницу используется и в штатных случая) и их открыть сложно (год назад такой видел в двери с «эвакуационой ручкой»).
                                                                                                                                                        0
                                                                                                                                                        Простите, а как? Оно никак блокироваться не может. Там связь физическая! Там и заклинить то нечему.
                                                                                                                                                          +1
                                                                                                                                                          обратите внимание на "(в «вишне» кажется вообще амбарные замки на петлях повесили)" и «иногда подобные замки бывают говёнными, быстро изнашиваются». Во втором случае — там иногда толкатель стоит из г-металла (со временем гнётся или истирается). Иногда шарниры разблокировочных рукоятей превращаются в «г» ушатанное. Ну и элемент частого спора пожарных и безопасников тоже вносит свои коррективы :(…
                                                                                                                                                            +2
                                                                                                                                                            Известная фотка из Московской школы
                                                                                                                                                            image
                                                                                                                                                  +1
                                                                                                                                                  Не так уж дорого будет принудить всю команду входить в помещение исключительно с сумкой аварийной кислородной маской на ремне и сдавать ежемесячно норматив по её одеванию.
                                                                                                                                                  И не выключать систему никогда.
                                                                                                                                                    0
                                                                                                                                                    Не так уж дорого будет принудить всю команду входить в помещение


                                                                                                                                                    далеки вы от реалий ;))
                                                                                                                                                      +1
                                                                                                                                                      Это да.
                                                                                                                                                      Но был бы рад почитать о них, если напишете :)
                                                                                                                                                        +4
                                                                                                                                                        реалии таковы что административные меры очень быстро заканчиваются
                                                                                                                                                        (применительно к ЦОДам не скажу конечно, я не особо много успел там поработать) но в целом
                                                                                                                                                        1) отключают пожарку если она часто срабатывает, например если рядом туалет
                                                                                                                                                        2) отключают автоматическое срабатывание пожаротушения — если оно сработало раза три подряд по ложной причине (и обязывают охранника, если будет пожар, его включить вручную… ХА)
                                                                                                                                                        3) 'принудить всех ходить в масках' — не удобно, долго, надо маски закупать, менять, мыть, чистить — полгода походят, потом забъют… само начальство их одевать не будет впервую очередь (оно начальство же, не гоже ему)… в итоге они будут на стене висеть и пылью зарастать.
                                                                                                                                                        4) был у нас регламент замены и проверки батарей в резервных светильниках в ЦОДе… как свет отключили все с телефонами там шарились… оказалось что не только в светильниках никто ничего не проверял и не менял, но и в УПСах (точнее первые месяца два проверяли и даже писали что купите батареи… но бюрократия… отложим на следующий квартал и т.п… а проверять каждый раз то что не работает не особо и охота… а там рраз и два года прошло)

                                                                                                                                                        и вообще человеческий фактор, когда я еще в офисе сидел класса А++… в первые годы на тест пожарки все выходили на улицу, а через пару лет большая часть народа начала по туалетам прятаться… не нуачо одеваться, бегать кудато… вот так реалии в жизни работают.
                                                                                                                                                        Это сидя в кабинете легко сказать, а на местах люди по 5 человек через шлюз пролезает потому что ждать лень… ну разок когото поругают зато остальной год быстро рраз и пробежал.
                                                                                                                                                          0
                                                                                                                                                          в первые годы на тест пожарки все выходили на улицу, а через пару лет большая часть народа начала по туалетам прятаться…

                                                                                                                                                          У нас по регламенту проверка 2 раза в месяц, так уже к концу первого года проверок даже с рабочих мест перестали вставать…
                                                                                                                                                            0
                                                                                                                                                            а у нас менеджерам отделов пообещали материальные страдания при получении бонуса в конце года, если при регламентной проверке обнаружится не вставший с рабочего места или спрятавшийся в сортире умник. Работало.
                                                                                                                                                    0
                                                                                                                                                    При вдумчивом совмещении данных с герконов дверей, датчиков движения внутри и кнопки активации контроля снаружи без задержки («все ушли»), а так же при доведении до автоматизма у всех привычки «вышел последним — нажми кнопку и пока идешь по лестнице, краем глаза отследи погасание таблички» — ситуация кажется близкой к идеальному балансу между пожарной безопасностью и ощущением безопасности при нахождении внутри. Но это наверное работает только в небольших серверных с небольшим штатом сотрудников.

                                                                                                                                                    И что самое главное — это правильно работает только когда вдумчиво интегрируются системы пожаротушения, охраны и СКУД. А в зданиях с 1-2 небольшими серверными обычно пультовая ОПС в не-серверных помещениях — это ЧОП, пожаротушение хладоном — подрядчик, СКУД — другой подрядчик или сами. Ни о какой нормальной интеграции речи не идет.
                                                                                                                                                      0
                                                                                                                                                      при доведении до автоматизма у всех привычки «вышел последним — нажми кнопку и пока идешь по лестнице, краем глаза отследи погасание таблички»
                                                                                                                                                      В момент пожара таких сложностей быть как раз и не должно.
                                                                                                                                                  +2
                                                                                                                                                  image
                                                                                                                                                  image
                                                                                                                                                  момент до того как все стало опять зеленым =)
                                                                                                                                                  0
                                                                                                                                                  Держал две VPS в SBG1.
                                                                                                                                                  7 сайтов лежат с 4:30 AM GMT+5.
                                                                                                                                                  Саппорт просто удаляет тикеты.
                                                                                                                                                    +1
                                                                                                                                                    А что должен отвечать?
                                                                                                                                                      +2
                                                                                                                                                      Shit happens :)
                                                                                                                                                      0
                                                                                                                                                      в твиттере же сообщили, что планы на ближайшие 2 недели это их восстановление, 1, 3 и 4. В комментариях многие сообщают что все бекапы так же недоступны, скорее всего на ближайшие 2 недели ОВХ в Страсбурге не будет доступно
                                                                                                                                                        +1
                                                                                                                                                        В овх не было саппорта никогда и не будет даже в случае факапа. Через неделю пришлют релиз с расчетами компенсацию и докинут их либо на баланс либо на саму услугу.
                                                                                                                                                        Овх — лоукост, саппорта нет, при этом у них есть все инструменты чтобы знать, что случилось. Travaux показывал инфу ещё до того, как Octave написал об этом в твиттере.