10 марта в 02:42 по московскому времени облачным провайдером OVH было опубликовано оповещение о деградации сервиса в дата-центре SBG1 в Страсбурге, которое позже было дополнено информацией о пожаре в здании SBG2:
В настоящее время в нашем центре обработки данных в Страсбурге произошел серьезный инцидент, связанный с пожаром в здании SBG2. Пожарные немедленно прибыли на место происшествия, но не смогли справиться с возгоранием в SBG2. Все здание было изолировано, что влияет на все наши услуги на SBG1, SBG2, SBG3 и SBG4. Если ваш сервис хостится в Страсбурге, мы рекомендуем активировать План аварийного восстановления. Все наши бригады полностью мобилизованы вместе с пожарными. Мы будем держать вас в курсе по мере поступления дополнительной информации.
SBG2 является частью кампуса SBG, состоящего из 4 ЦОД. В SBG2 предоставлялись услуги аренды выделенных серверов (dedicated) и облачные сервисы. И если облачным сервисам OVH должен был обеспечивать резервное копированием своими силами, то для арендаторов выделенных серверов эта ситуация в отсутствии резервных копий может быть фатальной.
Тем временем real-time мониторинг доступности выделенных серверов в SBG2 рапортует о полной доступности всего оборудования в ЦОД. Вероятно, сервера мониторинга располагались в том же дата-центре.
Среди облачных провайдеров, не входящих в "большую тройку" (AWS, Azure и Google Cloud), OVH является одним из наиболее популярных. Большинство из 27 дата-центров OVH расположены в Европе. Последняя крупная авария у OVH также произошла в кампусе SBG в 2017 году. В результате отключения электроэнергии весь кампус SBG был отключен. Сорок минут спустя другой кампус RBX (Рубе, Франция) потерял связь из-за несвязанной ошибки программного обеспечения в сетевом оборудовании.
Сочувствуем всем проектам, у кого сервера находились в данном дата-центре, а остальным напоминаем про давно известный чек-лист:
Храните бекапы
в сберегательных кассахотдельных дата-центрах;Периодически проверяйте работоспособность своих бекапов;
Имейте наготове план аварийного восстановления доступности сервиса.
UPD: В 9:20 по московскому времени пожар закончился. Судя по сообщениям Octave Klaba (основателя и владельца OVH) в Twitter, в связи с близким расположением зданий дата-центров SBG1, SBG3 и SBG4 к сгоревшему SBG2, пожарным пришлось их "охлаждать", в связи с чем в настоящий момент отсутствует доступ в эти здания и работа данных ЦОД сегодня восстановлена быть не может.
UPD 2: Octave Klaba оценил в своем Twitter сроки восстановления работы не пострадавших от огня ЦОД SBG3, SBG4 и частично SBG1, в 1-2 недели.
