Comments 20
(подсказка, мы теперь проверены).
Не уловил, что изменилось — было два смежных ДЦ, оба загорелись, а теперь ситуация какова?
Кстати, бэкап надо делать не только в облако, но и в оффлайн.
Было бы интересно почитать про компиляцию правил - как именно реализовали это
P.S. Храни бог компании, которые пишут на хабре про себя.
Обычно любовь к бекапам появляется сразу после инцидента, а потом со временем сходит на нет. Не без участия руководства, которое видит в бекапах только дополнительную статью расходов.
Это та история, которая лишний раз доказывает что бэкапы не надо делать. Вот у них случилась именно та история которой пугают всех начинающих ИТ-шников. Потеряли все – и данные и бэкапы.
И что? А ничего плохого не случилось. Все восстановилось. А что не восстановилось, оно никому и не нужно. Клиентов не потеряли. Информацию восстановили.
Так выходит, что бэкапы нужны только для сбережения нервов. А можно просто не делать бэкапы и не волноваться. И все будет ОК – лишние усилия не понадобится, а нужная информация не потеряется.
По итогам инцидента, мы выплатили всем участникам (пожарникам) премии, которые разбили на категории в зависимости от вклада в устранения последствий и бессонных ночей.
А вот это прям так себе, на фоне остальной статьи. Как именно оценивался "вклад"? Кто больше воды вылил, или кто больше командовал/тушил/кормил пожарных?
Термин "пожарник" нужно заменить на "пожарный".
Учетки клиентов и API ключи от их инстансов продукта (в самом плохом случае можно просто скинуть все коючи и пароли)
У вас небольшая опечатка, как я понимаю
Прочитал статью, сначала про себя ребятам посочуствовал, после порадовался , что справились и вынесли полезного опыта из ситуации.. посмотрел название компании и чтото вспомнил.. Полез проверять, точно - за пару месяцев до этого я общался в linkedin и с Иваном и с Виктором (ну как общался, на пару сообщений ответил). АА! Чорт, такой у меня был шанс поучаствовать в "огненной миграции" , а я его профукал ))
На самом деле, за ребят рад - по факту, ну, справились же неплохо, клиенты все на месте, и опыт вещь бесценная.
А "огненная миграция" у меня теперь своя есть, хоть и не так буквально.
Очень интересно было бы почитать про историю продукта, про технические детали (как принимаются решения о блокировке, как архитектурно работает, как исторически развивалась архитектура, как реализованы релизы новых версий).
Ситуация конечно эпичная, но про бекапы - это кажется само-собой разумеющееся правило, храни в 3-х независимых местах и тестируй бекапы.
Сколько у вас заняло времени развернуть инфраструктуру у нового провайдера ?
Сгоревший провайдер какие-то извинения (морально-материальные) принес ?
в Старсбурге сгорел дата-центр. Точнее два дата центра, если контейнерные вагончики вообще можно было называть отдельными строениями. До этого момента я знал про Стартбург только то, что он находит во Франции на границе с Германией и то, что там есть суд по правам чечеловекаИ
Извиняюсь за придирки, но город называется Страсбург, а не Старсбург или Стартбург
Как мы мигрировали в облако… пепла