8 октября 2026 года наш облачный провайдер потерял дата-центр, в котором работала вся наша инфраструктура. Через трое суток то же самое случилось со второй площадкой, на которую мы к тому моменту успели переехать. За неделю мы дважды поднимали платформу почти с нуля. Как говорится в меме: да, это я, и как я докатился до жизни такой…

Небольшой спойлер итога ситуации, которую я буду разбирать дальше: мы безвозвратно потеряли данные за 20 часов, прошедших с последнего резервного копирования. Сервисы переехали сначала в соседнюю зону того же облака, потом к другому провайдеру, а миграцию в Kubernetes, начатую год назад, мы закончили за двое суток. Базы данных теперь хранятся в двух копиях у разных провайдеров.

Ниже разобрал, как всё было, что помогло ускориться при переезде и где мы потеряли время на собственной ошибке.