Официально: в Яндексе подтвердили масштабный баг. В расчете начислений для ресурсов из Marketplace произошел сбой. Чтобы у пользователей не списало все деньги мира, облако превентивно остановило биллинг и... заблокировало часть ресурсов (в моем случае)
Тот самый случай, когда защита от некорректных списаний роняет инфраструктуру. Задело все ключевые зоны: ru-central1-a, b, d, e и даже Казахстан kz1-a. Из-за этого легли многие сервисы (тот же ВкусВилл отдавал 502).
Когда я первый раз зашел в консоль и увидел цифры, то знатно триггернул — подумал, что меня взломали и вовсю крутят нейросети за мой счет.
Но мой проектик (56 пользователей) шторм пережил благодаря реплике базы данных и быстрому переезду на бэкап-инфру. Отличный получился стресс-тест.
Запасаемся попкорном и ждем детальный и, уверен, очень интересный postmortem от команды Яндекса.
