В прошлую среду мы пришли на работу как обычно. Ожидали самый обычный рабочий день. Статистика сетевых отказов тоже выглядела совершенно обычно, и никаких причин ждать чего‑то особенного не было.

А потом дверь распахнулась, и на пороге появился Директор. С глазами навыкате.

— Ребята! Что это?

‑???

— У меня почтовый ящик забит жалобами. Ни у кого ничего не работает. Ни у кого! Ничего!

Тут он, конечно, слегка погорячился. Не то чтобы совсем ничего и не то чтобы у всех.

Децентрализованная сущность Кошачьих Туннелей сыграла свою роль — полностью заблокировать Котика не удалось. Но для нормальной работы системе нужны трекеры — опорные узлы. На тот момент их у нас было несколько десятков: в разных странах, у разных провайдеров, в разных датацентрах.

И все они, без исключения, оказались заблокированы в России.

До единого.

Без них Котик не мог нормально подключать новых пользователей, да и у старых всё начинало работать заметно медленнее.

Поскольку за опорную сеть отвечаю я, круче всего досталось, естественно, мне.

Начался сизифов труд.

Я ввожу новые узлы, запускаю новые серверы — бац, они тоже заблокированы.

Я запускаю ещё — бац.

Ещё — бац.

В общем, долго так продолжаться, конечно, не могло. Пришлось сесть и соорудить Котатор‑ротатор.

Котатор‑ротатор следит за доступностью опорных серверов, автоматически останавливает те, которые по статистике чаще всего недоступны клиентам, и запускает взамен новые. Причём чем хуже ситуация, тем активнее он это делает.

А степень этой самой «хуже ситуации» с лёгкой руки Марианны Николаевны называется у нас в офисе Грохотатором.

Почему Грохотатор?

Потому что его значение выведено на большой экран, а при превышении порога на весь этаж включается такая сирена, что из столовой выскакиваешь, заливая ужин завтраком.

Если же по делу, то Грохотатор — это агрегированная клиентская статистика доступности, которую мы получаем из технических логов клиентов.

Из тех самых логов, которые нас периодически убеждают вообще не вести — разумеется, ради нашей же безопасности.

Проблема в том, что без Грохотатора мы бы в этой истории вообще ничего не поняли.

С точки зрения самих серверов всё прекрасно. Они работают. Они доступны из интернета. Они исправно связываются с нашей инфраструктурой и периодически докладывают, что у них всё хорошо.

И они совершенно правы.

Это пользователи до них достучаться не могут. Причём не все пользователи, не всегда и только напрямую.

Так что смотреть на сервер и спрашивать: «Ты жив?» в нашем случае оказалось довольно бессмысленно. Сервер радостно отвечает: «Жив!», пока несколько тысяч километров сетевой инфраструктуры между ним и клиентом считают несколько иначе.

Теперь Котатор‑ротатор смотрит на ситуацию с другой стороны — глазами клиентов. И если какой‑то узел начинает систематически выпадать из их поля зрения, долго жить ему не дают.

Заодно за последние дни мы узнали много нового из того, чего раньше просто не замечали.

Например, что в пятницу вечером наши противники, судя по всему, выключают компьютеры и уходят домой.

Блокировки заканчиваются почти как по волшебству.

А в понедельник около восьми утра начинаются снова.

Ну что ж.

И то хлеб.

Такие вот вести с полей.

Котатор‑ротатор и Грохотатор