Как жить с потоком алертов и не сойти с ума?

[Slach]

а вот как вы боретесь с нежеланием заказчика устранять root cause
ну типа вот алерт на какую нибудь RED или USE метрику. постоянно мигает, а заказчик говорит "ну пока ж не падает, давайте алерты перенастроим?"

[ITSumma]

Привет! Бывает по-разному.

В случае с USE-метриками мы анализируем систему и находим бутылочное горлышко. Потом предлагаем клиенту конкретные планы по исправлению ситуации вместе с прогнозом, если это возможно. Но исправление может требовать дополнительных затрат, поэтому конечное решение принимает клиент.

В случае с RED-метриками еще интереснее, потому что с точки зрения бизнеса то, что мы видим как алерт, может не всегда являться проблемой для бизнеса. Но в любом случае все предложения будем строить на анализе.