Comments 4
Хорошая статья!
но я вижу две проблемы:
1. Базовая линия неправильная
Среднемесячное значение не учитывает выходные и праздники. Если в месяце 10 выходных, они искажают среднее. Рабочие дни могут иметь 2-3x выше трафика, поэтому выходной выглядит аномалией на -40-50%, хотя это норма.
Мб сравнивать со средним для того же дня недели за 28 дней — сразу исчезнут ложные срабатывания???
2. Нужны предсказательные пороги
Жесткие ±50% не работают для разных метрик. Попробуйте Z-score: считайте среднее и сигму за 28 дней, срабатывайте на 2-3 сигма. Адаптируется автоматически к волатильности каждой метрики.
Спасибо за фидбек!
Подход с со значением того же дня недели мы использем для алертинга как раз аудиторных метрик (например, DAU) и метрик заказов. Там действительно есть ярко выраженная недельная сезонность. Но ситуация с ивентами немного другая -- много событий могут достаточно волатильно себя вести, и среднее среднемесячное характеризует событие, как выяснилось, лучше, чем значения предыдущего дня недели в плане количества ложных срабатываний
Сигмы, к сожалению, слишком жесткий порог, где мы уже ошибку 2 рода будем совершать, то есть, не отловим аномалию, там где она есть, потому что достаточно редко аномалия характеризуется настолько высоким выбросом. Иногда это постепенный рост/падение (когда на какой-то одной версии приложения что-то отвалилось, например)
Так и не понял чего меряют и зачем.. и почему это называется "продуктовая" аналитика?
Как продуктовые аналитики в Туту ловят аномалии в метриках