Комментарии 7
Спасибо большое автору! Очень интересная и полезная статья!
Видно, что сделано с душой)
Был бы очень рад узнать, учитываются ли прошлые и актуальные аномалии в процессе обучения модельки? Немного раскрою вопрос. Допустим, мы решили сделать baseline на очередной период, но у данной метрики наблюдались аномалии в прошлом, а то и вовсе она «болеет» прямо сейчас. Как решается вопрос исключения проблемных периодов из обучающей выборки? Помнит ли сама система о сбоях в прошлом или их выкусывание – это ручной процесс и таким образом построение прогноза всегда требует оператора?
Спасибо большое за комментарий! Если говорить про учет предыдущих алертов, то мы оценивали несколько раз масштаб проблемы: смотрели, насколько сильно влияет учет выбросов/аномалий на качество прогноза и в каком числе случаев. Оказалось, что влияние не такое существенное, поэтому на данном этапе мы остановились на ручном исключении выбросов. Но сейчас мы находимся в процессе разработки автоматического исключения периодов, которые могут быть отмечены моделью как аномальные.
Не подскажите, по какому пути вы пошли в попытке автоматического исключения?
Библиотека Prophet довольно хорошо работает с пропущенными значениями, поэтому сейчас аномалии удаляются из датасета для переобучения и нет большой необходимости заменять пропущенные значения чем-либо.
Когда метрика отмечается как алерт, мы записываем информацию по алерту в отдельный датафрейм с выбросами, и при повторном переобучении модели эти аномалии исключаются.
Спасибо, интересный опыт. Мы тоже проходили примерно то же всё. Пару кварталов назад, правда, съехали с prophet, продуктовый аналитик наш запилил алгоритм, который считает выбросы как-то умнее, pyAde он его называет.
А можете пояснить, мне не дает покоя вопрос, почему ВК/Майл.ру использует сторонний Telegram, у вас нет своего чат-решения?
Спасибо большое за комментарий! Будет здорово, если вы тоже поделитесь опытом, как вы научились определять выбросы, тут простор для фантазии огромный! Насчет того, почему мы решили использовать Telegram: здесь выбор пал из-за простоты его API, а также широком использовании мессенджера, хотя, конечно, реализовать бота в корпоративных сервисах тоже возможно и в перспективе можно заняться переносом бота.
Чтобы не терять деньги: оповещения о падениях продуктовых метрик