Иллюзия 99% F1 в Time Series: как искажаются метрики в детекции аномалий и что показывает реальный тест 14 архитектур

[CrazyElf]

Ну тут мы как обычно упираемся в философию: а что вообще считать аномалией? Из текста получается, что один сломавшийся датчик - уже не аномалия, его можно игнорировать? И “поплывший”/износившийся датчик - уже тоже не аномалия, его нужно принять как данность и не поднимать тревогу из-за ерунды? На мой взгляд это уже как-то слишком. Датчик врёт - это аномалия, нужно выявить этот датчик и заменить в любом случае, а не игнорировать ситуацию, пока вообще всё не накроется. Или у вас там 100500+ датчиков, из которых какие-то довольно часто (перманентно) выходят из строя/дрейфуют, замена датчиков происходит через другой какой-то процесс, а вам важно не отвлекаться на отдельные дефектные датчики в рамках данной конкретной модели? Тогда, конечно, другое дело.

[antonkozhukhov]

Вы абсолютно правы в своей последней мысли, речь идет именно о разделении процессов.

На реальном объекте (допустим, на турбине с 500+ каналов) задача выявления сломанных или дрейфующих датчиков решается на уровне Data Quality (обычными правилами и статистикой). Этим занимается служба КИПиА.

А вот тяжелая ML-модель из статьи - это инструмент верхнего уровня для оператора технологической установки. Ее цель показать, что ломается сам агрегат, а не измерительный прибор.

Если архитектура модели (например, реконструкция типа VAE) размазывает ошибку одного сбойного датчика на всю систему и кричит "Авария всего завода" - это плохая модель для продакшена. Операторы просто перестанут ей доверять из-за ложных срабатываний. Хорошая модель (например, на графах) должна локализовать этот сбойный сенсор, понять, что проблема только в нем, компенсировать потерю данных через соседние датчики и продолжить мониторинг реального физического процесса.

И вы правы: для оператора и сломанный датчик, и реальная авария - одинаково важные события. Наша статья - про второй слой, а первый слой (диагностика датчиков) мы считаем обязательной предобработкой перед запуском любой ML-модели.