Комментарии 2
Спасибо, что отдельно показали разрыв между синтетикой и реальным потоком и не назвали его оценкой полноты обнаружения. Для следующего эксперимента было бы интересно заранее зафиксировать набор сценариев атак и независимую разметку дежурного, а затем отдельно показать пропущенные инциденты и ложные эскалации. Планируете ли проверять это на отложенном потоке, который не использовался при настройке правил?
Спасибо, да, планирую, и в такой же логике. Пока честно могу сказать только про то, чего нет: на реальном потоке полнота не измерена, а 100 отложенных алертов не попали в обучение модели, но белый список я настраивал на том же стенде. Чистым отложенным потоком этот набор считать нельзя.
Порядок вижу такой: заранее фтксирую в репозитории список сценариев атак и замораживаю модель и правила, затем провожу атаки на стенде, а уже после смотрю результат. Настройка на этих данных исключается. Считать буду на трёх уровнях: Wazuh вообще дал алерт, контур поднял его на L2, сама модель поставила suspicious или incident. Скрипт для этого уже есть (eval/recall_eval.py), самого прогона пока нет. Пропуски и ложные эскалации покажу отдельно.
Слабое место сейчас в независимой разметке: вся разметка моя, а диспозиций дежурного всего несколько штук, как эталон они не годятся. Нужен второй человек, который размечает, не видя ответа модели.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
На синтетике 0 ложных эскалаций, на реальном потоке 39 из 100: как я делал локального L1-аналитика SOC