Почему DataScientist-ы не используют ошибки первого и второго рода

[mayorovp]

Картинка в начале у вас неправильная, из нее получается что O₂ = П, O₁ = 1 — П. Очевидно, это не так…

[PavelMSTU]

Картинка показывает «при условии чего» рассчитывается та или иная величина.

[VT100]

Не стану спорить — просто спрошу:
Разве ошибка первого рода это не «пропуск цели»? И второго, соответственно, — «ложная тревога»? Что является зеркальным отражением:

Ошибка первого рода (O1) — это вероятность того, что ЭС «определит» транзакцию как мошенническую, при условии, что она легитимная.
Ошибка второго рода (O2) — это вероятность того, что ЭС «определит» транзакцию как легитимную, при условии, что она мошенническая.
Замечание: часто ошибку первого рода называют false positives, а ошибку второго рода — как false negatives.

[PavelMSTU]

Обычно под нулевой гипотезой определяют «естественное» состояние.

Но вы можете под нулевой гипотезой взять F_r событие.
Тогда да — наоборот. Это дело вкуса.

[sunman]

Статья, в целом, полезная, только в ней ошибка — там, где расписаны вероятности ошибок 1-го и 2-го рода в списке вероятных исходов, tp — true positive встречается 2 раза, очевидно, вместо одного из tp должно быть tn — true negative.

Кроме того расчет экономического эффекта от внедрения ЭС сильно смахивает на экономическую часть технического диплома — непроверенные на практике начальные предпосылки дают достаточно сомнительные результаты. Впрочем, возможно, конечных заказчиков именно такими цифрами и надо убеждать

[PavelMSTU]

По первому абзацу:

Спасибо! поправил

Аббревиатуры читаются так:

1. tn — true negative
2. fn — false negative
3. fp — false positive
4. tp — true positive

P.S> но лучше бы в личку написали ;)

По второму: я в двух крупных банках три года проработал, внедряя и/или создавая Ф.М. системы… Теперь делаю их «на стороне», как вендор. Ну не писать же мне реальные цифры настоящего банка, они же под NDA! ;))

Кому по реальным цифрам интересно, то «средняя температура по больнице» такая.

1. Полноту хотят в диапазоне от 60% до 90% (в деньгах). Правда сейчас тренд «социальной инженерии» и сейчас (2017) разделяют полноту по «соц.инженерии» («аппетиты» уже скромнее: 40%-70%) и по «остальному».
2. Точность в диапазоне от 0.5% до 10% (в количестве сработок). Причем, как правило, чем больше банк, тем на более маленькую точность он согласен. Но бывают исключения.