Друг предложил отдать суд нейросети. Я посчитал, что из этого выйдет

[select26]

Допустим, у нас система распознавания лиц с долей ложных совпадений (FPR) 0,1%. Проще говоря, на тысячу проверок невиновных она в среднем один раз ошибочно скажет «это он».

Разве это проблема сама по себе? Сравните с мясным судьей. Отключите эмоции.
Это классическая задача для SWAT анализа: таблица с критериями и весами. Думаю FP окажется не самым значимым критерием.

[WallyJonson]

Сам по себе нет, и в статье я этого не утверждаю: для сверки 1:1 или короткого списка подозреваемых 0,1% отличный результат. Проблема в масштабе. Ищем одного человека среди 10 млн, и даже при 0,1% получаем около 10 000 ложных совпадений на одно настоящее. Это ошибка базовой частоты, она не про качество алгоритма.

С "мясным" судьёй сравнение в статье тоже есть, люди ошибаются не меньше. Но человек не проверяет весь город, ему приносят дело с уже сужённым кругом.

А в таблице с весами FP без базовой частоты не оценить, это входной параметр, а не отдельный критерий. Ну и главный вопрос там в самих весах: сколько стоит один невиновный под арестом против одного упущенного преступника.