Вопросы связанные с преднамеренным мошенничеством конечно же важны, но для них существуют отдельные решения. Эта система в первую очередь нацелена на снижение влияния человеческого фактора при оценке рисков. В некоторых случаях она позволяет предсказать возможные проблемы со здоровьем у клиентов и направить их на раннюю диагностику, что выгодно обеим сторонам.
Нужно учитывать, что модель, которая приведена в статье, незаконченная (поскольку будет еще финальная статья) и, к тому же демонстрационная.
Актуальная версия системы предсказывает диагнозы и уже на основе них оценивается стоимость. Точность по конкретному диагнозу колеблется в пределах 70-90%, причем ~40% верно предсказанных диагнозов ранее не были отмечены у рассматриваемых пациентов. К сожалению, поделиться этой версией мы не можем в связи с NDA, но F1 score там в районе 80+%.
Что касается граничного приемлемого для бизнеса значения, то Abyasov сказал совершенно верно. Оценка должна производиться из расчета конкретного случая. В зависимости от потерь от FP и FN и профита с TP и TN, F~0.69 может быть очень хорошим результатом для одной задачи и совершенно недопустимым для другой.
Нужно учитывать, что модель, которая приведена в статье, незаконченная (поскольку будет еще финальная статья) и, к тому же демонстрационная.
Актуальная версия системы предсказывает диагнозы и уже на основе них оценивается стоимость. Точность по конкретному диагнозу колеблется в пределах 70-90%, причем ~40% верно предсказанных диагнозов ранее не были отмечены у рассматриваемых пациентов. К сожалению, поделиться этой версией мы не можем в связи с NDA, но F1 score там в районе 80+%.
Что касается граничного приемлемого для бизнеса значения, то Abyasov сказал совершенно верно. Оценка должна производиться из расчета конкретного случая. В зависимости от потерь от FP и FN и профита с TP и TN, F~0.69 может быть очень хорошим результатом для одной задачи и совершенно недопустимым для другой.