Comments 4
«Риск впустую потратить ресурсы» зависит прежде всего от качества экономического обоснования и бизнес-планирования (ЭОБП) продуктивизации новой модели (продукта) включая рационализацию бизнес-модели и финансовых схем, маркетинг и др. Применение рассмотренных в статье статистических методов, по-видимому, не является важным фактором ЭОБП.
Добрый день, благодарю за комментарий!
Несомненно, в той или иной степени можно рассчитать экономический эффект от новой модели. Также можно рассчитать и издержки на ее обновления. Эффект от модели может быть как в положительную, так и в отрицательную сторону. Издержки есть ВСЕГДА, пусть даже и незначительные.
Что часто происходит на практике. Была модель (неважно какая) с ROC_AUC 0.845, а разработчик в ходе эксперимента получил новую модель с ROC_AUC 0.847. Предполагая, что эта разница действительно имеет место быть - можно вычислить экономический эффект. Если он покрывает издержки - то вперед к выполнению. Вот только само утверждение о том, что эта разница действительно будет, требует подтверждения, если вы дорожите ресурсами, которые в любом случае уйдут на новый релиз. Тут то и понадобятся тесты из статьи.
Итого. Тесты оценивают факт риска. А уж сколько стоит риск в деньгах - это каждый бизнес определяет сам. Так что ЭОБП и оценка риска - это две компоненты, помогающие принять решение)
Спасибо за статью! Сохраню себе на будущее.
Несовсем понял этот момент:
Если из S1 и S2 выбираются одни и те же объекты для обучения и валидации,подразумеваются, что пересекаются T1 с V1, T2 с V2 или S1 с S2?
Как сравнивать ML-модели: шпаргалка для разработчиков и менеджеров