Введение в MLflow

[0utlander]

Отличный гайд!

[gor0h]

Спасибо за статью, очень полезно для "вкатывания" во фреймворк!
Столкнулся с тем, что при выполнении mlflow.evaluate() не логируются roc_curve_plot, precision_recall_curve_plot и lift_curve_plot. И это поведение ожидаемо, поскольку данные артефакты получаются через "вероятности", а в документации MLflow указано следующее:
For classification tasks, some metric and artifact computations require the model to output class probabilities. Currently, for scikit-learn models, the default evaluator calls the predict_proba method on the underlying model to obtain probabilities. For other model types, the default evaluator does not compute metrics/artifacts that require probability outputs.
Отмечу также, что во фрагменте кода в статье в mlflow.evaluate() передается модель, совместимая с API sklearn, для которой метод predict по-умолчанию выдает метки классов (в отличие от одновременно сохраняемого Booster'а, для которого метод predict выдает оценки "вероятности").
Однако заметил, что у Вас в статье перечисленные мной артефакты залогировались. Подскажите, как удалось это побороть (чтобы не логировать их вручную)?

[egorborisov]

Нужно при сохранении модели использовать mlflow.sklearn.log_model вместо xgboost. Я видимо поменял, после того как сделал скриншот и не заметил, что есть разница. В любом случае, можно вручную логировать нужные метрики.

[gor0h]

Принято, спасибо)