Pull to refresh
0
0
Vladislav@gor0h

DS / ML Engineer

Send message

Принято, спасибо)

Спасибо за статью, очень полезно для "вкатывания" во фреймворк!
Столкнулся с тем, что при выполнении mlflow.evaluate() не логируются roc_curve_plot, precision_recall_curve_plot и lift_curve_plot. И это поведение ожидаемо, поскольку данные артефакты получаются через "вероятности", а в документации MLflow указано следующее:
For classification tasks, some metric and artifact computations require the model to output class probabilities. Currently, for scikit-learn models, the default evaluator calls the predict_proba method on the underlying model to obtain probabilities. For other model types, the default evaluator does not compute metrics/artifacts that require probability outputs.
Отмечу также, что во фрагменте кода в статье в mlflow.evaluate() передается модель, совместимая с API sklearn, для которой метод predict по-умолчанию выдает метки классов (в отличие от одновременно сохраняемого Booster'а, для которого метод predict выдает оценки "вероятности").
Однако заметил, что у Вас в статье перечисленные мной артефакты залогировались. Подскажите, как удалось это побороть (чтобы не логировать их вручную)?

Information

Rating
Does not participate
Registered
Activity

Specialization

Ученый по данным, ML разработчик
Средний
From 250,000 ₽
Машинное обучение
Анализ данных
Python
Bash
Git
PostgreSQL
Docker
CI/CD
FastAPI
Asyncio