Привет, Хабр! На связи команда ad-hoc аналитики и модельного риска X5 Tech. В прошлой статье про модельный риск мы познакомились с концепцией risk-management’а для моделей машинного обучения в корпорации и оценили, какую пользу может принести модельный риск как для команд-разработчиков и аналитиков, так и для компании в целом.

В этой статье мы продолжим тему модельного риска, раскроем чуть больше секретов о том, как это устроено в X5 Tech и обсудим некоторые технические аспекты реализации подобной системы.

Привет, Хабр! В этой статье мы – Святослав Орешин и Александр Сахнов – попытались  разобрать достаточно специфичную для классического Data Science и критически важную для бизнеса тему – модельный риск или risk management для машинного обучения. 

Под катом говорим о том, как можно сделать машинное обучение в компании более эффективным, какие бывают риски у ML моделей и как на них реагировать, а также делимся своим опытом, как мы построили систему по модельному риску в X5 Tech – компании с сотнями ML моделей в production.

В современных компаниях машинное обучение используется повсеместно – начиная от предсказания ключевых для бизнеса показателей, до голосовых помощников на основе языковых моделей. При разработке и обучении новой модели обычно основное внимание уделяется данным, метриками, архитектуре и решаемой задачи, и только в редких случаях команда задумывается о поддержке и управлении моделями в будущем.