Как стать автором
Обновить

Дропаем ранжирующие метрики в рекомендательной системе, часть 3: платформа для экспериментов

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров3.6K
Всего голосов 7: ↑7 и ↓0+7
Комментарии2

Комментарии 2

так а на аб тесте как и какие бизнес метрики поменялись?

Это пет-проект на открытом датасете. Именно поэтому я делюсь деталями так свободно, включая код.

Про аб-тесты общеизвестно, что модель, выигрывающая на оффлайне по ранжирующим метрикам, может легко проигрывать в проде на бизнесовых. Отсюда и встаёт вопрос - что ещё стоит учитывать при отборе моделей для аб-теста. Сейчас это активно обсуждается в статьях

Зарегистрируйтесь на Хабре, чтобы оставить комментарий