Комментарии 2
так а на аб тесте как и какие бизнес метрики поменялись?
Это пет-проект на открытом датасете. Именно поэтому я делюсь деталями так свободно, включая код.
Про аб-тесты общеизвестно, что модель, выигрывающая на оффлайне по ранжирующим метрикам, может легко проигрывать в проде на бизнесовых. Отсюда и встаёт вопрос - что ещё стоит учитывать при отборе моделей для аб-теста. Сейчас это активно обсуждается в статьях
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Дропаем ранжирующие метрики в рекомендательной системе, часть 3: платформа для экспериментов