Дропаем ранжирующие метрики в рекомендательной системе, часть 3: платформа для экспериментов

Это пет-проект на открытом датасете. Именно поэтому я делюсь деталями так свободно, включая код.

Про аб-тесты общеизвестно, что модель, выигрывающая на оффлайне по ранжирующим метрикам, может легко проигрывать в проде на бизнесовых. Отсюда и встаёт вопрос - что ещё стоит учитывать при отборе моделей для аб-теста. Сейчас это активно обсуждается в статьях