Для интеграции с внутренней системой магазина у нас есть API. Мы предлагаем CDP (Customer Data Platform) — платформу для хранения данных клиентов, магазин присылает нам информацию обо всех действиях, совершенных пользователем: вход в лк, просмотр товара, оформление заказа и т.д. Даже если у магазина стоит 10 разных систем и каждая хранит какие-то свои данные, у нас все собирается в одном месте. Благодаря этому мы можем собирать статистику и делать продвинутую аналитику
Метрики, про которые Вы говорите слишком упрощены — они не учитывают порядок рекомендаций. Кроме того, если я скажу, что prec@5 = 3%, сможете ли Вы понять, хорошо это или плохо? Вроде мало, но в денежном эквиваленте может быть совсем неплохо.
В любом случае, все эти метрики искусственные, поэтому мы не ориентировались на них как на абсолютную оценку качества. Для абсолютной оценки мы проводим AB-тесты.
Насчет того, что предлагать человеку, наверное не стоит здесь дискутировать. Мы решили делать так и наши клиенты хорошо к этому отнеслись. Может быть, когда-нибудь мы сделаем возможность рекомендовать группы товаров, пока ее нет. Про скидки мы думаем, очень может быть, что одним из следующих наших алгоритмов как раз станет алгоритм расчета индивидуальных скидок.
Пока алгоритмы выбирают наши клиенты при помощи наших же менеджеров. Они прорабатывают множество кейсов, настраивают триггеры. Например, когда человек только зашел на сайт, ему рекомендуются популярные товары, когда посмотрел несколько товаров, рекомендуются похожие, когда добавил в корзину — сопутствующие. У каждого своя специфика и крайне сложно сделать хорошую систему, которая сама бы все учитывала и подбирала оптимальный набор алгоритмов. Но Вы правы, такая система нужна и когда-нибудь мы ее обязательно сделаем.
Метрика не ради цифр, метрика нужна чтобы сравнивать разные модели между собой — для этой цели наша метрика подходит.
Как Вы предлагаете считать точность и полноту рекомендаций? Это задача ранжирования, а не классификации.
Не могу с Вами согласиться, что поднятие метрики в полтора раза не окупится — как правило, магазины готовы платить даже за небольшое улучшение качества, потому что принесет оно существенно больше денег, чем стоит алгоритм.
Я согласен, что предсказать группу (категорию) товаров проще, чем конкретную позицию. Но человеку нужно предложить конкретный товар, чтобы вызвать интерес, поэтому приходится выкручиваться.
Как я уже писал, система у нас гибкая — есть много разных алгоритмов, не только этот. А по поводу исключения купленных товаров — рекомендую прочитать первый комментарий к статье :)
amalrik1,
Цифр не привожу по двум причинам. Во-первых, используемую метрику сложно интерпретировать (в отличие от точности или полноты) и по ее величине сложно сказать, хороши ли рекомендации. Во-вторых, как я писал, у нас около 300 клиентов-магазинов, для какого-то конкретного из них приводить было бы странно, а усреднять по всем некорректно, потому что значения метрик могут отличаться на порядки в связи со спецификой магазинов.
Насчет шума — это неправда, мы проверяли различные вариации, все стабильно.
Про сравнение с тривиальными моделями, возможно, стоило написать, Вы правы. Могу сказать, что у них метрики были существенно ниже.
Масса отраслей, про которые вы говорите, относятся к FMCG. В силу ряда причин среди наших клиентов нет никого из этих отраслей, поэтому подход везде работает.
По поводу того, что нужно побыстрее продать — Вы правы, это отдельная тема. Поэтому у нас есть не один алгоритм рекомендаций, а около 20 — на все случаи жизни :)
А вот про офлайн Вы не правы — у нас многие клиенты работают в офлайне, и они тоже успешно используют наши рекомендации.
Мы работаем итерациями по 1-3 недели, постепенно улучшая алгоритм. Разрабатывать начали немногим больше года назад, в общей сложности потратили около 3-4 месяцев
Очень интересно и полезно, спасибо!
В любом случае, все эти метрики искусственные, поэтому мы не ориентировались на них как на абсолютную оценку качества. Для абсолютной оценки мы проводим AB-тесты.
Насчет того, что предлагать человеку, наверное не стоит здесь дискутировать. Мы решили делать так и наши клиенты хорошо к этому отнеслись. Может быть, когда-нибудь мы сделаем возможность рекомендовать группы товаров, пока ее нет. Про скидки мы думаем, очень может быть, что одним из следующих наших алгоритмов как раз станет алгоритм расчета индивидуальных скидок.
Пока алгоритмы выбирают наши клиенты при помощи наших же менеджеров. Они прорабатывают множество кейсов, настраивают триггеры. Например, когда человек только зашел на сайт, ему рекомендуются популярные товары, когда посмотрел несколько товаров, рекомендуются похожие, когда добавил в корзину — сопутствующие. У каждого своя специфика и крайне сложно сделать хорошую систему, которая сама бы все учитывала и подбирала оптимальный набор алгоритмов. Но Вы правы, такая система нужна и когда-нибудь мы ее обязательно сделаем.
Метрика не ради цифр, метрика нужна чтобы сравнивать разные модели между собой — для этой цели наша метрика подходит.
Как Вы предлагаете считать точность и полноту рекомендаций? Это задача ранжирования, а не классификации.
Не могу с Вами согласиться, что поднятие метрики в полтора раза не окупится — как правило, магазины готовы платить даже за небольшое улучшение качества, потому что принесет оно существенно больше денег, чем стоит алгоритм.
Я согласен, что предсказать группу (категорию) товаров проще, чем конкретную позицию. Но человеку нужно предложить конкретный товар, чтобы вызвать интерес, поэтому приходится выкручиваться.
Как я уже писал, система у нас гибкая — есть много разных алгоритмов, не только этот. А по поводу исключения купленных товаров — рекомендую прочитать первый комментарий к статье :)
Цифр не привожу по двум причинам. Во-первых, используемую метрику сложно интерпретировать (в отличие от точности или полноты) и по ее величине сложно сказать, хороши ли рекомендации. Во-вторых, как я писал, у нас около 300 клиентов-магазинов, для какого-то конкретного из них приводить было бы странно, а усреднять по всем некорректно, потому что значения метрик могут отличаться на порядки в связи со спецификой магазинов.
Насчет шума — это неправда, мы проверяли различные вариации, все стабильно.
Про сравнение с тривиальными моделями, возможно, стоило написать, Вы правы. Могу сказать, что у них метрики были существенно ниже.
Масса отраслей, про которые вы говорите, относятся к FMCG. В силу ряда причин среди наших клиентов нет никого из этих отраслей, поэтому подход везде работает.
По поводу того, что нужно побыстрее продать — Вы правы, это отдельная тема. Поэтому у нас есть не один алгоритм рекомендаций, а около 20 — на все случаи жизни :)
А вот про офлайн Вы не правы — у нас многие клиенты работают в офлайне, и они тоже успешно используют наши рекомендации.