Как стать автором
Обновить

Как мы запустили автобиддер для управления рекламными кампаниями в Ozon?

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров7.6K
Всего голосов 35: ↑34 и ↓1+37
Комментарии7

Комментарии 7

Также приглашаю на Ozon Tech Community ML&DS Meetup, 25 октября в 19:00, где, помимо моего доклада об автобиддере, вас ждут сразу ещё 3 темы от экспертов блока по продукту и технологиям «Поиск, Рекомендации и Реклама»:
- поисковые подсказки в Ozon
- нейросети в рекомендациях
- автоматизированное обучение и доставка моделей до прода.

За деталями: https://habr.com/ru/companies/ozontech/articles/768734/

Привет! Спасибо за статью!

Вопрос по построению таблицы и распределения товаров в рюкзаке: если у вас на один запрос приходится 10 товаров, то каждый товар участвует в 1/10 части аукционов на этот запрос? Чтобы не выйти за границы посчитанного заранее бюджета при распределении товаров в рюкзак

Привет! Отличное замечание: проблема каннибализации действительно существует.
Поправлю твой тезис: если на один запрос приходится 10 товаров, то они одновременно могут участвовать в аукционе и есть шанс, что все получат по показу, ведь аукцион проводится один раз для каждой выдачи, а число товаров, которые увидит пользователь ограничено длиной выдачи и глубиной его скролла. Но в среднем конечно товары будут конкурировать между собой и каннибализировать показы.

Сразу скажу: хорошего решения у нас пока нет. Мы пробовали учитывать её отдельно тем способом, что ты предложил выше, но это ухудшало метрики прогноза показов.

Основных объяснений у меня два.
Первое - наборы кандидатов для рюкзака в среднем получаются достаточно крупные: обычно в кампаниях много товаров с широкими таргетингами. Поэтому влияние каннибализации не такое критичное.
Второе: помимо риалтайм корректировки ставок для кампании, о которой я упомянул в докладе, у нас есть ещё и глобальная корректировка ставок для кампании. Если мы видим систематическую ошибку в прогнозах для конкретной кампании (бюджет расходуется неравномерно: откручивается слишком быстро или слишком медленно), то на следующий день мы учтём эту ошибку отдельной корректировкой результатов этой кампании. В итоге весь "произвол" для кампании (будь то высокая каннибализация товаров или наличие товаров одной модели, которые в выдаче склеиваются в одну карточку) будет учтён именно в этом коэффициенте.

Спасибо!

Сколько людей работало над этой системой? Кто принимал решение, что расчет корзины соответствует требованиям и кто выставлял эти требования? Какова вероятность, что автобиддер рассчитает ставку намного больше, чем фактически требовалось для попадания в топ?

Сколько людей работало над этой системой?

Я насчитал 7-8 ML/SW разработчиков из разных команд, но вовлечённость была разной

Кто принимал решение, что расчет корзины соответствует требованиям и кто выставлял эти требования?

О расчёте какой корзины речь?
Продукт был инициирован нашей командой разработки, поэтому априорных требований к нему не было. После успешных релизов на часть селлеров решение о выкатке принимал уже бизнес.

Какова вероятность, что автобиддер рассчитает ставку намного больше, чем фактически требовалось для попадания в топ?

Для начала необходимо формализовать понятие попадания в топ.
Если о веротяности кейсов, когда биддер мог выиграть первую позицию в аукционе с значительно более низкой ставкой, чем в реальности, то избежать этого помогает использование реальных логов аукционов для прогноза вероятности выигрыша показа за ставку. Из-за того, что мы умеем хорошо аппроксимировать распределение ставок в аукционе редки кейсы, когда ставки могут улетать в экстремальные значения.

а есть модификация подобного биддера с указанием целевой средней ставки на ЗАДАННОМ инттервале с ЗАДАННЫМ среднеквадратичным и ограничением суммы бжджета?
очень хочется поиграться со студентами - табличку с данными накопленными и результат
оценивать имеющиеся сведения за прошлый период, чистим его от выбросов методами робастной статистики, затем модель скользящего среднего - оценили тренд..
и автобиддер начинает тратить ваш бюджет с ограничением

средняя ставка и дрпустимое отклонение в интервале (допустим неделя)
ораничение бюджета на неделю.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий