Комментарии 7
Также приглашаю на Ozon Tech Community ML&DS Meetup, 25 октября в 19:00, где, помимо моего доклада об автобиддере, вас ждут сразу ещё 3 темы от экспертов блока по продукту и технологиям «Поиск, Рекомендации и Реклама»:
- поисковые подсказки в Ozon
- нейросети в рекомендациях
- автоматизированное обучение и доставка моделей до прода.
За деталями: https://habr.com/ru/companies/ozontech/articles/768734/
Привет! Спасибо за статью!
Вопрос по построению таблицы и распределения товаров в рюкзаке: если у вас на один запрос приходится 10 товаров, то каждый товар участвует в 1/10 части аукционов на этот запрос? Чтобы не выйти за границы посчитанного заранее бюджета при распределении товаров в рюкзак
Привет! Отличное замечание: проблема каннибализации действительно существует.
Поправлю твой тезис: если на один запрос приходится 10 товаров, то они одновременно могут участвовать в аукционе и есть шанс, что все получат по показу, ведь аукцион проводится один раз для каждой выдачи, а число товаров, которые увидит пользователь ограничено длиной выдачи и глубиной его скролла. Но в среднем конечно товары будут конкурировать между собой и каннибализировать показы.
Сразу скажу: хорошего решения у нас пока нет. Мы пробовали учитывать её отдельно тем способом, что ты предложил выше, но это ухудшало метрики прогноза показов.
Основных объяснений у меня два.
Первое - наборы кандидатов для рюкзака в среднем получаются достаточно крупные: обычно в кампаниях много товаров с широкими таргетингами. Поэтому влияние каннибализации не такое критичное.
Второе: помимо риалтайм корректировки ставок для кампании, о которой я упомянул в докладе, у нас есть ещё и глобальная корректировка ставок для кампании. Если мы видим систематическую ошибку в прогнозах для конкретной кампании (бюджет расходуется неравномерно: откручивается слишком быстро или слишком медленно), то на следующий день мы учтём эту ошибку отдельной корректировкой результатов этой кампании. В итоге весь "произвол" для кампании (будь то высокая каннибализация товаров или наличие товаров одной модели, которые в выдаче склеиваются в одну карточку) будет учтён именно в этом коэффициенте.
Сколько людей работало над этой системой? Кто принимал решение, что расчет корзины соответствует требованиям и кто выставлял эти требования? Какова вероятность, что автобиддер рассчитает ставку намного больше, чем фактически требовалось для попадания в топ?
Сколько людей работало над этой системой?
Я насчитал 7-8 ML/SW разработчиков из разных команд, но вовлечённость была разной
Кто принимал решение, что расчет корзины соответствует требованиям и кто выставлял эти требования?
О расчёте какой корзины речь?
Продукт был инициирован нашей командой разработки, поэтому априорных требований к нему не было. После успешных релизов на часть селлеров решение о выкатке принимал уже бизнес.
Какова вероятность, что автобиддер рассчитает ставку намного больше, чем фактически требовалось для попадания в топ?
Для начала необходимо формализовать понятие попадания в топ.
Если о веротяности кейсов, когда биддер мог выиграть первую позицию в аукционе с значительно более низкой ставкой, чем в реальности, то избежать этого помогает использование реальных логов аукционов для прогноза вероятности выигрыша показа за ставку. Из-за того, что мы умеем хорошо аппроксимировать распределение ставок в аукционе редки кейсы, когда ставки могут улетать в экстремальные значения.
а есть модификация подобного биддера с указанием целевой средней ставки на ЗАДАННОМ инттервале с ЗАДАННЫМ среднеквадратичным и ограничением суммы бжджета?
очень хочется поиграться со студентами - табличку с данными накопленными и результат
оценивать имеющиеся сведения за прошлый период, чистим его от выбросов методами робастной статистики, затем модель скользящего среднего - оценили тренд..
и автобиддер начинает тратить ваш бюджет с ограничением
средняя ставка и дрпустимое отклонение в интервале (допустим неделя)
ораничение бюджета на неделю.
Как мы запустили автобиддер для управления рекламными кампаниями в Ozon?