Я насчитал 7-8 ML/SW разработчиков из разных команд, но вовлечённость была разной
Кто принимал решение, что расчет корзины соответствует требованиям и кто выставлял эти требования?
О расчёте какой корзины речь? Продукт был инициирован нашей командой разработки, поэтому априорных требований к нему не было. После успешных релизов на часть селлеров решение о выкатке принимал уже бизнес.
Какова вероятность, что автобиддер рассчитает ставку намного больше, чем фактически требовалось для попадания в топ?
Для начала необходимо формализовать понятие попадания в топ. Если о веротяности кейсов, когда биддер мог выиграть первую позицию в аукционе с значительно более низкой ставкой, чем в реальности, то избежать этого помогает использование реальных логов аукционов для прогноза вероятности выигрыша показа за ставку. Из-за того, что мы умеем хорошо аппроксимировать распределение ставок в аукционе редки кейсы, когда ставки могут улетать в экстремальные значения.
Привет! Отличное замечание: проблема каннибализации действительно существует. Поправлю твой тезис: если на один запрос приходится 10 товаров, то они одновременно могут участвовать в аукционе и есть шанс, что все получат по показу, ведь аукцион проводится один раз для каждой выдачи, а число товаров, которые увидит пользователь ограничено длиной выдачи и глубиной его скролла. Но в среднем конечно товары будут конкурировать между собой и каннибализировать показы.
Сразу скажу: хорошего решения у нас пока нет. Мы пробовали учитывать её отдельно тем способом, что ты предложил выше, но это ухудшало метрики прогноза показов.
Основных объяснений у меня два. Первое - наборы кандидатов для рюкзака в среднем получаются достаточно крупные: обычно в кампаниях много товаров с широкими таргетингами. Поэтому влияние каннибализации не такое критичное. Второе: помимо риалтайм корректировки ставок для кампании, о которой я упомянул в докладе, у нас есть ещё и глобальная корректировка ставок для кампании. Если мы видим систематическую ошибку в прогнозах для конкретной кампании (бюджет расходуется неравномерно: откручивается слишком быстро или слишком медленно), то на следующий день мы учтём эту ошибку отдельной корректировкой результатов этой кампании. В итоге весь "произвол" для кампании (будь то высокая каннибализация товаров или наличие товаров одной модели, которые в выдаче склеиваются в одну карточку) будет учтён именно в этом коэффициенте.
Также приглашаю на Ozon Tech Community ML&DS Meetup, 25 октября в 19:00, где, помимо моего доклада об автобиддере, вас ждут сразу ещё 3 темы от экспертов блока по продукту и технологиям «Поиск, Рекомендации и Реклама»: - поисковые подсказки в Ozon - нейросети в рекомендациях - автоматизированное обучение и доставка моделей до прода.
Я насчитал 7-8 ML/SW разработчиков из разных команд, но вовлечённость была разной
О расчёте какой корзины речь?
Продукт был инициирован нашей командой разработки, поэтому априорных требований к нему не было. После успешных релизов на часть селлеров решение о выкатке принимал уже бизнес.
Для начала необходимо формализовать понятие попадания в топ.
Если о веротяности кейсов, когда биддер мог выиграть первую позицию в аукционе с значительно более низкой ставкой, чем в реальности, то избежать этого помогает использование реальных логов аукционов для прогноза вероятности выигрыша показа за ставку. Из-за того, что мы умеем хорошо аппроксимировать распределение ставок в аукционе редки кейсы, когда ставки могут улетать в экстремальные значения.
Привет! Отличное замечание: проблема каннибализации действительно существует.
Поправлю твой тезис: если на один запрос приходится 10 товаров, то они одновременно могут участвовать в аукционе и есть шанс, что все получат по показу, ведь аукцион проводится один раз для каждой выдачи, а число товаров, которые увидит пользователь ограничено длиной выдачи и глубиной его скролла. Но в среднем конечно товары будут конкурировать между собой и каннибализировать показы.
Сразу скажу: хорошего решения у нас пока нет. Мы пробовали учитывать её отдельно тем способом, что ты предложил выше, но это ухудшало метрики прогноза показов.
Основных объяснений у меня два.
Первое - наборы кандидатов для рюкзака в среднем получаются достаточно крупные: обычно в кампаниях много товаров с широкими таргетингами. Поэтому влияние каннибализации не такое критичное.
Второе: помимо риалтайм корректировки ставок для кампании, о которой я упомянул в докладе, у нас есть ещё и глобальная корректировка ставок для кампании. Если мы видим систематическую ошибку в прогнозах для конкретной кампании (бюджет расходуется неравномерно: откручивается слишком быстро или слишком медленно), то на следующий день мы учтём эту ошибку отдельной корректировкой результатов этой кампании. В итоге весь "произвол" для кампании (будь то высокая каннибализация товаров или наличие товаров одной модели, которые в выдаче склеиваются в одну карточку) будет учтён именно в этом коэффициенте.
Также приглашаю на Ozon Tech Community ML&DS Meetup, 25 октября в 19:00, где, помимо моего доклада об автобиддере, вас ждут сразу ещё 3 темы от экспертов блока по продукту и технологиям «Поиск, Рекомендации и Реклама»:
- поисковые подсказки в Ozon
- нейросети в рекомендациях
- автоматизированное обучение и доставка моделей до прода.
За деталями: https://habr.com/ru/companies/ozontech/articles/768734/