Прогнозирование спроса: как СберМаркет прогнозирует, что вы закажете вечером в пятницу

[Asimandia]

Смотрю в итоговую графу "результат" и вижу, что у тебя еще и наибольшее количество самбитов. Расскажи какие методы пробинга лидерборда стоит использовать?

[aizakharov94]

Не использовал) В основном тестировал различные признаки.

[prokofyev]

А при прогнозе общего количества заказов на день учитывается, будет ли это выходной или праздничный или перенос праздничного дня?

[aizakharov94]

Выходной, праздничный учитывается. В добавок хорошо играют признаки, сколько дней до праздничного периода, длина праздника ближайшего (в днях) и какой сейчас день праздника по счету. Про переносы не понял). Если имеете ввиду переносы на понедельник со вторника, чтобы было 3 дня выходных, то да.

[andreyds95]

А как этот метод показал себя по сравнению с Prophet или нейросетевыми решениями вроде GRU, Time Convolutional Network, NBeats или Temporal Fusion Transformer?

[aizakharov94]

Пробовал рекурентки, пробовал конволюции, сработало хуже.
NBeats или Temporal Fusion Transformer не пробовал. Спасибо за совет.
Prophet тоже пробовал (и от Uber "Orbit)) сработали хуже из-за малой гибкости.

[nstimofeev]

Спасибо за подробный материал!

Несколько вопросов:

1)    Не совсем понял идею с отдельной моделью на каждый день прогноза – для какого бы дня прогноз ни строился, имеющиеся исторические данные ведь будут одни и те же, каким образом получаются разные модели для разных дней? Прогнозные значения для предыдущих дней используются для формирования прогноза на следующие дни?

2)    «Когда модель обучена на исторических данных, мы подставляем реальные значения спроса за последний 21 день и умножаем их на медиану за прошедшую неделю» - если правильно понял алгоритм, на медиану нужно умножить полученный бустингом прогноз и получить таким образом финальные прогнозные значения – здесь это имеется в виду?

[aizakharov94]

1) Когда делается предсказание, надо знать, на какой день. Признаки действительно будут одинаковыми. Но нужно знать горизонт прогноза. Так предсказание на следующий день сильно не будет отличатся от предыдущего дня. А если делать предсказание на 14-ый день, то интервал предсказаний сильно увеличивается, для чего и делается отдельная модель. Если брать одну модель, то нужно вставить признак "на какой день делается предсказание (lag)". Еще как вариант, можно использовать предсказанные значения для предсказание следующих, но в этом подходе есть несколько минусов:
1) Накопление ошибки (ошибки с каждым днем предсказания накапливаются и для последних значений будет очень большой диапазон предсказаний).
2) Рушится однородность (Для предсказания на завтра признаки - фактические значения, для предсказания на следующие дни теряется однородность, так как используются не фактические значения, а предсказанные.
3) Подход все-равно был опробован и давал результаты хуже, нежели описанный в статье.

2) Вы правы. Берем ответы бустинга и умножаем на медиану.

[nstimofeev]

Спасибо!