Pull to refresh

Прогнозирование временных рядов

Algorithms *
Sandbox
Привет.
Я хочу рассказать об одной задаче, которая очень заинтересовала меня в свое время, а именно, о задаче прогнозирования временных рядов и решении этой задачи методом муравьиного алгоритма.

Для начала вкратце о задаче и о самом алгоритме:
Читать дальше →
Total votes 45: ↑38 and ↓7 +31
Views 36K
Comments 15

Классификация методов и моделей прогнозирования

Mathematics *
Sandbox
Tutorial

Я занимаюсь прогнозированием временных рядов уже более 5 лет. В прошлом году мною была защищена диссертация по теме «Модель прогнозирования временных рядов по выборке максимального подобия», однако вопросов после защиты осталось порядочно. Вот один из них — общая классификация методов и моделей прогнозирования.


Обычно в работах как отечественных, так и англоязычных авторы не задаются вопросом классификации методов и моделей прогнозирования, а просто их перечисляют. Но мне кажется, что на сегодняшний день данная область так разрослась и расширилась, что пусть самая общая, но классификация необходима. Ниже представлен мой собственный вариант общей классификации.


В чем разница между методом и моделью прогнозирования?


Метод прогнозирования представляет собой последовательность действий, которые нужно совершить для получения модели прогнозирования. По аналогии с кулинарией метод есть последовательность действий, согласно которой готовится блюдо — то есть сделается прогноз.


Модель прогнозирования есть функциональное представление, адекватно описывающее исследуемый процесс и являющееся основой для получения его будущих значений. В той же кулинарной аналогии модель есть список ингредиентов и их соотношение, необходимый для нашего блюда — прогноза.


Совокупность метода и модели образуют полный рецепт!


Читать дальше →
Total votes 8: ↑8 and ↓0 +8
Views 146K
Comments 13

Обзор моделей прогнозирования временных рядов: проба пера

Mathematics *
Tutorial
В рамках своей диссертации «Модель прогнозирования по выборке максимального подобия» мне нужно было делать обзор моделей прогнозирования. Кроме обзора, я сделала вариант классификации, который мне тогда не очень удался. Классификацию уже немного поправила, теперь хочется разобраться в существующих моделях прогнозирования временных рядов. Такие модели называют стохастическими моделями (stochastic models).

По оценке некто Тихонова в его «Прогнозировании в условиях рынка» на сегодняшний день (2006 год) существует около 100 методов и моделей прогнозирования. Эта оценка звучит бредово, я полно разбирала ее! Давайте теперь вместе разберемся, какие же модели прогнозирования временных рядов существуют на сегодняшний день.

  1. Регрессионные модели прогнозирования
  2. Авторегрессионные модели прогнозирования (ARIMAX, GARCH, ARDLM)
  3. Модели экспоненциального сглаживания (ES)
  4. Модель по выборке максимального подобия (MMSP)
  5. Модель на нейронных сетях (ANN)
  6. Модель на цепях Маркова (Markov chains)
  7. Модель на классификационно-регрессионных деревьях (CART)
  8. Модель на основе генетического алгоритма (GA)
  9. Модель на опорных векторах (SVM)
  10. Модель на основе передаточных функций (TF)
  11. Модель на нечеткой логике (FL)
  12. Что еще?...

Разберемся по очереди со всеми
Total votes 43: ↑35 and ↓8 +27
Views 92K
Comments 33

Обзор: SAP F&R сегодня и завтра – будущее прогнозирования продаж

ERP-systems *E-commerce management *Sales management *
Привет, Хабр! Запускаю цикл статей про автопополнение запасов с помощью SAF F&R – систему прогнозирования спроса и управления запасами на уровне целевое местоположение-местоположение поставщик. Система входит в состав решения SAP SCM (Управление цепочками поставок) и внедряется в двух вариациях:

  • SAP F&R SCM – внедрение с бесшовной интеграцией с SAP-системами;
  • SAP F&R OI – система для интеграции с неSAP-системами.

В данном посте рассмотрим текущий и планируемый на ближайшее будущее функционал SAP F&R.
Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Views 7.4K
Comments 11

SAP F&R: Процесс создания заказов. Часть 2

E-commerce management *Sales management *
Recovery mode
Привет, Хабр! В прошлой статье мы с вами остановились на блоке «Расчет потребностей». Краткая напоминалка: SAP F&R – система прогнозирования спроса и управления запасами на уровне целевое местоположение-местоположение поставщик. Система входит в состав решения SAP SCM (управление цепочками поставок) и внедряется в двух вариациях:

  • SAP F&R SCM – внедрение с бесшовной интеграцией с SAP-системами;
  • SAP F&R OI – внедрение с интеграцией с неSAP-системами.

Весь функционал SAP F&R разбивается на 4 основных блока:

  • Обработка входных данных
  • Расчет прогноза
  • Расчет потребности
  • Оптимизация потребности


Читать дальше →
Total votes 8: ↑6 and ↓2 +4
Views 3.9K
Comments 0

Прогнозирование финансовых временных рядов с MLP в Keras

Algorithms *Mathematics *Machine learning *
Sandbox

image
Всем привет! В этой статье я хочу рассказать про базовый пайплайн в прогнозировании временных рядов с помощью нейронных сетей, в данном случае, наверное, с самыми сложными временными рядами для анализа — финансовыми данными, которые имеют случайную природу, и, казалось бы, непредсказуемые. Или все-таки нет?

Читать дальше →
Total votes 25: ↑20 and ↓5 +15
Views 71K
Comments 17

Временные ряды в прогнозировании спроса, нагрузки на КЦ, товарных рекомендациях и поиске аномалий

Data Mining *Algorithms *Machine learning *Reading room Artificial Intelligence
В статье рассматриваются области применения временных рядов, решаемые задачи, и используемые алгоритмы. Прогнозирование временного ряда используется в таких задачах, как прогнозирование спроса, нагрузки на контактный центр, дорожного и интернет-трафика, решения задачи холодного старта в рекомендательных системах и поиска аномалий в поведении оборудования и пользователей.

Рассмотрим задачи подробнее.


Читать дальше →
Total votes 10: ↑8 and ↓2 +6
Views 8.2K
Comments 3

Про Планирование Спроса, Holt-Winters и XGboost

Data Mining *Machine learning *
Sandbox
Хабр, привет!

На сайте много статей про прогнозирование sell-outs различных категорий FMCG, в то же время другие товарные категории не так популярны. Кроме того, обычно исследуется проблематика retail с прогнозом на несколько дней вперед, но не дистрибьютора с прогнозом на 2 месяца вперед – хотя последний заинтересован в качественном прогнозе чаще даже более, чем ритейлер. Как дополнительный вызов стоит расценивать консервативность значительной части дистрибьюторов в смысле выбора технологий прогнозирования. Достаточно легко себе представить практику прогнозирования продаж средней руки компании: сбор продаж из SAP + мастер-данных в рукотворном Excel Tool, автоматизация в таких случаях ограничивается достаточно простым методом прогнозирования, который недалеко уходит от среднего/линейного тренда с rocket science в виде HoltWinters.

Так получилось, что по долгу службы я столкнулся с производителем бренда недорогой декоративной косметики (порядка 500 SKU) и увидел грустные последствия консервативного прогнозирования в виде низких KPI. Следовало внести небольшие изменения в систему планирования, в том числе в процесс прогнозирования и далее я расскажу о своих изысканиях.
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Views 3.3K
Comments 7

Интервальное прогнозирование временных рядов с помощью рекуррентных нейронных сетей с долгой краткосрочной памятью…

Python *Machine learning *
Translation
Продолжение цикла публикаций статей про прогнозирование временных рядов. На повестке – перевод статьи How to Develop Multi-Step LSTM Time Series Forecasting Models for Power Usage.
Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views 19K
Comments 0

Прогнозирование временных рядов с помощью AutoML

Open source *Python *Algorithms *Machine learning *Artificial Intelligence


Хабр, привет!


В лаборатории моделирования природных систем Национального центра когнитивных разработок Университета ИТМО мы активно исследуем вопросы применения автоматического машинного обучения для различных задач. В этой статье мы хотим рассказать о применении AutoML для эффективного прогнозирования временных рядов, а также о том, как это реализовано в рамках open-source фреймворка FEDOT. Это вторая статья из серии публикаций, посвященной данной разработке (с первой из них можно ознакомиться по ссылке).


Все подробности — под катом!

Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Views 12K
Comments 4

[Антикейс] Прогнозирование и планирование потребления электроэнергии с помощью machine learning (эксперимент)

Industrial Programming *Machine learning *Research and forecasts in IT *Systems engineering *
Sandbox

Большинство статей на Хабре на тему ML прогноза - про применяемые алгоритмы, подходы, инструментарий, но без фокуса на практическое решение задач.

Мы решили поделиться своим опытом и результатами применения машинного обучения для прикладной задачи крупных промышленных предприятий, которые последние 15-20 лет прогнозируют электропотребление «ручным» способом.

На Хабре есть близкая к этой теме публикация-перевод, но она как раз технически-обучающая и без результатов практического применения.

Энергоёмкие промышленные компании являются крупными потребителями электроэнергии и обязаны каждый день подавать заявки с информацией, сколько они планируют закупить электроэнергии в ближайшие сутки в разбивке по часам. Отклонения фактического потребления от прогнозной заявки и в большую, и в меньшую сторону оплачиваются по отдельной ставке. Чем точнее их прогноз, тем меньше оплата.

Очевидный прямой эффект от повышения точности почасового прогнозирования дал старт нашей исследовательской работе. Всё просто: повышаем точность прогноза на n% → заказчик получает меньший счёт от сбытовой компании или рынка → мы «в одну строчку» защищаем бюджет на такие системы.

Однако, на то это и эксперимент, чтобы получить реальный, а не теоретический ответ на вопросы: где можно повысить точность и сложно ли это сделать? 1-2-3% - это сколько в рублях?

Читать далее
Total votes 8: ↑8 and ↓0 +8
Views 4K
Comments 3

Новости из будущего: прогнозируем поведение пользователя

Ростелеком-Солар corporate blog Information Security *Algorithms *Mathematics *R *

Привет, Хабр! Сегодня речь пойдет о предсказывании будущего, поведении людей, математике и котиках.  

В повседневной жизни, общаясь с людьми, мы всегда смотрим на поведение собеседника. Поведение человека может много о нем сказать: о его воспитании, привычках, увлечениях, принципах и о личности в целом. Для нас, как для социальных существ, это очень важная информация, так как мы делаем выводы о человеке: можно ли ему доверять, на что обратить внимание, стоит ли с ним вообще иметь дело.  Для нас, как для работников сферы информационной безопасности, это очень важная информация, так как мы можем делать выводы: можно ли ему доверять, на что обратить внимание, стоит ли с ним вообще иметь дело.

Читать далее
Total votes 12: ↑12 and ↓0 +12
Views 1.7K
Comments 11

«Ваша сезонность, сэр!»: ищем тренд и прогнозируем спрос с помощью временных рядов, SARIMA и Python. Ч.1

Python *CRM systems *Big Data *1C *
Tutorial

Как вы можете помнить по первой статье "Маркетинговая аналитика на Python. Пишем код для RFM-сегментации", более 8 лет я работаю в сфере маркетинга для B2B и примерно столько же бешусь от дилетантского подхода к аналитике, который тянет за собой ряд проблем с определением ключевых метрик эффективности для компании (и, как следствие, с мотивацией сотрудников):

Читать далее
Total votes 8: ↑8 and ↓0 +8
Views 2.3K
Comments 5