Классификация методов и моделей прогнозирования

Я занимаюсь прогнозированием временных рядов уже более 5 лет. В прошлом году мною была защищена диссертация по теме «Модель прогнозирования временных рядов по выборке максимального подобия», однако вопросов после защиты осталось порядочно. Вот один из них — общая классификация методов и моделей прогнозирования.


Обычно в работах как отечественных, так и англоязычных авторы не задаются вопросом классификации методов и моделей прогнозирования, а просто их перечисляют. Но мне кажется, что на сегодняшний день данная область так разрослась и расширилась, что пусть самая общая, но классификация необходима. Ниже представлен мой собственный вариант общей классификации.


В чем разница между методом и моделью прогнозирования?


Метод прогнозирования представляет собой последовательность действий, которые нужно совершить для получения модели прогнозирования. По аналогии с кулинарией метод есть последовательность действий, согласно которой готовится блюдо — то есть сделается прогноз.


Модель прогнозирования есть функциональное представление, адекватно описывающее исследуемый процесс и являющееся основой для получения его будущих значений. В той же кулинарной аналогии модель есть список ингредиентов и их соотношение, необходимый для нашего блюда — прогноза.


Совокупность метода и модели образуют полный рецепт!



В настоящее время принято использовать английские аббревиатуры названий как моделей, так и методов. Например, существует знаменитая модель прогнозирования авторегрессия проинтегрированного скользящего среднего с учетом внешнего фактора (auto regression integrated moving average extended, ARIMAX). Эту модель и соответствующий ей метод обычно называют ARIMAX, а иногда моделью (методом) Бокса-Дженкинса по имени авторов.


Сначала классифицируем методы


Если посмотреть внимательно, то быстро выясняется, что понятие «метод прогнозирования» гораздо шире понятия «модель прогнозирования». В связи с этим на первом этапе классификации обычно делят методы на две группы: интуитивные и формализованные [1].


Классификация методов прогнозирования


Если мы вспомним нашу кулинарную аналогию, то и там можно разделить все рецепты на формализованные, то есть записанные по количеству ингредиентов и способу приготовления, и интуитивные, то есть нигде не записанные и получаемые из опыта кулинара. Когда мы не пользуемся рецептом? Когда блюдо очень просто: пожарить картошку или сварить пельмени — тут рецепт не нужен. Когда еще мы не пользуемся рецептом? Когда желаем изобрести что-то новенькое!


Интуитивные методы прогнозирования имеют дело с суждениями и оценками экспертов. На сегодняшний день они часто применяются в маркетинге, экономике, политике, так как система, поведение которой необходимо спрогнозировать, или очень сложна и не поддается математическому описанию, или очень проста и в таком описании не нуждается. Подробности о такого рода методах можно глянуть в [2].


Формализованные методы — описанные в литературе методы прогнозирования, в результате которых строят модели прогнозирования, то есть определяют такую математическую зависимость, которая позволяет вычислить будущее значение процесса, то есть сделать прогноз.


На этом общая классификация методов прогнозирования на мой взгляд может быть закончена.


Далее сделаем общую классификация моделей


Здесь необходимо переходить к классификации моделей прогнозирования. На первом этапе модели следует разделить на две группы: модели предметной области и модели временных рядов.


Классификация моделей прогнозирования


Модели предметной области — такие математические модели прогнозирования, для построения которых используют законы предметной области. Например, модель, на которой делают прогноз погоды, содержит уравнения динамики жидкостей и термодинамики. Прогноз развития популяции делается на модели, построенной на дифференциальном уравнении. Прогноз уровня сахара крови человека, больного диабетом, делается на основании системы дифференциальных уравнений. Словом, в таких моделях используются зависимости, свойственные конкретной предметной области. Такого рода моделям свойственен индивидуальный подход в разработке.


Модели временных рядов — математические модели прогнозирования, которые стремятся найти зависимость будущего значения от прошлого внутри самого процесса и на этой зависимости вычислить прогноз. Эти модели универсальны для различных предметных областей, то есть их общий вид не меняется в зависимости от природы временного ряда. Мы можем использовать нейронные сети для прогнозирования температуры воздуха, а после аналогичную модель на нейронных сетях применить для прогноза биржевых индексов. Это обобщенные модели, как кипяток, в которые если бросить продукт, то он сварится вне зависимости от его природы.


Классифицируем модели временных рядов


Мне кажется, что составить общую классификацию моделей предметной области не представляется возможным: сколько областей, столько и моделей! Однако модели временных рядов легко поддаются простому делению [3]. Модели временных рядов можно разделить на две группы: статистические и структурные.


Классификация моделей временных рядов


В статистических моделях зависимость будущего значения от прошлого задается в виде некоторого уравнения. К ним относятся:

  1. регрессионные модели (линейная регрессия, нелинейная регрессия);
  2. авторегрессионные модели (ARIMAX, GARCH, ARDLM);
  3. модель экспоненциального сглаживания;
  4. модель по выборке максимального подобия;
  5. и т.д.


В структурных моделях зависимость будущего значения от прошлого задается в виде некоторой структуры и правил перехода по ней. К ним относятся:

  1. нейросетевые модели;
  2. модели на базе цепей Маркова;
  3. модели на базе классификационно-регрессионных деревьев;
  4. и т.д.


Для обоих групп я указала основные, то есть наиболее распространенные и подробно описанные модели прогнозирования. Однако на сегодняшний день моделей прогнозирования временных рядов имеется уже громадное количество и для построения прогнозов, например, стали использовать SVM (support vector machine) модели, GA (genetic algorithm) модели и многие другие.


Общая классификация


Таким образом мы получили следующую классификацию моделей и методов прогнозирования.


Общая классификация моделей и методов прогнозирования


Ссылки.

  1. Тихонов Э.Е. Прогнозирование в условиях рынка. Невинномысск, 2006. 221 с.
  2. Armstrong J.S. Forecasting for Marketing // Quantitative Methods in Marketing. London: International Thompson Business Press, 1999. P. 92 – 119.
  3. Jingfei Yang M. Sc. Power System Short-term Load Forecasting: Thesis for Ph.d degree. Germany, Darmstadt, Elektrotechnik und Informationstechnik der Technischen Universitat, 2006. 139 p.


UPD. 15.11.2016.
Господа, дошло до маразма! Недавно мне прислали на рецензию статью для ВАКовского издания со ссылкой на эту запись. Обращаю внимание, что ни в дипломах, ни в статьях, ни тем более в диссертациях ссылаться на блог нельзя! Если хотите ссылку, то используйте эту: Чучуева И.А. МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ ПО ВЫБОРКЕ МАКСИМАЛЬНОГО ПОДОБИЯ, диссертация… канд. тех. наук / Московский государственный технический университет им. Н.Э. Баумана. Москва, 2012.

Share post

Comments 13

    0
    Есть несколько вопросов:
    1. В какой предметной области используете прогноз
    2. Делали ли сравнительный анализ методов прогноза
    3. Использовали ли вы метод SSA в работе?
    4. Сравнивали ли использование генетических алгоритмов и классические методы? Если использовали, как строили фитнесс функцию?
    5. Какие лучше методы и модели прогноза использовать в экономическом анализе?
      +2
      1. В какой предметной области используете прогноз

      Я занимаюсь прогнозированием на оптовом рынке электроэнергии и мощности — это наша основная область деятельности. Однако в рамках диссертации делала исследования и других предметных областей: медицина, пробки на яндексе, продажи.

      2. Делали ли сравнительный анализ методов прогноза

      Нет, такого не делала. А как его делать? Мне кажется, что использование методов во многом зависит от пристрастий человека. В руках исследователя математика — инструмент, качество его пользования во многом зависит от умения человека. На точность прогноза влияет много факторов: качественные характеристики временного ряда, модели прогнозирования, квалификация эксперта, доступность программно-аппаратных средств. Я уже подробно разбирала этот вопрос "Что влияет на точность прогнозирования временного ряда?"

      3. Использовали ли вы метод SSA в работе?

      А что такое SSA? Как это расшифровывается?

      4. Сравнивали ли использование генетических алгоритмов и классические методы? Если использовали, как строили фитнесс функцию?

      Нет, сравнение с «иезуитскими методами» (это я так называю применение SVM, GA, etc для прогнозирования) я не делала, ни в одной статье не видела, чтобы кто-нибудь эти занимался на приличном уровне. Вы встречали какие-то работы в этой области?

      5. Какие лучше методы и модели прогноза использовать в экономическом анализе?

      Для анализа в экономике ничего посоветовать не могу, им не занимаюсь. А для прогноза посоветовать можно только после того, как мало мальски понятна постановка задачи и исходные данные. Есть много наработок в этой области, кое-что я внимательно читала, кое-что даже пробовала (прогнозирование продаж), однако нужно более подробно вникать в суть дела, чтобы дать приличную рекомендацию.
      0
      На сколько мне известно, модель Бокса и Дженкинса называлась ARIMA (без X).
        +1
        Да! Вы правы, в их работе от 1969 года она именно ARIMA. Но после уже другие исследователи ее усовершенствовали (расширили) и это название прижилось. В литературе чаще всего пишут про ARIMAX, но основателями считают именно Бокса и Дженкинса.
          0
          >Вы правы, в их работе от 1969 года она именно ARIMA.

          работа 1968 год. Я диплом, завязанный на ARIMA защищал, засело в голове.
            0
            Хотя сейчас уже начинаю сомневаться. Может 1976?
              +1
              Box, George and Jenkins, Gwilym (1970) Time series analysis: Forecasting and control, San Francisco: Holden-Day. — не угадал никто:-) 1970!
        0
        Скажите, а Вы используете какие-либо инструменты для быстрой проверки какой из методов прогнозирования подходит для определенных входных данных временных рядов? Имеется ввиду некое программное обеспечение в которое подгружается временной ряд, выбирается модель прогнозирования и коэффициенты для данной модели, в результате получается некий график со значениями и прогнозом, позволяющий оценить адекватность прогноза.
        Я написал систему мониторинга VoIP трафика с использованием метода Хольта-Винтерса. Если Вам интересно, вот так выглядят графики прогнозов. В принципе, метод работает замечательно для данной задачи и для задачи мониторинга IP трафика. Так же в моем программном обеспечении реализован инструмент, позволяющий варьировать коэффициенты, влияющие на прогноз и смотреть, что из этого получается, однако инструмент используется достаточно редко в виду адекватности прогнозов с использованием значений по умолчанию.
        Просто хотелось бы сравнить адекватность прогнозов метода Хольта-Винтерса с другими методами, не заморачиваясь на написание соответствующего инструмента…
          0
          Скажите, а Вы используете какие-либо инструменты для быстрой проверки какой из методов прогнозирования подходит для определенных входных данных временных рядов?


          У нас в системе реализовано несколько ядер (нейронные сети, модель по выборке максимального подобия, экспоненциальной сглаживание, ARIMAX), то есть получив новый ряд, мы делаем для него все модели, а после формируем консенсус-прогноз (то есть прогноз, составленный из нескольких независимых) — это позволяет повысить точность прогнозирования. НО все наши алгоритмы заточены на прогноз цен на электроэнергию и объемов энергопотребления на рынке электроэнергии. Боюсь, что сходу совладать с IP траффиком нам будет весьма сложно — это просто не наш профиль.Я посмотрела на ваши графики, картинка выглядит очень адекватной.

          А с какой целью вы бы хотели сделать такого рода сравнение? Просто ради интереса или есть необходимость повысить точность прогнозирования?
          0
          А с какой целью вы бы хотели сделать такого рода сравнение? Просто ради интереса или есть необходимость повысить точность прогнозирования?

          На текущий момент — просто ради интереса.
          Повышение точности прогноза в рамках фунционирования системы мониторинга вопрос не принципиальный, интересует не точность прогноза а корректность выявления сбоев, хотя это и взаимосвязанные вещи.
          Изначально не было уверенности, что адекватный мониторинг прогнозированием в принципе возможен. Однако результат превзошел ожидания. И тем не менее, возможно другие методы дадут лучшие результаты. Я не статистик и слабый математик, для меня слишком сложно разобраться в теории и применять математику для того, чтобы понять какой из методов лучше. Гораздо проще написать или использовать готовое ПО и проанализировать эфективность метода на реальных данных.
          Пока я не собираюсь этого делать, но, возможно через год у меня появится свободное время для проведения дополнительных исследований какой из методов более эфективен для VoIP и IP трафика.
            0
            Задача у вас интересная, если руки дойдут и удастся сделать сравнение, то напишите об этом! У меня будет, тоже как руки дойдут, материал об аналогичном сравнении, но для рядов из электроэнергетики.
            0
            Надеюсь Вы будете продолжать писать статьи на эту тему?
              0
              Да, я планирую теперь целый цикл кратких материалов по основной терминологии в области прогнозирования временных рядов.

              Дело в том, что я пишу англоязычный вариант брошюры о прогнозировании на основании своей диссертации, так как часто встречаю неприятные расхождения в терминологии на эту тему. Вот тут я буду публиковать кусочки этой работы на русском, дабы получить обратную связь :-)

              Only users with full accounts can post comments. Log in, please.