Почему с нормальным распределением не все нормально

image

Нормальное распределение (распределение Гаусса) всегда играло центральную роль в теории вероятностей, так как возникает очень часто как результат воздействия множества факторов, вклад любого одного из которых ничтожен. Центральная предельная теорема (ЦПТ), находит применение фактически во всех прикладных науках, делая аппарат статистики универсальным. Однако, весьма часты случаи, когда ее применение невозможно, а исследователи пытаются всячески организовать подгонку результатов под гауссиану. Вот про альтернативный подход в случае влияния на распределение множества факторов я сейчас и расскажу.

Краткая история ЦПТ. Еще при живом Ньютоне Абрахам де Муавр доказал теорему о сходимости центрированного и нормированного числа наблюдений события в серии независимых испытаний к нормальному распределению. Весь 19 и начало 20 веков эта теорема послужила ученым образцом для обобщений. Лаплас доказал случай равномерного распределения, Пуассон – локальную теорему для случая с разными вероятностями. Пуанкаре, Лежандр и Гаусс разработали богатую теорию ошибок наблюдений и метод наименьших квадратов, опираясь на сходимость ошибок к нормальному распределению. Чебышев доказал еще более сильную теорему для суммы случайных величин, походу разработав метод моментов. Ляпунов в 1900 году, опираясь на Чебышева и Маркова, доказал ЦПТ в нынешнем виде, но только при существовании моментов третьего порядка. И только в 1934 году Феллер поставил точку, показав, что существование моментов второго порядка, является и необходимым и достаточным условием.

ЦПТ можно сформулировать так: если случайные величины независимы, одинаково распределены и имеют конечную дисперсию отличную от нуля, то суммы (центрированные и нормированные) этих величин сходятся к нормальному закону. Именно в таком виде эту теорему и преподают в вузах и ее так часто используют наблюдатели и исследователи, которые не профессиональны в математике. Что в ней не так? В самом деле, теорема отлично применяется в областях, над которыми работали Гаусс, Пуанкаре, Чебышев и прочие гении 19 века, а именно: теория ошибок наблюдений, статистическая физика, МНК, демографические исследования и может что-то еще. Но ученые, которым не достает оригинальности для открытий, занимаются обобщениями и хотят применить эту теорему ко всему, или просто притащить за уши нормальное распределение, где его просто быть не может. Хотите примеры, они есть у меня.

Коэффициент интеллекта IQ. Изначально подразумевает, что интеллект людей распределен нормально. Проводят тест, который заранее составлен таким образом, при котором не учитываются незаурядные способности, а учитываются по-отдельности с одинаковыми долевыми факторами: логическое мышление, мысленное проектирование, вычислительные способности, абстрактное мышление и что-то еще. Способность решать задачи, недоступные большинству, или прохождение теста за сверхбыстрое время никак не учитывается, а прохождение теста ранее, увеличивает результат (но не интеллект) в дальнейшем. А потом филистеры и полагают, что «никто в два раза умнее их быть не может», «давайте у умников отнимем и поделим».

Второй пример: изменения финансовых показателей. Исследования изменения курса акций, котировок валют, товарных опционов требует применения аппарата математической статистики, а особенно тут важно не ошибиться с видом распределения. Показательный пример: в 1997 году нобелевская премия по экономике была выплачена за предложение модели Блэка — Шоулза, основанной на предположении нормальности распределения прироста фондовых показателей (так называемый белый шум). При этом авторы явно заявили, что данная модель нуждается в уточнении, но всё, на что решилось большинство дальнейших исследователей – просто добавить к нормальному распределению распределение Пуассона. Здесь, очевидно, будут неточности при исследовании длинных временных рядов, так как распределение Пуассона слишком хорошо удовлетворяет ЦПТ, и уже при 20 слагаемых неотличимо от нормального распределения. Гляньте на картинку снизу (а она из очень серьезного экономического журнала), на ней видно, что, несмотря на достаточно большое количество наблюдений и очевидные перекосы, делается предположение о нормальности распределения.

Здесь очевидно не соответствие нормальному закону

Весьма очевидно, что нормальными не будет распределения заработной платы среди населения города, размеров файлов на диске, населения городов и стран.

Общее у распределений из этих примеров – наличие так называемого «тяжелого хвоста», то есть значений, далеко лежащих от среднего, и заметной асимметрии, как правило, правой. Рассмотрим, какими еще, кроме нормального могли бы быть такие распределения. Начнем с упоминаемого ранее Пуассона: у него есть хвост, но мы же хотим, чтобы закон повторялся для совокупности групп, в каждой из которых он наблюдается (считать размер файлов по предприятию, зарплату по нескольким городам) или масштабировался (произвольно увеличивать или уменьшать интервал модели Блэка — Шоулза), как показывают наблюдения, хвосты и асимметрия не исчезают, а вот распределение Пуассона, по ЦПТ, должно стать нормальным. По этим же соображениям не подойдут распределения Эрланга, бета, логонормальное, и все другие, имеющие дисперсию. Осталось только отсечь распределение Парето, а вот оно не подходит в связи с совпадением моды с минимальным значением, что почти не встречается при анализе выборочных данных.

Распределения, обладающее необходимыми свойствами, существуют и носят название устойчивых распределений. Их история также весьма интересна, а основная теорема была доказана через год после работы Феллера, в 1935 году, совместными усилиями французского математика Поля Леви и советского математика А.Я. Хинчина. ЦПТ была обобщена, из нее было убрано условие существования дисперсии. В отличие от нормального, ни плотность ни функция распределения у устойчивых случайных величин не выражаются (за редким исключением, о котором ниже), все что о них известно, это характеристическая функция (обратное преобразование Фурье плотности распределения, но для понимания сути это можно и не знать).
Итак, теорема: если случайные величины независимы, одинаково распределены, то суммы этих величин сходятся к устойчивому закону.

Теперь определение. Случайная величина X будет устойчивой тогда и только тогда, когда логарифм ее характеристической функции представим в виде:

Stable law formula



где params.

В самом деле, ничего сильно сложного здесь нет, просто надо объяснить смысл четырех параметров. Параметры сигма и мю – обычные масштаб и смещение, как и в нормальном распределении, мю будет равно математическому ожиданию, если оно есть, а оно есть, когда альфа больше одного. Параметр бета – асимметрия, при его равенстве нулю, распределение симметрично. А вот альфа это характеристический параметр, обозначает какого порядка моменты у величины существуют, чем он ближе к двум, тем больше распределение похоже на нормальное, при равенстве двум распределение становиться нормальным, и только в этом случае у него существуют моменты больших порядков, также в случае нормального распределения, асимметрия вырождается. В случае, когда альфа равна единице, а бета нулю, получается распределение Коши, а в случае, когда альфа равна половине, а бета единице – распределение Леви, в других случаях не существует представления в квадратурах для плотности распределения таких величин.
В 20 веке была разработана богатая теория устойчивых величин и процессов (получивших название процессов Леви), показана их связь с дробными интегралами, введены различные способы параметризации и моделирования, несколькими способами были оценены параметры и показана состоятельность и устойчивость оценок. Посмотрите на картинку, на ней смоделированная траектория процесса Леви с увеличенным в 15 раз фрагментом.



Именно занимаясь такими процессами и их приложением в финансах, Бенуа Мандельброт придумал фракталы. Однако не везде было так хорошо. Вторая половина 20 века прошла под повальным трендом прикладных и кибернетических наук, а это означало кризис чистой математики, все хотели производить, но не хотели думать, гуманитарии со своей публицистикой оккупировали математические сферы. Пример: книга «Пятьдесят занимательных вероятностных задач с решениями» американца Мостеллера, задача №11:



Авторское решение этой задачи, это просто поражение здравого смысла:


Такая же ситуация и с 25 задачей, где даются ТРИ противоречащих ответа.

Но вернемся к устойчивым распределениям. В оставшейся части статьи я попытаюсь показать, что не должно возникать дополнительных сложностей при работе с ними. А именно, существуют численные и статистические методы, позволяющие оценивать параметры, вычислять функцию распределения и моделировать оные, то есть работать так же, как и с любым другим распределением.

Моделирование устойчивых случайных величин. Так как все познается в сравнении, то напомню сначала наиболее удобный, с точки зрения вычислений, метод генерирования нормальной величины (метод Бокса – Мюллера): если image – базовые случайные величины (равномерно распределены на [0, 1) и независимы), то по соотношению
formula
получится стандартная нормальная величина.

Теперь зададим заранее альфу и бету, пусть V и W, независимые случайные величины: V равномерно распределена на image, W экспоненциально распределена с параметром 1, определим image и image, тогда по соотношению:

получим устойчивую случайную величину, для которой мю равна нулю, а сигма единице. Это так называемая стандартная устойчивая величина, которую для общего случая (при альфа не равном единице), просто достаточно помножить на масштаб и прибавить смещение. Да, соотношение сложнее, но оно все равно достаточно простое, чтобы его использовать даже в электронных таблицах (Ссылка). На рисунках снизу показаны траектории моделирования модели Блэка — Шоулза сперва для нормального, а затем для устойчивого процесса.






Можете поверить, график изменения цен на биржах больше похож на второй.

Оценка параметров устойчивого распределения. Так как вставлять формулы на хабре достаточно сложно, я просто оставлю ссылку на статью, где подробно разбираются всевозможные методы для оценки параметров, или на мою статью на русском языке, где приводятся только два метода. Также можно найти замечательную книгу, в которой собрана вся теория по устойчивым случайным величинам и их приложениям (Zolotarev V., Uchaikin V. Stable Distributions and their Applications. VSP. M.: 1999.), или ее чисто научный русский вариант (Золотарев В.М. Устойчивые одномерные распределения. – М.: Наука, Главная редакция физико-математической литературы, 1983. – 304 с.). В этих книгах также присутствуют методы для вычисления плотности и функции распределения.

В качестве заключения могу лишь порекомендовать, при анализе статистических данных, когда наблюдается асимметрия или значения, сильно превосходящие ожидаемые, спрашивать самих себя: «правильно ли выбран закон распределения?» и «а все ли с нормальным распределением нормально?».
Поделиться публикацией

Похожие публикации

Комментарии 31
    +9
    я не скажу за всю Одессу но на фин рынках нет нормлаьного распределения
    как минимум это логнормальное распределение а как максимум вобще другая форма распределения
      0
      и еще про нормальное распределение и погоду
      vk.com/video-29238599_164506818
      там в середине говорится что если есть ккоето значение погоды( цен на рынке) удовлетворяющее нормальному распределению то скорее всего в прогнозируемый период именно этого значения не будет.
      И еще доказывается что значения выходящие за рамки трех сигм не так уж и редки а скорее наоборот. что по определению опровергает нормальность распределения
        +1
        На эту тему Талеб неплохо написал в «Чёрном Лебеде» и «Одураченных случайностью».
          0
          талеб написал белеберду… нет никаких черных лебедей… все это просчтывается на раз два…
          в кратце если количество быков больше 95 то — значит рынок готов к мощному движению…
            +1
            Конечно же, всё просчитывается… только что ж тогда ведущие экономисты мира не смогли просчитать, что случится кризис по CDS, на вполне себе бычьем рынке (Вспомним, что все банки ссали кипятком от них, и считали, что это однин из самых надёжных инструментов)?
            В общем, извините, но чушь спороли. Просчитать такие вещи не возможно. То, что рынок растёт сегодня из-за того, что 99% игроков настроены оптимистично и пр., не означает, что завтра он будет также расти. История знает кучу примеров.
              0
              если 99% настроены оптимистично — на 146% означает что завтра рынок не будет расти… История дейстивительно знает этому кучу примеров…
              Про СиДэС все нужные люди — все знали… если об этом не трубили по телевизоры — значит правильные пацаны просто выводили свое бабло из этого Г до последнего покупателя… и вот когда уже некому было впраивать это Г… тогда и начали топить рынок А самые хитрые еще и зашортили его
            • НЛО прилетело и опубликовало эту надпись здесь
        +1
        Как будто побывал на паре тервера) Спасибо автору, плюсую.
          +4
          Авторское решение этой задачи, это просто поражение здравого смысла:

          Почему? Мне кажется вполне логичным, что загадывается 1. Я и сам раздумывал между 1 и 3, хотя мне вторая цифра кажется особенностью нашей культуры.
            +1
            Один это правильный ответ. Но просто есть строгое решение: натуральное число до бесконечности загадать нельзя, надо выбрать максимальное загадываемое значение, и понять, что при загадывании от 1 до N вероятность совпадения максимальна при N == 1.
              +1
              Думаю, что задача не соответствует названию книжки: «Пятьдесят занимательных вероятностных задач с решениями». И сама задача и приведенное решение лежит в области психологии. Любимые, счастливые и несчастливые числа, предпочтительные цвета — это все оттуда.
            • НЛО прилетело и опубликовало эту надпись здесь
                0
                Вот ссылка на статью 5-летней давности, там описано. Особенно стоить обратить внимание на связь альфы и дробления интервала. Учебник, где это весьма хорошо расписано есть только на польском (Janicki A., Izydorczyk A. Komputerowe metody w modelowaniu stochastycznym. Warszawa. Wydawnictwa Naukowe-Tehniczne. 2001)
                +1
                Так и хочется спросить про статистику с выборов. Какое там распределение?
                  +5
                  Я сперва хотел вот эту картинку в заголовок поставить, но здесь политике не место

                  image

                  А если серьезно, то аппарат статистики позволяет с высокой вероятностью выявить подтасовки на выборах, а распределение там в основном нормальное.
                    +2
                    > а распределение там в основном нормальное.
                    Нету там нормального распределения, нету. Человеческое общество состоит из отдельных ярко выраженных групп (м/ж, школьник/студент/взрослый/пенсионер и т.д.)
                    Внутри той или иной группы ещё можно попробовать подогнать под нормальное распределение, но для общества в целом — ни в коем случае.

                    Это общая беда многих рассуждений, что любую случайную/массовую величину пытаются представить нормальной.
                      0
                      Собственно об этом вся статья и есть. Но здесь чуток наоборот, внутри группы (домохозяйки из городов с населением от 100к до 500к, например), может оказаться распределение Парето, а по всем группам, в большинстве случаев нормальное.
                  +3
                  Нормальная же задача 11. Правда, к теории вероятности это отношения не имеет, но тем не менее. Понятно что ответ 1, так как это вообще единственное натуральное число, которое имеет какую-то явную «особенность», а именно — меньше чисел нет. Очевидный выбор.
                  0
                  Отклонение результата эксперимента от теории — это шум, а шум — это ничто иное как совокупность неучтенных факторов. Я это к тому, что я все же смог притянуть свою дипломную работу к нормальному распределению, правда пришлось существенно усложнить модель и убить много времени на оценки в духе «какой из факторов дает больший вклад?».
                    0
                    спасибо за статью!
                      +1
                      Для тех кто хочет более досконально познакомиться с темой, особенно в контрасте с BSM-процессом, рекомендую вот эту книгу:

                      image
                        +1
                        За такие статьи на хабре надо давать премию!
                          +2
                          Статья жутко интересная, но чтобы ее осилить нужно быть практикующим математиком, видимо. Слишком многое упоминается вскользь, не хватает доступного изложения многих моментов.

                          интервал модели Блэка — Шоулза, характеристические функции, распределение Коши, Леви…
                          Я вроде знаком с основами тервера, но тут почуствовал себя как на паре в универе: куча непонятных терминов, скачки от темы к теме и самоуверенность препода в духе «легко видеть, что».
                            +2
                            Спасибо за отзыв. Да, если бы я все объяснял, то получилось бы уж слишком длинно. Это просто сжатый материал по мотивам моей учебы в аспирантуре за 4 года. Следующую статью сделаю более узкой с интересными примерами.
                              +1
                              Даёшь больше статей по Терверу!!!
                              +1
                              На самом деле, если всё разжовывать, то нужно пересказать учебник. Согласитесь — это весьма проблематично. А для практикующих статья имеет громадный смысл. И потом, если вы займётесь проблемой вплотную, то быстро въедете в суть.
                              0
                              А чему равняется E в моделировании устойчивой величины?
                                +1
                                Спасибо за замечание, была ошибка, подправил формулу в статье. Вот отрывок из статьи, откуда бралась формула:
                                Половина страницы


                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                              Самое читаемое