Закон больших чисел и то, чем он не является

    О законе больших чисел (збч) написано много (например, на английском, тут и тут, также [1]). В этом тексте я попробую рассказать о том, чем закон больших чисел не является – об ошибочном восприятии этого закона и потенциальных ловушках, спрятанных в математических формулировках.

    Начнем с того, что же такое закон больших чисел. Неформально, это математическая теорема о том, что «вероятность отклонений среднего по выборке от математческого ожидания мала» и что «эта вероятность стремится к нулю при увеличении выборки». Совсем неформально, теорема утверждает, что с мы можем быть в достаточной степени уверены, что среднее по нашей выборке достаточно близко к «настоящему» среднему и таким образом хорошо его описывает. Разумеется, предполагается наличие традиционного статистического «багажа» — наши наблюдения из выборки должны описывать одно и то же явление, они должны быть независимы, и мысль о том, что есть некоторое «настоящее» распределение с «настоящим» средним, не должна вызывать у нас существенных сомнений.

    При формулировке закона мы говорим «среднее по выборке», и все что может быть математически записано как такое среднее, попадает под действие закона. Например, доля событий в общей массе может быть записана как среднее, — нам достаточно записать наличие события как «1» и отсутствие как «0». В итоге среднее будет равно частоте и частота должна быть близка к теоретическому среднему. Именно поэтому по ожидаем, что доля «орлов» при подбрасывании идеальной монеты будет близка к ½.

    Рассмотрим теперь ловушки и ошибочные представления об этом законе.

    Во-первых, ЗБЧ не всегда верен. Это всего лишь математическая теорема с «входными данными» — предположениями. Если предположения неверны, то и закон не обязан выполняться. Например, это так если наблюдения зависимы, или если нет уверенности в том, что «настоящее» среднее существует и конечно, или если изучаемое явление меняется во времени и мы не можем утверждать, что мы наблюдаем одну и ту же величину. По правде говоря, в определенной степени ЗБЧ верен и в этих случаях, например, для слабокоррелированных наблюдений или даже в том случае когда наблюдаемая величина меняется во времени. Однако, для корректного приложения этого к непосредственной реальности нужен хорошо тренированный специалист-математик.

    Во-вторых, кажется верным, что ЗБЧ утверждает «среднее по выборке близко к настоящему среднему». Однако, такое утверждаение остается не полным: надо обязательно добавлять «с высокой долей вероятности; и эта вероятность всегда меньше 100%».

    В-третьих, хочется сформулировать ЗБЧ как «среднее по выборке сходится к настоящему среднему при неограниченном росте выборки». Однако, это неверно, потому что среднее по выборке вообще никуда не сходится, так как оно случайное и остается таковым для любого размера выборки. Например, даже если подбросить симметричную монету миллион раз, все равное есть шанс, что доля орлов будет далека от ½ или даже равна нулю. В определенном смысле, всегда есть шанс получить что-то необычное. Надо признать, однако, что наша интуиция все-таки подсказыает нам что ЗБЧ должен описывать какую-то сходимость, и так есть на самом деле. Только «сходится» не среднее, а «вероятность отклонения выборочного среднего от его истинного значения», и сходится к нулю. Так как эта идея интуитивно очень удобна («шансы увидеть что-то необычное стремятся к нулю»), матетматики придумали для этого особый тип сходимости – «сходимость по вероятности».

    В-четвертых, ЗБЧ не говорит ничего о том, когда выборочное среднее можно считать достаточно близким к теоретическому. Закон больших чисел только постулирует существование определенного явления, он ничего не говорит о том, когда его можно использовать. Получается, на ключевой вопрос с точки зрения практики — «могу ли я использовать ЗБЧ для моей выборки размера n?», закон больших чисел не отвечает. Ответы на эти вопросы дают другие теоремы, например, Центральная Предельная Теорема. Она дает представление о том, в каких пределах выборочное среднее может отклоняться от своего истинного значения.

    В заключение следует отметить центральную роль ЗБЧ в статистике и теории вероятностей. История этого закона началась тогда, когда ученые заметили, что частоты некоторых повторяющихся явлений стабилизируются и перестают существенно меняться, при условии многократного повторения опыта или наблюдения. Поразительным было то, что эта «стабилизация частот» наблюдалась для совершенно несвязаных явления – от бросания игральной кости до урожайности в сельском хозяйстве, указывая на возможное существование «закона природы». Интересно, что этот закон природы оказался частью математики, а не физики, химии или биологии, как обычно бывает с законами природы.

    [1] Illustrating the Law of Large Numbers (and Confidence Intervals) Jeffrey D Blume & Richard M Royall

    Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

    Что Вы думаете про эту статью?

    • 36,0%Интересно, понятно и релевантно для меня18
    • 10,0%Интересно, понятно, но не релевантно для меня5
    • 10,0%Интересно и релевантно, но не понятно5
    • 4,0%Интересно, но не релевантно и не понятно2
    • 4,0%Релевантно, но неинтересно и непонятно2
    • 16,0%Нерелевантно, неинтересно, непонятно8
    • 14,0%Понятно, неинтересно, релевантно7
    • 6,0%Понятно, неинтересно, нерелевантно3

    Похожие публикации

    Средняя зарплата в IT

    111 111 ₽/мес.
    Средняя зарплата по всем IT-специализациям на основании 6 720 анкет, за 2-ое пол. 2020 года Узнать свою зарплату
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 13

      +4

      Мне кажется, без конкретных практических примеров ("тут работает, тут не работает", и почему) текст выглядит не очень полезным. Возможно, имело смысл разобрать в качестве примеров часто встречающиеся заблуждения (начиная от классического "если 5 раз выпала решка, то дальше-то точно попрут орлы, ибо должно сойтись к среднему").

        0
        Если 5 раз подряд выпала решка, то вероятность того, что у нас монета с двумя решками, больше 0,5 :)

        Но это уже бета-распределение…
          0
          Привет, спасибо за фидбэк! Действительно, я сократил текст до минимума — без примеров или формул, сухо, но, я надеялся, по существу. Судя по опросу, большинству текст не понравился по тем или иным причинам. У меня на подходе аналогичная статья про центральную предельную теорему, сделаю его более развернутым.
            +2

            Давайте я попробую сформулировать, что в тексте мне не понравилось. Он содержит мало информации, описывает тривиальные и очевидные вещи. Ну т.е. на таком уровне все все знают, нужно глубже и с примерами. В теории вероятностей очень много тонкостей, есть что обсудить.

              0
              Интересно, я как раз опасался, что будет слишком сложно. Глубже можно без проблем :)
          –1
          Эти возможные законы природы хорошо описывает Талеб в книге «Черный лебедь». Там правда говорится о распределении Гаусса-Лапласа, но суть не меняется. Взять ту-же урожайность, приведенную в пример в конце статьи. Один элемент выборки(неурожай) может превосходить всю выборку, и в таком случае ни нормальное распределение, ни тем более закон больших чисел работать не будет. Т.е. на выходе у вас есть цифра, но она ничего не предсказывает. Работает в математике, но не в реальной жизни.
            0

            Это не Симпсон ли случайно?
            Про разбиение выборки и вляние факторов.

              0
              А все потому что «черные лебеди» это не гауссовское распределение. Это, скорее, Пуассона, которое, как и гауссовское, является одной из предельных форм распределения Бернулли (но при других пределах).

              Поэтому, знание сходимости нам мало что дает. Это как при игре в русскую рулетку — нельзя играть в нее бесконечно — только до первого проигрыша. Поэтому, закон больших чисел здесь неприменим.
                0
                hodus это очень интересная тема о границах применимости статистики и теории вероятностей. Например, мы строим модель процесса, скажем, нормальную модель, на основании данных. Это может быть бизнес-процесс (пользователи что-то покупают), может быть природный процесс (та же урожайность). Действительно, с точки зрения описания или прогнозирования, все хорошо до тех пор, пока не происходит совершенно непредсказуемое явление. Окей, наша модель этого не предусмотрела, но может процесс изменился? То есть модель верна для старого процесса, а тут произошло его изменение. Как продвинутая курица Юма, которая знает, что ее кормят, скажем, в среднем каждые 6 часов с дисперсией 10 минут. В какой-то момент, скорее непредсказуемый для курицы, придут откручивать ей голову, но разве она могла эта предсказать? Ее модель была и остается верна, но уже не для нее. Можно пытаться строить композитные модели, с тяжелыми хвостами, с несколькими режимами и вероятностями переключений между режимами. Это интересно!
                0
                В-третьих, хочется сформулировать ЗБЧ как «среднее по выборке сходится к настоящему среднему при неограниченном росте выборки». Однако, это неверно, потому что среднее по выборке вообще никуда не сходится, так как оно случайное и остается таковым для любого размера выборки.

                Как странно. А я всегда считал, что усиленный ЗБЧ именно о вероятности сходимости среднего выборки к среднему популяции. Или Колмогоров был неправ?

                  +1
                  Очень хороший вопрос. 

                  Если точно, то усиленный закон больших чисел утверждает, что сходимости нет на множестве меры нуль, то есть все-таки нельзя утверждать, что есть сходимость для всех последовательностей. У этой «сходимости почти всюду» нет хорошей или внятной физической интерпретации, которую можно применить ко всем случаям жизни, по крайней мере мне такая не известна. Для слабого ЗБЧ такая интерпретация есть.

                  Есть, разумеется, случаи, когда «сходимость почти всюду» можно примерно понять. Рассмотрим, например, неограниченное подбрасывании симметричной монеты. Множество бесконечных последовательностей нулей и единиц имеет мощность континуум, так что в соответствии с усиленным ЗБЧ сходимости нет на множестве меры нуль, при условии что множество меры 1 это отрезок [0,1]. Например, ясно, что сходимости нет для любых последовательностей, состоящих из конечного числа нулей, и что таких последовательностей счетное число (то же верно и для единиц). Сходимости также нет для «неслучайных» последовательностей типа 001001001..., и что каким-то схожим образом построенных последовательностей тоже счетное число. Исчерпаем ли мы таким перебором все последовательности, для которых нет сходимости? Наверное нет. Вполне может быть, что для этого случая есть теоремы, описывающие структуру этого множества. По крайней мере ясно, что тут происходит в контексте усиленного закона.

                  Проблемы начинаются, когда мы пытаемся применить усиленный збч к реальным данным. Скажем, у меня есть выборка размера 1000. Обычный закон больших чисел наглядно говорит, что вероятность отклонения среднего от мат.ожидания мала, эту вероятность в некоторых случаях можно оценить. Что же усиленный закон? Мне надо представить последовательности испытаний с выборками размера 1, 2,…, 1000, ..., в одной из которых получается моя выборка, и что по некоторой мере сходимость есть всегда. Что это за мера — конкретно неясно, наверняка какая-то непрерывная вероятностная мера на множестве вещественных последовательностей. Допустим так, но что если моя выборка как раз из той самой «неудачной» последовательности? Эти последовательности же существуют? Как я буду это проверять? Или если эти последовательности не существуют, то почему нет збч в форме сходящихся неслучайных последовательностей? Получаются сложности, с тем, чтобы придумать хорошую интерпретацию того, что усиленный закон говорит. 

                  В некоторой, степени для меня тут вопрос в том, как утверждение «с вероятностью ноль» соотносится с реальностью. Например, случайно выбранная точка из отрезка рациональна с вероятностью ноль, но это же не отменяет то, что все числа, с которыми работаем на компьютере рациональны. Также неясен смысл предельного перехода, отчасти потому что он стоит под знаком вероятности. Мы же работаем с конечными последовательностями или выборками. Получается, предельный переход вообще нерелевантен?

                  Колмогоров, разумеется, был прав, но мой внутренний физик не может придумать, как это правильно применить.
                  +1
                  Нужен простой пример. Если мы бросаем монету, частота выпадения герба стремится к одной второй для большинства испытаний. Выписать последовательности из двух бросков 00, 01,10, 11, затем из трёх и четырёх, посчитать частоту герба, всё станет ясно. Притом, монета может случайно падать одним гербом сколько угодно раз подряд (но вероятность этого мала).
                    0
                    О проблеме вероятности, определенной через саму себя: habr.com/ru/post/493800

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое