Теория счастья. Статистика, как научный способ чего-либо не знать

    Продолжаю знакомить читателей Хабра с главами из своей книжки «Теория счастья» с подзаголовком «Математические основы законов подлости». Это ещё не изданная научно-популярная книжка, очень неформально рассказывающая о том, как математика позволяет с новой степенью осознанности взглянуть на мир и жизнь людей. Она для тех кому интересна наука и для тех, кому интересна жизнь. А поскольку жизнь наша сложна и, по большому счёту, непредсказуема, упор в книжке делается, в основном, на теорию вероятностей и математическую статистику. Здесь не доказываются теоремы и не даются основы науки, это ни в коем случае не учебник, а то, что называется recreational science. Но именно такой почти игровой подход позволяет развить интуицию, скрасить яркими примерами лекции для студентов и, наконец, объяснить нематематикам и нашим детям, что же такого интересного мы нашли в своей сухой науке.


    Речь в этой главе пойдёт о статистике, о погоде и даже о философии. Не пугайтесь, совсем чуть-чуть. Не более того, что можно использовать для tabletalk в приличном обществе.






    Цифры обманчивы, особенно когда я сам ими занимаюсь; по этому поводу справедливо высказывание, приписываемое Дизраэли: «Существует три вида лжи: ложь, наглая ложь и статистика».
    Марк Твен


    Как часто летом мы планируем на свои выходные дни выезд на природу, прогулку в парке или пикник, а потом дождь разбивает наши планы, заточая нас в доме! И ладно бы это случалось раз или два за сезон, порою складывается впечатление, что непогода преследует именно выходные дни, раз за разом попадая на субботу или воскресенье!

    Сравнительно недавно вышла статья австралийских исследователей: «Недельные циклы пиковой температуры и интенсивность городских тепловых островов». Её подхватили новостные издания и перепечатали результаты с таким заголовком: «Вам не кажется! Учёные выяснили: погода на выходных, действительно хуже, чем в будние дни». В цитируемой работе приводится статистика температуры и осадков за много лет в нескольких городах Австралии, и вправду, выявляющая понижение температуры на в определённые часы субботы и воскресенья. После чего этому даётся объяснение, связывающее локальную погоду с уровнем загрязнённости воздуха из-за возрастающего транспортного потока. Незадолго до этого, подобное исследование проводилось в Германии и привело примерно к тем же выводам.

    Согласитесь, доли градуса — это весьма тонкий эффект. Сетуя на непогоду в долгожданную субботу, мы обсуждаем, был ли день солнечным или дождливым, это обстоятельство проще зарегистрировать, а позже вспомнить, даже не обладая точными приборами. Мы проведём собственное небольшое исследование на эту тему и получим замечательный результат: можно уверенно утверждать, что мы не знаем, связаны ли на Камчатке, день недели и непогода. Исследования с отрицательным результатом обычно не попадают на страницы журналов и в новостные ленты, но нам с вами важно понять, на каком основании я, вообще, могу что-то уверенно заявлять о случайных процессах. И в этом плане отрицательный результат становится ничуть не хуже положительного.

    Слово в защиту статистики


    Статистику обвиняют в массе грехов: и во лжи и в возможностях манипуляций и, наконец, в непонятности. Но мне очень хочется реабилитировать эту область знаний, показать, насколько сложна задача, для которой она предназначена и сколь непросто бывает понять ответ, который даёт статистика.

    Теория вероятностей оперирует точными знаниями о случайных величинах в виде распределений или исчерпывающих комбинаторных подсчётов. Ещё раз подчеркну, что располагать точным знанием о случайной величине возможно. Но что если это точное знание нам недоступно, а единственное чем мы располагаем — это наблюдения? У разработчика нового лекарства есть какое-то ограниченное число испытаний, у создателя системы управления транспортным потоком — лишь ряд измерений на реальной дороге, у социолога – результаты опросов, причём, он может быть уверен в том, что отвечая на какие-то вопросы, респонденты попросту соврали.

    Понятно, что одно наблюдение не даёт ровным счётом ничего. Два – немногим больше, чем ничего, три, четыре… сто… сколько нужно наблюдений чтобы получить какое-либо знание о случайной величине, в котором можно было бы быть уверенным с математической точностью? И что это будет за знание? Скорее всего, оно будет представлено в виде таблицы или гистограммы, дающей возможность оценить некоторые параметры случайной величины, их называют статистиками (например, область определения, среднее или дисперсия, асимметричность и т.д.). Быть может, глядя на гистограмму удастся угадать точную форму распределения. Но внимание! — все результаты наблюдений сами будут случайными величинами! Пока мы не владеем точным знанием о распределении, все результаты наблюдений дают нам лишь вероятностное описание случайного процесса! Случайное описание случайного процесса — ещё бы здесь не запутаться, а то и захотеть запутать намеренно!

    Что же делает математическую статистику точной наукой? Её методы позволяют заключить наше незнание в чётко ограниченные рамки и дать вычислимую меру уверенности в том, что в этих рамках наше знание согласуется с фактами. Это язык, на котором можно рассуждать о неизвестных случайных величинах так, чтобы рассуждения имели смысл. Такой подход очень полезен в философии, психологии или социологии, где очень легко пуститься в пространные рассуждения и дискуссии без всякой надежды на получение позитивного знания и, тем более, на доказательство. Грамотной статистической обработке данных посвящена масса литературы, ведь это абсолютно необходимый инструмент для медиков, социологов, экономистов, физиков, психологов… словом, для всех научно исследующих так называемый «реальный мир», отличающийся от идеального математического лишь степенью нашего незнания о нём.

    Теперь ещё раз взгляните на эпиграф к этой главе и осознайте, что статистика, которую так пренебрежительно называют третьей степенью лжи, это единственное, чем располагают естественные науки. Это ли не главный закон подлости мироздания! Все известные нам законы природы, от физических до экономических, строятся на математических моделях и их свойствах, но поверяются они статистическими методами в ходе измерений и наблюдений. В повседневности наш разум делает обобщения и подмечает закономерности, выделяет и распознаёт повторяющиеся образы, это, наверное, лучшее, что умеет человеческий мозг. Это именно то, чему в наши дни учат искусственный интеллект. Но разум экономит свои силы и склонен делать выводы по единичным наблюдениям, не сильно беспокоясь о точности или обоснованности этих выводов. По этому поводу есть замечательное самосогласованное утверждение из книги Стивена Браста «Исола»: «Все делают общие выводы из одного примера. По крайней мере, я делаю именно так». И пока речь идёт об искусстве, характере домашних любимцев или обсуждении политики, об этом можно сильно не беспокоиться. Однако при строительстве самолёта, организации диспетческой службы аэропорта или тестировании нового лекарства, уже нельзя сослаться на то, что «мне так кажется», «интуиция подсказывает» и «в жизни всякое бывает». Тут приходится ограничивать свой разум рамками строгих математических методов.

    Наша книжка не учебник, и мы не будем детально изучать статистические методы и ограничимся лишь одним — техникой проверкой гипотез. Но мне хотелось бы показать ход рассуждений и форму результатов, характерных для этой области знания. И, возможно, кому-то из читателей, будущему студенту, не только станет понятно зачем его мучают матстатистикой, всеми этими QQ-диаграммами, t- и F-распределениями, но придёт в голову другой важный вопрос: а как вообще это возможно знать что-нибудь наверняка о случайном явлении? И что именно мы узнаём, используя статистические данные?

    Три кита статистики


    Основными столпами математической статистики являются теория вероятностей, Закон больших чисел и центральная предельная теорема.

    Закон больших чисел, в вольной трактовке, говорит о том, что большое число наблюдений случайной величины почти наверняка отражает её распределение, так что наблюдаемые статистики: среднее, дисперсия и прочие характеристики, стремятся к точным значениям, соответствующим случайной величине. Иными словами, гистограмма наблюдаемых величин при бесконечном числе данных, почти наверняка стремится к тому распределению, которое мы можем считать истинным. Именно этот закон связывает «бытовое» частотное толкование вероятности и теоретическое, как меры на вероятностном пространстве.

    Центральная предельная теорема, опять же, в вольной трактовке, говорит, что одной из наиболее вероятных форм распределения случайной величины является нормальное (гауссово) распределение. Точная формулировка звучит иначе: среднее значение большого числа идентично распределённых вещественных случайных величин, вне зависимости от их распределения, описывается нормальным распределением. Эту теорему обычно доказывают, применяя методы функционального анализа, но мы увидим позже, что её можно понять и даже расширить, введя понятие энтропии, как меры вероятности состояния системы: нормальное распределение имеет наибольшую энтропию при наименьшем числе ограничений. В этом смысле, оно оптимально при описании неизвестной случайной величины, либо случайной величины, являющейся совокупностью многих других величин, распределение которых тоже неизвестно.

    Эти два закона лежат в основе количественных оценок достоверности наших знаний, основанных на наблюдениях. Здесь речь идёт о статистическом подтверждении или опровержении предположения, которое можно сделать из каких-то общих оснований и математической модели. Это может показаться странным, но сама по себе, статистика не производит новых знаний. Набор фактов превращается в знание лишь после построения связей между фактами, образующих определённую структуру. Именно эти структуры и связи позволяют делать предсказания и выдвигать общие предположения, основанные на чём-то, выходящем за пределы статистики. Такие предположения называются гипотезами. Самое время вспомнить один из законов мерфологии, постулат Персига:
    Число разумных гипотез, объясняющих любое данное явление, бесконечно.

    Задача математической статистики ограничить это бесконечное число, а вернее свести их к одной, причём вовсе не обязательно верной. Для перехода к более сложной (и часто, более желанной) гипотезе, необходимо, используя данные наблюдений, опровергнуть более простую и общую гипотезу, либо подкрепить её и отказаться от дальнейшего развития теории. Часто проверяемую таким образом гипотезу называют нулевой, и в этом есть глубокий смысл.

    Что может выступить в роли нулевой гипотезы? В определённом смысле, все что угодно, любое утверждение, но при условии, что его удастся перевести на язык измерения. Чаще всего, гипотезой служит ожидаемое значение какого-то параметра, который превращается в случайную величину в ходе измерения, либо отсутствие связи (корреляции) между двумя случайными величинами. Иногда предполагается вид распределения, случайного процесса, предлагается какая-то математическая модель. Классическая постановка вопроса при этом такова: позволяют ли наблюдения отвергнуть нулевую гипотезу или нет? Точнее, с какой долей уверенности мы можем утверждать, что наблюдения нельзя получить, исходя из нулевой гипотезы? При этом, если мы не смогли опираясь на статистические данные доказать, что нулевая гипотеза ложна, то она принимается истинной.

    И тут можно подумать, что исследователи вынуждены совершать одну из классических логических ошибок, которая носит звучное латинское имя ad ignorantiam. Это аргументация истинности некоторого утверждения, основанная на отсутствии доказательства его ложности. Классический пример — слова, сказанные сенатором Джозефом Маккарти, когда его попросили предъявить факты для поддержки выдвинутого им обвинения, что некий человек является коммунистом: «У меня немного информации по этому вопросу, за исключением того общего заявления компетентных органов, что в его досье нет ничего, чтобы исключало его связи с коммунистами». Или ещё ярче: «Снежный человек существует, поскольку никто не доказал обратного». Выявление разницы между научной гипотезой и подобными уловками составляет предмет целой области философии: методологии научного познания. Одним из её ярких результатов является критерий фальсифицируемости, выдвинутый замечательным философом Карлом Поппером в первой половине XX века. Этот критерий призван разделять научное знание от ненаучного, и, на первый взгляд, он кажется парадоксальным:
    Теория или гипотеза может считаться научной, только если существует, пусть даже гипотетически, способ её опровергнуть.

    Чем не закон подлости! Получается, что любая научная теория автоматически потенциально неверна, а теория, верная «по определению», не может считаться научной. Более того, этому критерию не удовлетворяют такие науки как математика и логика. Впрочем, их относят не к естественным наукам, а к формальным, не требующим проверки на фальсифицируемость. А если к этому добавить ещё один результат того же времени: принцип неполноты Гёделя, утверждающий, что в рамках любой формальной системы можно сформулировать утверждение, которое невозможно ни доказать, ни опровергнуть, то может стать непонятно зачем, вообще, заниматься всей этой наукой. Однако важно понимать, что принцип фальсифицируемости Поппера ничего не говорит об истинности теории, а только о том является она научной или нет. Он может помочь определить, даёт ли некая теория язык, на котором имеет смысл рассуждать о мире или нет.

    Но всё же, почему, если мы не можем на базе статистических данных отвергнуть гипотезу, мы в праве принять её истинной? Дело в том, что статистическая гипотеза берётся не из желания исследователя или его предпочтений, она должна вытекать из каких-либо общих формальных законов. Например, из Центральной предельной теоремы, либо из принципа максимальной энтропии. Эти законы корректно отражают степень нашего незнания, не добавляя, без необходимости, лишних предположений или гипотез. В известном смысле, это прямое использование знаменитого философского принципа, известного как бритва Оккама:
    Что может быть сделано на основе меньшего числа предположений, не следует делать, исходя из большего.

    Таким образом, когда мы принимаем нулевую гипотезу, основываясь на отсутствии её опровержения, мы формально и честно показываем, что в результате эксперимента степень нашего незнания осталась на прежнем уровне. В примере же со снежным человеком, явно или неявно, но предполагается обратное: отсутствие доказательств того, что этой загадочной твари не существует представляется чем-то, что может увеличить степень нашего знания о ней.

    Вообще, с точки зрения принципа фальсифицируемости, любое утверждение о существовании чего-либо ненаучно, ибо отсутствие свидетельства ничего не доказывает. В тоже время, утверждение об отсутствии чего-либо можно легко опровергнуть предоставив экземпляр, косвенное свидетельство, либо доказав существование по построению. И в этом смысле, статистическая проверка гипотез анализирует утверждения об отсутствии искомого эффекта и может предоставить в известном смысле, точное опровержение этого утверждения. Именно этим в полной мере оправдывается термин «нулевая гипотеза»: она содержит необходимый минимум знаний о системе.

    Как запутать статистикой и как распутаться


    Очень важно подчеркнуть, что если статистические данные говорят о том, что нулевая гипотеза может быть отвергнута, то это не значит, что мы тем самым доказали истинность какой-либо альтернативной гипотезы. Статистику не следует путать с логикой, в этом кроется масса трудноуловимых ошибок, особенно, когда в дело вступают условные вероятности для зависимых событий. Например: очень маловероятно, что человек может быть Папой Римским ($\sim 1/7$ млрд), следует ли из этого, что Папа Иоанн Павел II не был человеком? Утверждение кажется абсурдным, но, к сожалению, столь же неверным является и такой «очевидный» вывод: проверка показала, что мобильный тест на содержание алкоголя в крови даёт не более $1\%$ как ложных положителых, так и ложных отрицательных результатов, следовательно, в $98\%$ случаев он верно выявит пьяного водителя. Давайте протестируем $1000$ водителей, и пусть $100$ из будут, действительно, пьяны. В результате мы получим $900\times1\%=9$ ложных положительных и $100\times1\%=1$ ложноотрицательный результат: то есть, на одного проскочившего пьяницу придётся девять невинно обвинённых случайных водителей. Чем не закон подлости! Паритет будет наблюдаться только если доля пьяных водителей будет равна $1/2$, либо если отношение долей ложноположительных и ложноотрицательных результатов будет близким к реальному отношению пьяных водителей к трезвым. Причём, чем трезвее обследуемая нация, тем несправедливей будет применение описанного нами прибора!

    Здесь мы столкнулись с зависимыми событиями. Помните, в колмогоровском определении вероятности говорилось о способе сложения вероятности объединения событий: вероятность объединения двух событий равна сумме их вероятностей за вычетом вероятности их пересечения. Однако о том, как вычисляется вероятность пересечение событий, эти определения не говорят. Для этого вводится новое понятие: условная вероятность и на передний план выходит зависимость событий друг от друга.
    Вероятность пересечения событий A и B определяется как произведение вероятности события B и вероятности события $A$, если известно, что случилось событие $B$:

    $P(A \cap B) = P(B)P(A|B).$

    Теперь можно определить независимость событий тремя эквивалентными способами: Cобытия $A$ и $B$ независимы, если $P(A|B) = P(A)$, или $P(B|A) = P(B)$, или $P(A\cap B) = P(A)P(B)$.
    Тем самым мы завершаем формальное определение вероятности, начатое в первой главе.

    Пересечение — операция коммутативная, то есть $P(A\cap B) = P(B\cap A)$. Отсюда немедленно следует теорема Байеса:

    $P(A|B)P(B) = P(B|A)P(A),$

    которую можно использовать для исчисления условных вероятностей.

    В нашем примере с водителями и тестом на алкоголь мы имеем cобытия: $A$ — водитель пьян, $B$ — тест выдал положительный результат. Вероятности: $P(A) = 0.1$ — вероятность того, остановленный водитель пьян; $P(B|A) = 99\%$ — вероятность того, что тест выдаст положительный результат, если известно, что водитель пьян (исключается $1\%$ ложноотрицателых результатов), $P(A|B) = 99\%$ — вероятность того, что тестируемый пьян, если тест дал положительный результат (исключается $1%$ ложноположительных результатов). Вычислим $P(B)$ — вероятность получить положительный результат теста на дороге:

    $P(B) = \frac{P(A)P(A|B)}{P(B|A)} = P(A) = 0.1$

    Теперь наши рассуждения стали формализованными и, как знать, быть может, для кого-то более понятными. Понятие условной вероятности позволяет логически рассуждать на языке теории вероятностей. Неудивительно, что теорема Байеса нашла широкое применение в теории принятия решений, в системах распознавания образов, в спам-фильтрах, программах, проверяющих тесты на плагиат и во многих других информационных технологиях.

    Эти примеры тщательно разбираются студентами, изучающими медицинские тесты, или юридические практики. Но, боюсь, что журналистам или политикам не преподают ни математическую статистику ни теорию вероятностей, зато они охотно апеллируют к статистическим данным, вольно интерпретируют их и несут полученное «знание» в массы. Поэтому я призываю своего читателя: разобрался в математике сам, помоги разобраться другому! Другого противоядия невежеству я не вижу.

    Измеряем нашу доверчивость


    Мы рассмотрим и применим на практике только одно из множества статистических методик: проверку статистических гипотез. Для тех, кто уже связал свою жизнь с естественными или социальными науками в этих примерах не будет чего-то ошеломительно нового.

    Предположим, что мы многократно измеряем случайную величину, имеющую среднее значение $\mu$ и стандартное отклонение $\sigma$. Согласно Центральной предельной теореме, наблюдаемое среднее значение будет распределено нормально. Из закона больших чисел следует, что его среднее будет стремиться к $\mu$, а из свойств нормального распределения следует, что после $n$ измерений наблюдаемая дисперсия среднего будет уменьшаться как $\sigma/\sqrt{n}$. Стандартное отклонение можно рассматривать как абсолютную погрешность измерения среднего, относительная погрешность при этом будет равна $\delta = \sigma/(\sqrt{n}\mu)$. Это весьма общие выводы, не зависящие для достаточно больших $n$ от конкретной формы распределения исследуемой случайной величины. Из них следуют два полезных правила (не закона):

    1. Минимальное число испытаний $n$ должно диктоваться желаемой относительной погрешностью $\delta$. При этом, если

    $n \geq \left(\frac{2\sigma}{\mu\delta}\right)^2,$

    то вероятность того, что наблюдаемое среднее останется в пределах заданной погрешности будет не менее $95\%$. При $\mu$ близком к нулю, относительную погрешность лучше заменить на абсолютную.

    2. Пусть нулевой гипотезой будет предположение, что наблюдаемое среднее значение равно $\mu$. Тогда, если наблюдаемое среднее не выходит за пределы $\mu \pm 2\sigma/\sqrt{n}$, то вероятность того что нулевая гипотеза верна, будет не менее $95\%$.


    Если заменить в этих правилах $2\sigma$ на $3\sigma$, то степень уверенности вырастет до $99.7\%$, это очень сильное правило $3\sigma$, которое в физических науках отделяет предположения от экспериментально установленного факта.

    Для нас полезным будет рассмотреть приложение этих правил к распределению Бернулли, описывающему случайную величину, которая принимает ровно два значения, условно называемые «успех» и «неудача», с заданной вероятностью успеха $p$. В этом случае $\mu = p$ и $\sigma = \sqrt{p(1-p)}$, так что для необходимого числа экспериментов и доверительного интервала получим

    $n \geq \frac{4}{\delta^2}\frac{1-p}{p}\quad и\quad np \pm 2\sqrt{np(1-p)}.$


    Правило $2\sigma$ для распределения Бернулли можно использовать для определения доверительного интервала при построении гистограмм. По существу, каждый столбик гистограммы представляет случайную величину с двумя значениями: «попал» – «не попал», где вероятность попадания соответствует моделируемой функции вероятности. В качестве демонстрации, сгенерируем множество выборок для трёх распределений: равномерного, геометрического и нормального, после чего сравним оценки разброса наблюдаемых данных с наблюдаемым разбросом. И здесь мы вновь видим отголоски центральной предельной теоремы, проявляющиеся в том, что распределение данных вокруг средних значений в гистограммах близко к нормальному. Однако, вблизи нуля разброс становится несимметричным и приближается к другому очень вероятному распределению – экспоненциальному. Этот пример хорошо показывает, что я имел в виду, говоря, что в статистике мы имеем дело со случайными значениями параметров случайной величины. 


    Пример, показывающий соотношение оценки разброса, сделанной по правилу $2\sigma$ и наблюдаемого разброса для трёх случайных величин.

    Важно понимать, что правила $2\sigma$ и даже $3\sigma$ не избавляют нас от ошибок. Они не гарантируют истинности какого-либо утверждения, не являются доказательствами. Статистика ограничивает степень недоверия к гипотезе, и не более того.

    Математик и автор прекрасного курса теории вероятностей Джиан-Карло Рота, на своих лекциях в MIT приводил такой пример. Представьте себе научный журнал, редакция которого приняла волевое решение: принимать к печати исключительно статьи с положительными результатами, которые удовлетворяют правилу $2\sigma$ или строже. При этом в редакционной колонке указано, что читатели могут быть уверены, что с вероятностью $95\%$ читатель не встретит на страницах этого журнала неверный результат! Увы, это утверждение легко опровергнуть теми же рассуждениями, что привели нас к вопиющей несправедливости при тестировании водителей на алкоголь. Пусть $1000$ исследователей, подвергнут опыту $1000$ гипотез, из которых верна лишь какая-то часть, скажем, $10\%$. Исходя из смысла проверки гипотез, можно ожидать, что $900\times0.05=45$ из неверных гипотез ошибочно не будут отвергнуты, и войдут в журнал наряду с $100\times0.95=95$ верными результатами. Итого, из $130$ результатов добрая треть окажется неверной!

    Этот пример прекрасно демонстрирует наш отечественный закон подлости, который не вошёл пока в хрестоматии мерфологии, закон Черномырдина:
    Хотели как лучше, а получилось, как всегда.

    Легко получить общую оценку доли неверных результатов, которые войдут в выпуски журнала, при предположении, что доля верных гипотез равна $0<\alpha<1$ и вероятность принятия ошибочной гипотезы равна $p$:

    $x =\frac{(1-\alpha)p}{\alpha(1-p)+(1-\alpha)p}.$

    Области, ограничивающие долю заведомо неверных результатов, которые смогут быть опубликованы в журнале, показаны на рисунке.

    Оценка доли публикаций, содержащих заведомо неверные результаты при принятии различных критериев проверки гипотез. Видно, что принимать гипотезы по правилу $2\sigma$ может быть рисковано, тогда как критерий $4\sigma$ уже может считаться весьма сильным.

    Конечно, мы не знаем этого $\alpha$, и не узнаем никогда, но оно заведомо меньше единицы, а значит, в любом случае, утверждение из редакционной колонки нельзя принимать всерьёз. Можно ограничить себя жёсткими рамками критерия $4\sigma$, но он требует очень большого числа испытаний. Значит, надо увеличивать долю верных гипотез во множестве возможных предположений. На это и направлены стандартные подходы научного метода познания – логическая непротиворечивость гипотез, их согласованность с фактами и теориями, доказавшими свою применимость, опора на математические модели и критическое мышление.

    И снова о погоде


    В начале главы мы говорили о том, что выходные и непогода совпадают чаще, чем хотелось бы. Давайте постараемся завершить это исследование. Каждый дождливый день можно рассматривать как наблюдение случайной величины — дня недели, подчиняющегося распределению Бернулли с вероятностью $1/7$. Примем в качестве нулевой гипотезы предположение, что все дни недели одинаковы с точки зрения погоды и дождь может пойти в любой из них равновероятно. Выходных у нас два, итого, получаем ожидаемую вероятность совпадения непогожего дня и выходного равной $2/7$, эта величина будет параметром распределения Бернулли. Как часто идёт дождь? В разное время года по-разному, конечно, но в Петропавловске-Камчатском, в среднем, наблюдается девяносто дождливых или снежных дней в году. Так что поток дней с осадками имеет интенсивность около $90/365\approx1/4$. Давайте посчитаем, какое количество дождливых выходных мы должны зарегистрировать, для того, чтобы быть уверенным в том, что существует некоторая закономерность. Результаты приведены в таблице.

    Период наблюдений лето год $5$ лет
    Ожидаемое число наблюдений $23$ $90$ $456$
    Ожидаемое число положительных исходов $6$ $26$ $130$
    Значимое отклонение $4$ $9$ $19$
    Значимая доля непогожих
    в общем числе выходных дней
    $42\%$ $33\%$ $29\%$


    О чем говорят эти цифры? Если вам кажется, что который год подряд «лета не было», что злой рок преследует ваши выходные, насылая на них дождь, это можно проверить и подтвердить. Однако в течение лета уличить злой рок можно лишь если больше двух пятых всех выходных окажутся дождливыми. Нулевая же гипотеза предполагает, что только четверть выходных должна совпасть с ненастной погодой. За пять лет наблюдений уже можно надеяться подметить тонкие отклонения, выходящие за пределы $5\%$ и, при необходимости, приступать к их объяснению.

    Я воспользовался школьным дневником погоды, который велся с 2014 по 2018 год, и выяснил, что за эти пять лет случилось $459$ ненастных дней из них $141$ пришлись на выходные. Это, действительно, больше ожидаемого числа на $11$ дней, но значимые отклонения начинаются с $19$ дней, так что это, как мы говорили в детстве: «не считается». Вот как выглядит ряд данных и гистограмма, показывающая распределение непогоды по дням недели. Горизонтальными линиями на гистограмме отмечен интервал в котором может наблюдаться случайное отклонение от равномерного распределения при том же объёме данных.


    Исходный ряд данных и распределение непогожих дней по дням недели, полученные за пять лет наблюдений.

    Видно, что начиная с пятницы, действительно, наблюдается увеличение числа дней с плохой погодой. Но для поиска причины этому росту предпосылок недостаточно: такой же результат можно получать, просто перебирая случайные числа. Вывод: за пять лет наблюдения за погодой, я накопил почти две тысячи записей, но ничего нового о распределении погоды по дням недели не узнал.

    При взгляде на записи в дневнике явно бросается в глаза, что непогода приходит не по одиночке, а двух-трёхдневными периодами или даже недельными циклонами. Это как-то влияет на результат? Можно попробовать принять это наблюдение во внимание, и предположить, что дожди идут в среднем по два дня (на самом деле, $1.7$ дней), тогда вероятность перекрыть выходные увеличивается до $3/7$. При такой вероятности, ожидаемое число совпадений для пяти лет должно составить $195\pm21$, то есть от $174$ до $216$ раз. Наблюдённая величина $141$ не входит в этот диапазон и значит, гипотезу об эффекте сдвоенных дней непогоды можно смело отвергать. Узнали ли мы что-то новое? Да, узнали: казалось бы, очевидная особенность процесса не влечёт за собой никакого эффекта. Об этом стоит поразмыслить, и мы это сделаем чуть позже. Но главный вывод: какие-то более тонкие эффекты рассматривать нет резона, поскольку наблюдения и, что самое главное, их количество, согласованно говорят в пользу самого простого объяснения.

    Но недовольство у нас вызывает не пятилетняя и даже не годовая статистика, человеческая память не столь долгая. Обидно, когда дождь идёт на выходных три или четыре раза подряд! Как часто это может наблюдаться? Особенно, если вспомнить, что гадкая погода не приходит в одиночку. Задачу можно сформулировать так: «Какова вероятность того, что $n$ выходных подряд окажутся дождливыми?» Разумно предположить, что непогожие дни образуют пуассоновский поток с интенсивностью $1/4$. Это значит, что в среднем, четверть дней любого периода будет непогожей. Наблюдая только за выходными, мы не должны изменить интенсивность потока и из всех выходных непогожие должны составить, в среднем, тоже четверть. Итак, выдвигаем нулевую гипотезу: поток ненастья пуассоновский, с известным параметром, а значит, интервалы между пуассоновскими событиями описываются экспоненциальным распределением. Нас интересуют дискретные интервалы: $0,\ 1,\ 2,\ 3$ дня и т. д. поэтому мы можем воспользоваться дискретным аналогом экспоненциального распределения — геометрическим распределением с параметром $1/4$. На рисунке показано, что у нас получилось и видно, что предположение о том, что мы наблюдаем пуассоновский процесс нет резона отвергать.


    Наблюдаемое распределение длины цепочек неудавшихся выходных и теоретическое. Тонкой линией показаны допустимые отклонения при том количестве наблюдений, что мы имеем.

    Можно задаться, таким вопросом: сколько лет нужно вести наблюдения, для того, чтобы замеченную нами разницу в $11$ дней можно было бы уверенно подтвердить или отвергнуть, как случайное отклонение? Это легко посчитать: наблюдаемая вероятность $141/459=0.307$ отличается от ожидаемой $2/7=0.286$ на $0.02$. Для фиксирования различия в сотых, требуется абсолютная погрешность, не превышающая $0.005$, что составляет $1.75\%$ от измеряемой величины. Отсюда получаем, необходимый объём выборки $n \geq (4 \cdot 5/7)/ (0.0175^2 \cdot 2/7) \approx 32000$ дождливых дней. Это потребует около $4\cdot 32000/365 \approx 360$ лет непрерывных метеорологических наблюдений, ведь только каждый четвёртый день идёт дождь или снег. Увы, это больше чем время, которое Камчатка находится в составе России, так что шансов выяснить, как обстоят дела «на самом деле» у меня нет. Особенно, если принять во внимание, что за это время климат успел измениться разительно — из Малого ледникового периода природа выходила в очередной оптимум.

    Так как же австралийским исследователям удалось зафиксировать отклонение температуры в доли градуса и почему имеет смысл рассматривать это исследование? Дело в том, что ими использовались часовые данные температуры, которые не были «прорежены» каким-либо случайным процессом. Таким образом, за $30$ лет метеонаблюдений удалось накопить более четверти миллиона отсчётов, что позволяет уменьшить стандартное отклонение среднего в $500$ раз по отношению к стандартному суточному отклонению температуры. Этого вполне достаточно, чтобы говорить о точности в десятые доли градуса. Кроме того, авторы использовали ещё один красивый метод, подтверждающий наличие временного цикла: случайное перемешивание временного ряда. Такое перемешивание сохраняет статистические свойства, такие как интенсивность потока, однако «стирает» временные закономерности, делая процесс истинно пуассоновским. Сравнение множества синтетических рядов и экспериментального позволяет убедиться в том, что замеченные отклонения процесса от пуассоновского значимы. Таким же образом сейсмологом А. А. Гусевым было показано, что землетрясения в каком-либо районе, образуют своеобразный самоподобный поток со свойствами кластеризации. Это означает, что землетрясения имеют обыкновение группироваться во времени, образуя весьма неприятные уплотнения потока. Позже выяснилось, что последовательность крупных вулканических извержений обладает таким же свойством.

    Ещё один источник случайности


    Конечно же, погоду, как и землетрясения, нельзя описывать пуассоновским процессом — это динамические процессы, в которых текущее состояние является функцией предыдущих. Почему же наши наблюдения за погодой на выходных говорят в пользу простой стохастической модели? Дело в том, что мы отображаем закономерный процесс формирования осадков на множество из семи дней, или, говоря на языке математики, на систему вычетов по модулю семь. Этот процесс проекции способен порождать хаос из вполне упорядоченных рядов данных. Отсюда, к примеру, происходит видимая случайность в последовательности цифр десятичной записи большинства вещественных чисел.

    Мы уже говорили о рациональных числах, тех, которые выражаются целочисленными дробями. Они имеют внутреннюю структуру, которая определяется двумя числами: числителем и знаменателем. Но при записи в десятичной форме можно наблюдать скачки от регулярности в представлении таких чисел, как $1/2=0.5\overline{0}$, или $1/3=0.\overline{3}$ до периодичного повторения, уже вполне беспорядочных последовательностей в таких числах как $1/17=0.\overline{0588235294117647}$. Иррациональные числа не имеют конечной или периодической записи в десятичной форме и в этом случае в последовательности цифр, чаще всего, царит хаос. Но это не значит, что в этих числах нет порядка! Например, первое встретившееся математикам иррациональное число $\sqrt{2}$ в десятичной записи порождает хаотический набор цифр. Однако, с другой стороны, это число можно представить в виде бесконечной цепной дроби:

    $\sqrt{2} = 1 + \frac{1}{2+\frac{1}{2+ \frac{1}{2+ ...}}}. $

    Нетрудно показать, что эта цепочка, действительно равна корню из двух, решив уравнение:

    $x-1 = \frac{1}{2+(x-1)}. $


    Цепные дроби с повторяющимися коэффициентами записывают коротко, подобно периодическим десятичным дробям, например: $\sqrt{2}=[1,\bar{2}]$, $\sqrt{3}=[1,\overline{1,2}]$. Знаменитое золотое сечение в этом смысле представляет собой самое просто устроенное иррациональное число: $\varphi = [1,\bar{1}]$. Все рациональные числа представляются в виде конечных цепных дробей, часть иррациональных — в виде бесконечных, но периодических, их называют алгебраическими, те же, что не имеют конечной записи даже в такой форме — трансцендентными. Самое знаменитое из трансцендентных — число $\pi$, оно порождает хаос как в десятичной записи, так и в виде цепной дроби: $\pi \approx [3, 7,15,1,292,1,1,1,2,1,3,1,14,2,1 , … ]$. А вот число Эйлера $e$, оставаясь трансцендентным, в форме цепной дроби проявляет внутреннюю структуру, скрытую в десятичной записи: $e\approx[2,1,2,1,1,4,1,1,6,1,1,8,1,1,10 , … ]$.

    Наверное, не один математик, начиная с Пифагора, подозревал мир в коварстве, обнаруживая, что такое нужное, такое фундаментальное число $\pi$ имеет столь неуловимо сложную хаотическую структуру. Конечно, его можно представить в виде сумм вполне изящных числовых рядов но эти ряды напрямую не говорят о природе этого числа и они не универсальны. Я верю, что математикам будущего откроется какое-нибудь новое представление чисел, столь же универсальное, как цепные дроби, которое позволит выявить строгий порядок, скрытых природой в числе.

    $*\ *\ *$



    Результаты этой главы, по большей части, отрицательные. И как автор, желающий удивить читателя скрытыми закономерностями и неожиданными открытиями, я сомневался, стоит ли включать её в книжку. Но наш разговор о погоде ушёл в очень важную тему – о ценности и осмысленности естественнонаучного подхода.

    Одна мудрая девочка, Соня Шаталова, глядя на мир сквозь призму аутизма, в десятилетнем возрасте дала очень лаконичное и точное определение: «Наука – это система знаний, основанных на сомнении». Реальный мир зыбок и норовит спрятаться за сложностью, видимой случайностью и ненадёжностью измерений. Сомнение в естественных науках неизбежно. Математика представляется царством определённости, в котором, кажется, можно забыть о сомнении. И очень заманчиво спрятаться за стенами этого царства; рассматривать вместо труднопознаваемого мира модели, которые можно исследовать досконально; считать и вычислять, благо формулы готовы переварить что угодно. Но всё же, математика является наукой и сомнение в ней – это глубокая внутренняя честность, не дающая покоя до тех пор, пока математическое построение не очистится от дополнительных предположений и лишних гипотез. В царстве математики говорят на сложном, но стройном языке, пригодном для рассуждений о реальном мире. Очень важно хоть немного познакомиться с этим языком, чтобы не давать цифрам выдавать себя за статистику, не позволять фактам притворяться знанием, а невежеству и манипуляциям противопоставлять настоящую науку.
    Поделиться публикацией

    Комментарии 16

      +2

      Спасибо, продолжайте писать.
      И жду книгу.

        0
        Статья очень познавательная, спасибо. На тему прикладной статистики есть ряд очень интересных книг, которые были написаны очень давно, а именно применение статистических методов для улучшения качества при производстве или оказании услуг, одна из них Эдвард Дейминг «Выход из кризиса», очень трудно найти бесплатно, хотя платная электронная версия не так дорога. Книга просто переворот в сознании применительно к бизнесу и теории управления и да сам Энштейн положительно ее оценил, очень рекомендую к прочтению так как полученные знанич могут пригодиться на практике.
          0

          Благодарю, мне этак книга не знакома, постараюсь отыскать.

          0
          Очень познавательно. Продолжай писать!
            +1
            С удовольствием читаю ваши заметки на этом сайте — как из этой серии, так и другие (по программированию, в частности — я по профессии программист, хотя в институте получал образование с математическим уклоном).

            С моей точки зрения эта глава — весьма добротная, затрагивает важные вопросы и потому заслуживает включения в книгу. Небольшая поправка: в уравнении для нахождения корня из двух x через представление этого числа в виде цепной дроби вы в левой части отняли единицу (x — 1 = …), а в правой оставили (… = 1 + …), правильное уравнение получится, если убрать эту «1 + » в правой части.

            Приведу пару примеров, иллюстрирующих важность достаточно детального рассмотрения в книге условных вероятностей и формулы Байеса. Один — история про Эрдоша, который не поверил в правильность рассуждений о знаменитом парадоксе Монти Холла, пока ему не продемонстрировали численный эксперимент на компьютере — при том, что Эрдош прекрасно владел теоретическим аппаратом и, среди прочих заслуг, продемонстрировал эффективность применения аппарата теории вероятностей при решении строго определённых задач дискретной математики. Ну, парадокс Монти Холла лучше оставить в стороне из-за нечёткостей его формулировки и возможностей различно его интерпретировать. В следующем примере проблема нечёткости формулировки задачи на условные вероятности практически отсутствует: автор заметки на Хабре отреагировал на дискуссию в комментариях и исправил формулировку задачи.

            Я имею в виду вот это обсуждение задачи про 12 стульев: https://habr.com/post/225031/ — я там недавно оставил подробный комментарий внизу обсуждения. Мне кажется, эта задача может послужить хорошей игровой моделью экспериментальной проверки теоретических гипотез, в процессе которой после каждого эксперимента уточняется уверенность в том, что гипотеза согласуется с реальным миром.

            Пользуясь случаем, хотел бы предложить вам обсуждение некоторых смежных тем — в личной переписке, потому что прямого отношение к данной главе вашей будущей книги они не имеют, так что я не хотел бы мусорить в комментариях здесь. Я сейчас отправлю вам небольшое затравочное сообщение на этом сайте в надежде, что вы отзовётесь.
              0

              Благодарю за развёрнутый комментарий. История с Эрдошем мне знакома, но в задаче Монти Холла я не вижу интриги — ею трудно "заразить" студента, который уже не заражён научным поиском, а запутать и сбить с толку можно.
              А вот задачка со стульями мне по душе. Надо с ней поиграться, она хорошая, спасибо!
              И единичку в уравнении исправил, спасибо!

                0
                Спасибо! Отправил вам личное сообщение минуту назад в надежде переключиться на e-mail переписку по возможности.
              +1
              И всё-таки, вот это утверждение:
              Согласно Центральной предельной теореме, наблюдаемое среднее значение будет распределено нормально

              грубо неверно.
              Я понимаю, что вы хотели сказать, но надо как-то его смягчить. Может быть, добавить «скорее всего, выполняются требования для цпт и ...» или что-то такое.
              E.g., если у нас канал, по которому поступает сигнал, мультипликативный (шумы не суммируются, а умножаются) — например, радиоканал, то цпт очевидно не натягивается, т.к. нет суммирования.
              Ну и про пять сигм упомянуть обязательно стОит — в физике элементарных частиц именно этот порог отделяет открытие от ещё-не-открытия.
                0

                Согласен, смягчу "до весьма вероятно" ибо ЦПТ работает по-разному в разных условиях (близость к границе носителя, мультипликативность и т.д.).
                Про пять сигм, всё-таки, да. Не написал только потому что ФЭЧ совсем никак не упоминается в книжке. Но это не повод.
                Спасибо, я именно на такие комментарии рассчитывал, публикуя текст здесь.

                +1
                Спасибо за цикл статей! Вне сомнений книга получится очень познавательной и полезной. Пара замечаний общего характера.
                Грамотной статистической обработке данных посвящена масса литературы, ведь это абсолютно необходимый инструмент для медиков, социологов, экономистов, физиков, психологов… словом, для всех научно исследующих так называемый «реальный мир», отличающийся от идеального математического лишь степенью нашего незнания о нём.
                Видимо сомневаетесь в существовании реальности за пределами наших органов чувств раз берете в кавычки слова о ней) Впрочем это не новость для математиков, и людей с таким складом ума. Однако, если вы адресуете книгу широкой публике, включая интересующихся естественными науками, то такой подход скорее вреден, чем продуктивен. Общеизвестный пример ошибочности такой установки история соперничества Пуанкаре и Эйнштейна при создании теории, которая теперь известна, как СТО. В конечном итоге именно реализм Эйнштейна позволил опередить Пуанкаре, хотя у того была фора в виде более основательной математической подготовки и познаний в этой области. Но еще более удивительным фактом является пример самого Эйнштейна, когда под давлением собственных рационалистических установок, возобладавших во второй половине жизни, он отрицательно отнесся к вероятностной интерпретации КМ. Впрочем, легко постфактум обсуждать влияние установок на деятельность других людей, куда сложнее понять собственные) Для математиков, по видимому, энергетически выгоден некоторый идеализм, платонизм в подходе к работе, в отличии от физиков, особенно экспериментаторов, где всегда требуется получить не только чистый результат, но и понять его физический смысл и возможность его дальнейшего практического применения.

                По критерию Поппера:
                Получается, что любая научная теория автоматически потенциально неверна, а теория, верная «по определению», не может считаться научной. Более того, этому критерию не удовлетворяют такие науки как математика и логика. Впрочем, их относят не к естественным наукам, а к формальным, не требующим проверки на фальсифицируемость.
                Конечной инстанцией проверки теорий является все-же соответствие реальности, пусть и с некоторой точностью. Критерий Поппера носит вспомогательный характер. Если теория полна и не противоречива, включая естественно-научные, скажем теории классической механики и всемирного тяготения Ньютона, то в их рамках нельзя придумать эксперимент опровергающий их. Для этого нужно выйти за рамки этих теорий. Поэтому в действительности фальсифицируемость теорий обеспечивают необъяснимые результаты наблюдений и экспериментов. Такие как результаты эксперимента Майкельсона-Морли не подтвердившие преобразования Галилея для сложения скоростей классической механики, или прецессия перигелия Меркурия не объяснимая законом тяготения. Что касается математических теорий, то они отличаются от физических уровнем обобщения, абстрактности, но имеют, если смотреть в исторической ретроспективе такие же эмпирические корни. Нужно только учесть, что некоторый базовый уровень задается интуитивно, чувство количества, числа, счет, сравнимость, положение, длительность и тд. Эволюция проделала этот путь, и вшила этот функционал на уровне восприятия, рефлексов и тд. Человек развил этот функционал, исходя из практических потребностей, и перевел в коммуникативные формы — языковые и символьные. Если приводить конкретные примеры, то евклидова геометрия по способу происхождения и построению особо не отличается от той-же классической механики: аксиоматические теории с эмпирически обоснованным набором исходных посылок. Точно также фальсифицируемость евклидовой геометрии обеспечивают наблюдения или опыт. Опыт к примеру состоял бы в измерении суммы углов гигантского треугольника, или соблюдение равенства расстояния между очень длинными параллельными линиями. Либо наблюдения этих построений в выпуклых отражающих поверхностях, кот. как-бы намекали на ограниченность этих построений на плоскости) Конечно современная математика далеко ушла от этого уровня. Первичные абстракции были неоднократно обобщены и дополнительно абстрагированы, они живут собственной жизнью, и казалось бы не имеют никакого отношения к реальности. Так и есть, если рассматривать чистую математику, математику ради математики. Но как только абстрактные мат. теории востребуются физикой, или в др. науках, и выдают соответствующие реальности результаты они подтверждаются экспериментально, как модели, и возможно, фальсифицируют пред. модели. Как пример, использование неевклидовой геометрии в ОТО. Более того запросы физики стимулируют развитие мат. теорий во вполне определенном направлении. Это характерно и для нашего времени. Физики-теоретики пытаются применить любые новые мат. наработки для построения той же теории кв. гравитации, стимулируя развитие различных структурных подходов.
                  +1

                  Спасибо за содержательный комментарий.


                  Видимо сомневаетесь в существовании реальности за пределами наших органов чувств раз берете в кавычки слова о ней)

                  Тут я выступаю, скорее, как позитивист. Моё представление о познаваемом мире включает в реальность непротиворечивые формальные теории. Кавычки здесь отражают ощущение искусственности разделения мира на реальный и математический. Я сторонник той позиции, что математики, наравне с физиками, открывают и исследуют наш мир. Искусственные нежизнеспособные формальные системы ненаблюдаемы, в отличие от огромного числа взаимосогласованных структур и систем, составляющих интертеоретический фундамент как математики, так и физики.


                  Ограниченность критерия Поппера, как инструмента, уже хорошо осознана и освещена, но мне важно познакомить широкого читателя — старшеклассника, студента с самой идеей и постановкой эпистемологического вопроса. О том сколько копий сломано и как шкивало философию XX века от верификационизма через постпозитивизм до постмодернизма и эпистемологического анархизма, он узнает потом, когда поймёт о чём, собственно, речь. Я сомневался, стоит ли вообще упоминать философию, но некие базовые вещи, нужные для отсева информационного шума, думаю, стоит вводить.

                    +1
                    samsergey, не было возможности ответить сразу. Если нет времени, то текст под спойлером можно пропустить, там длинно и нудно, больше для убеждения себя)
                    Я сторонник той позиции, что математики, наравне с физиками, открывают и исследуют наш мир.
                    Математика претендует на роль философии в современной науке. Философия — мать наук, свою миссию в значительной степени выполнила, науки давно отпочковались и превратились в самостоятельные дисциплины, обзавелись собственной методологией. А математика — царица наук (пусть только сильно не задирает нос:), благодаря наиболее высокой степени обобщенности объектов и методов, формальному подходу, претендует на новый междисциплинарный синтез. Это фактически язык науки, по крайней мере естественных, и коммуникативная форма. В отличии от философии, кот. являлась только словесной коммуникативной формой, математика основывается на символьно-знаковой форме. Поскольку любые коммуникативные формы суть информационные процессы, то смысловую нагрузку они несут только в контексте человеческого социума.
                    Искусственные нежизнеспособные формальные системы ненаблюдаемы, в отличие от огромного числа взаимосогласованных структур и систем, составляющих интертеоретический фундамент как математики, так и физики.
                    Тут пока без изменений, науки поставляют факты, математика методы с помощью кот. строятся модели предметных областей. Общая проблема сейчас, и особенно в перспективе, чрезвычайно большая сложность исследуемых систем — мозг, самоорганизующиеся системы, эволюционные процессы, абиогенез, объединение физ. взаимодействий, космология и др, и соответственно, неимоверный рост сложности моделей, с еще не определенными классами сложности решаемых задач по ним. Посмотрите на запись Лагранжиана СМ в этой теме. Берут сомнения, что в общем виде, даже численно, оно будет решено для систем состоящих из многих взаимодействующих частиц, коль скоро даже для классических задач многих тел требуются большие вычислительные мощности, для решения с приемлемой точностью, за конечное время. Что же будет в еще более общей теории? Подозреваю даже если выч. система будет иметь производительность квантового вычислителя, световую скорость передачи информации по оптическим каналам, плотность памяти сравнимую с молекулярной по типу ДНК, ее ресурсов не хватит для решения задач моделирования реальных систем за приемлемое время. Как всегда будут использоваться приближения и частные случаи. Тупик? Нет, возможно произойдет переход на след. уровень, где формальный подход отойдет на второй план, явные модели исследуемых систем не будут строиться, а вычисления будут реально распараллелены — нейросетевой ИИ на пока еще неведомых технологических принципах. В этом случае создание теории, например, кв. гравитации будет выглядеть, как обучение на реальных экспериментальных результатах и наблюдениях связанных с этой областью. Или обучение задачам многих тел на реальных системах, как пример. Доведения до приемлемого практического уровня точности предсказания и передачи в пользование всем заинтересованном лицам в виде готовой нейросети. Никаких там длинных систем уравнений, и их решения для практических задач. Черный ящик на вход которого подаются условия решаемой задачи, на выходе решение. Что происходит внутри не известно. Возможно для каких-то частных случаев будет произведена факторизация, и получены записи в традиционном символьном виде, с интерпретацией параметров модели. Вообще задача интроспекции (пояснение) таких «черных» ящиков актуальна уже сейчас. Например, при разборе ДТП с участием самоуправляемых авто, использующих нейросети для обучения автономному вождению. Для ответа на вопрос почему она приняла такое решение, а не иное.
                    Не так уж и фантастично с «черным» ящиком, уже на современном этапе похожие работы имеются.
                    Я сомневался, стоит ли вообще упоминать философию..
                    Фраза «для всех научно исследующих так называемый «реальный мир»» уже неявно предполагает некоторую философскую установку. Коль скоро книга расчитана и на студентов, возможно будущих исследователей, а в их числе могут быть и естественники, то для кого-то эти слова могут послужить демотиватором поиска нового, неизведанного, коль скоро есть сомнения в существовании такого мира. Так устроено, что молодые, неокрепшие умы могут не критично впитать подобную информацию, и она подсознательно будет влиять на принятие решений в дальнейшем. Это философам и математикам достаточно бумаги и ручки для поиска нового) может еще творческого вдохновения в тишине. Признаю, в современных реалиях, может еще компа и доступа в инет за инфой) А естествопытателям для поиска нового желательна еще мотивации в виде неразгаданных тайн природы, кот. является частью чего-то большего, находящегося за пределами чувственного восприятия, загадочной реальности. Но шутки в сторону, хотя в каждой шутке… Если серьезно, то позитивисты в пылу борьбе с метафизикой, готовы выбросить и вполне работающие в науке идеи. Ничего не имею против позитивизма, как методологии в научных исследованиях, более того, считаю себя в некоторых вопросах позитивистом-экстремалом) В обосновании существования реальности, непосредственно не доступной органам чувств, приведу несколько аргументов, разной степени очевидности.

                    1. Ее существование подтверждает история науки, в частности, физики. Подавляющее большинство экспериментов и наблюдений действительно проводятся в соответствии с некоторыми протоколами исследования, как того требует позитивистский подход, и создается ощущение некой рутинности и предсказуемости этих действий, в которых реальность никаким особым образом себя не проявляет. Как пример, открытие бозона Хиггса, обложили по всем правилам охоты, загнали, и поймали с 5 сигмами) Но есть еще случайные открытия, безо всяких протоколов исследования и теоретических представлений о возможных результатах, открытия для которых необходимые условия созрели, и это является делом времени и удачи. Вспоминается открытие радиоактивности, когда две вещи случайно положили рядом, фотопластину и соль урана, и получили неизвестный эффект. Таких открытий было не мало, причем фундаментального порядка, если еще учесть и непредвиденные результаты экспериментов, по типу результатов эксп. Майкельсона-Морли. Одно из последних — Темная материя. Говорить, что в этих случаях реальность себя никак не проявила весьма затруднительно. Проявила именно, как источник новых фактов, никак не предсказываемых и не объясняемых существующими теориями.

                    2. Реальность не только источник принципиально новых фактов и знаний, не сводящихся к имеющимся, но и некоторый предел к которому эти знания приближаются. Это следует из принципа соответствия, который регулирует наследование поколений теорий проверенных экспериментом и практикой применения. Он возник в физике, но его действие прослеживается и в др. науках, включая математику. Это конечно не означает, что в конечном итоге будет создана универсальная теория, кот. будет однозначно описывать всю реальность, то есть будет тождественна ей. Тем не менее повышение точности и всеохватности физических теорий указывает на существовании некого предела.

                    3. Еще один аргумент, чтобы говорить о существовании реальности без кавычек, частично связан с собственной с проф. деятельностью, и собственными предположениями на этот счет.
                    Заголовок спойлера
                    По образованию физик, но имею отношение к биомедицинским исследования, как разработчик психофизиологических методик в различных целях. Но в основном занимаюсь матобработкой результатов применения таких методик, включая в виртуальных средах. Некоторые из этих методик приближенно являются инструментальными аналогами восточных методик релаксации и саморегуляции состояния разных систем организма. Этот опыт двоякий, на границе двух реальностей, субъективной и внешней, и воздействии последней на первую на физиологическом уровне.
                    Думаю практически все физиологи и нейрофизиологи исследующие сенсорику (чувственное восприятие) и когнитивные процессы на вопрос существует ли нечто за пределами орг. чувств ответят утвердительно. Но будут отождествлять это с чувственно воспринимаемым миром, ссылаясь на психофизические законы (Вебера-Фехнера), описывающих связь величин внешних воздействий с интенсивностью возникающих ощущений, а за деталями механизмов этих воздействий отошлют к физикам. Вот такой дуализм) В действительности на базе физиологии и нейрофизиологии восприятия можно сделать некоторые предположения об устройстве реальности, и предложить технологические способы расширения ее восприятия. При этом еще необходимо учесть историю развития представлений о физической картине мира, с учетом способа расширения восприятия, кот. выработала сама наука, с помощью приборов усилителей воздействий, типа микроскопов и телескопов, и приборов преобразователей воздействий, типа пузырьковых камер и эл. микроскопов.
                    Тут я выступаю, скорее, как позитивист
                    В методологическом плане, считаю, в дополнении к эмпирическому подходу имеют смысл только принципы выработанные самой физикой — принципы дополнительности, соответствия, наблюдаемости (роли наблюдателя), относительности к средствам наблюдения, симметрии, и некоторые др. Однако за эмпирическим опытом должна стоять реальность (физическая реальность по определению Эйнштейна), иначе трудно понять источник новых фактов получаемых в экспериментах и наблюдениях, и наличия системообразующего фактора определяющего вектор развития теорий. Вот такой реалистичный позитивизм)

                    Различные течения позитивизма особенно бурно расцвели в конце 19 в, и первой половине 20-го, когда в результате создания Новой физики, особенно КМ, казалось, что реальность «исчезла», а философия не могла дать адекватные ответы на возникшие проблемы. Это конечно не так, реальность никуда не исчезла, а по нарастающей начал давать сбой дисциплинарный подход разделения наук о природе, а сами дисциплины еще не накопили достаточных знаний, чтобы найти решение, или хотя бы сформулировать комплексное понимание этой проблемы. Сейчас ситуация изменилась к лучшему, и науки о человеке знают о его физиологии, и в частности, о функционировании органов чувств и мозга гораздо больше, чем в те времена. Поэтому становится возможным некоторый междисциплинарный синтез в понимании проблемы реальности, расширения границ ее восприятия и познаваемости.
                    Постановку этого вопроса можно увидеть в принципе наблюдаемости (и вообще роли наблюдателя в физике), возникшего еще в клас. физике, и развитого во времена создании Новой. Однако для физиков роль наблюдателя в конечном итоге сводится к проблеме наблюдаемых величин в теориях, неизбежно связанных с чувственным восприятием, имеющих физический смысл, и как следствие измеримых (оцениваемых с помощью орг. чувств и/или измеримых с помощью приборов). Сам наблюдатель в физике, в каком либо виде, из-за чрезвычайной сложности, по понятным причинам отсутствует, и фактически скрывается за процедурой измерения, являясь скрытым инвариантом физических теорий.
                    С другой стороны физиологи и нейрофизиологи имея представление о чувственном восприятии и когнитивных функциях, и следовательно имея возможность интерпретировать физический смысл наблюдаемых величин в физ. теориях, например, величин массы или интенсивности светового потока, не имеют представления о самой реальности, кроме того, что она существует, и является внешней по отношению к субъекту-наблюдателю. Каким образом перекинуть мостик между этими двумя проявлениями одной сущности? И ответить на вопрос до каких пределов эта «исчезнувшая» физическая реальность, в виде, например, метрического тензора кривизны простр.-временного континуума ОТО, или квадрата модуля ВФ, как плот. вероятности локализации микрочастицы в КМ, может вновь проявить себя подобно обычным чувственно-воспринимаемый образам привычного окружающего мира, но не сводится к ним, а не как модельные представлениям физических теорий? Для того, чтобы получить ответ на этот вопрос, необходимо сначала понять по какой причине реальность «исчезла»? На это дает ответ принцип дополнительности, кот. был сформулирован Бором в 1927 г. для объяснения использования классических понятий волны и частицы в корпускулярно-волновом дуализме КМ. Собственно, именно применение принципа дополнительности привело к разрешению кризис клас. физики, и созданию теорий Новой физики. Естественно, такое утверждение можно сделать только анализируя историю того времени, так как в явном виде этот принцип был сформулирован позже времени драматической истории борьбы идей, заблуждений, и поиска решений путем проб и ошибок.

                    Далее, чтобы еще больше не распузыривать этот комент сделаю ссылку на ветку коментариев в одной из тем, где уже подробно писал о возможном решении проблемы расширения восприятия реальности. Не стоит думать, что эти предложения столь экзотичны, в этом направлении уже ведутся разработки, см. эту тему. Отличие в том, что они решают конкретные задачи медицинского и игрового характера, а не глобальную проблему расширенного восприятия реальности. И не на уровне новых модальностей ощущений, а уже имеющихся у человека. Но так и должно быть, средств на исследования и технологии в такой глобальной постановке вопроса пока вряд ли кто выделит) с учетом требований по этичности таких исследований на людях.


                  0
                  Число Pi, тоже записывается очень красиво при помощи рядов. Возьмите разложение арктангенса в ряд Тейлора или Дзета функцию, там еще можно получить формулу через произведение всех простых чисел. Необязательно, чтобы все фундаментальные числа имели красивое представление в бесконечной дроби.
                    0

                    В виде рядов, конечно, можно, причём неограниченным числом способов, и ни один из них не является универсальным для какого-либо широкого класса чисел, к которым относилось бы число пи. И, конечно, необязательно, но обидно :)

                    0
                    пожалуйста, исправьте «теория вероятности» на «теория вероятностей»
                      +1

                      Истребил неверных. Спасибо.

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое