slava_py Nov 3 2019 at 23:05

Конспект по «Машинному обучению». Теория вероятностей. Формула Байеса

2 min

8.6K

Теория вероятностей. Формула Байеса

Пусть проводится некоторый эксперимент.

$inline$ — элементарные события (элементарные исходы эксперимента).
$\Omega = \{w_i\}_{i =1}^N$ — пространство элементарных событий (совокупность всевозможных элементарных исходов эксперимента).

Определение 1:

Система множеств $\Sigma$ называется сигма-алгеброй, если выполняются следующие свойства:

$\Omega \in \Sigma;$
$A \in \Sigma \Rightarrow \overline{A} \in \Sigma;$
$A_1, A_2, ... \in \Sigma \Rightarrow \bigcup\limits_{i=1}^\infty A_i \in \Sigma.$

Из свойств 1 и 2 определения 1 следует, что $\emptyset \in \Sigma$ . Из свойств 2 и 3 определения 1 следует, что $\bigcap\limits_{i=1}^\infty A_i \in \Sigma\space($ т.к. $A_i \in \Sigma \Rightarrow_{св.2} \overline{A_i} \in \Sigma \Rightarrow_{св.3} \bigcup\limits_{i=1}^\infty \overline{A_i} \in \Sigma \Rightarrow_{св.2} \\ \Rightarrow_{св.2} \overline{\bigcup\limits_{i=1}^\infty \overline{A_i}} \in \Sigma \Rightarrow \bigcap\limits_{i=1}^\infty A_i \in \Sigma).$

Определение 2:

$inline$ — событие $\forall A \in \Sigma;$
— вероятностная мера (вероятность), если:
1. $P(\Sigma) = 1;$
2. $\forall A \in \Sigma \space\space P(A) \geqslant 0;$
3. $\{A_i\}_{i=1}^\infty, \space A_i \in \Sigma, \space A_i \cap A_j = \emptyset$ при $i \not= j \Rightarrow P(\bigcup\limits_{i=1}^\infty A_i) = \sum\limits_{i=1}^\infty P(A_i).$

Свойства вероятности:

$P(A) \leqslant 1;$
$P(A) = 1-P(\overline{A});$
$P(\emptyset) = 0;$
$A \subseteq B \Rightarrow P(A) \leqslant P(B);$
$P(A \cup B) = P(A) + P(B)-P(A \cap B);$
$\forall \{A_i\}_{i=1}^N \\ \space\space P(\bigcup\limits_{i=1}^N A_i) = \sum\limits_{i=1}^NP(A_i)-\sum\limits_{i < j} P(A_i \cap A_j) + \sum\limits_{i < j < k}P(A_i \cap A_j \cap A_k)-... +\\+ (-1)^{n-1}P(A_1 \cap A_2 \cap ... \cap A_n);$
$\forall \{A_i\}_{i=1}^\infty\colon( A_{i+1} \subseteq A_i,\space \bigcap\limits_{i=1}^\infty A_i = \emptyset) \space\space\space \lim\limits_{i \to \infty}P(A_i) = 0.$

Определение 3:

$(\Omega, \Sigma, P)$ — вероятностное пространство.

Определение 4:

$\forall A,B \in \Sigma: P(B) > 0$
$\qquad P(A|B) = \frac{P(AB)}{P(B)}$ — условная вероятность события $inline$ при условии события $inline$ .

Определение 5:

Пусть для $\{A_i\}_{i=1}^N$ , где $\forall i \in \overline{1,N} A_i \in \Sigma$ , выполняется $\forall i,j \in \overline {1,N} \space A_i \cap A_j = \emptyset$ и $\bigcup\limits_{i=1}^N A_i = \Omega$ . Тогда $\{A_i\}_{i=1}^N$ называется разбиением пространства элементарных событий.

Теорема 1 (формула полной вероятности):

$\{A_i\}_{i=1}^N$ — разбиение пространства элементарных событий, $\forall i \in \overline{1,N} \space P(A_i) > 0$ .
Тогда $\forall B \in \Sigma \quad P(B) = \sum\limits_{i=1}^NP(B|A_i)P(A_i)$ .

Теорема 2 (формула Байеса):

$\{A_i\}_{i=1}^N$ — разбиение пространства элементарных событий, $\forall i \in \overline{1,N} \space P(A_i) > 0$ .

Тогда $\forall B \in \Sigma\colon P(B) > 0 \quad P(A_i|B) = \frac{P(B|A_i)P(A_i)}{\sum\limits_{i=1}^N P(B|A_i)P(A_i)} = \frac{P(B|A_i)P(A_i)}{P(B)}$ .

С помощью формулы Байеса можно переоценить априорные вероятности ( $inline$ ), исходя из наблюдений ( $inline$ ), и получить совершенно новое представление о реальности.

Пример:

Предположим, что имеется тест, который применяется к человеку индивидуально и определяет: заражён он вирусом «X» или нет? Будем считать, что тест завершился успехом, если он вынес правильный вердикт для конкретного человека. Известно, что этот тест имеет вероятность успеха 0.95, а 0.05 — это вероятность как ошибки первого рода (false positive, т.е. тест вынес положительный вердикт, а человек здоров), так и ошибки второго рода (false negative, т.е. тест вынес отрицательный вердикт, а человек болен). Для ясности, положительный вердикт = тест «сказал», что человек заражён вирусом. Также, известно, что данным вирусом заражён 1% населения. Пусть некоторый человек получил положительный вердикт теста. С какой вероятностью он действительно болен?

Обозначим: $inline$ — результат теста, $inline$ — наличие вируса. Тогда по формуле полной вероятности:

$display$

По теореме Байеса:

$P(d=1|t=1)=\frac{P(t=1|d=1)P(d=1)}{P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)}=\\=\frac{0.95\times0.01}{0.95\times0.01+0.05\times0.99}=0.16$

Получается, что вероятность оказаться заражённым вирусом «X» при условии положительного вердикта теста равна 0.16. Почему такой результат? Изначально, человек с вероятностью 0.01 заражён вирусом «X» и еще с вероятностью 0.05 тест ошибётся. То есть, в случае, когда всего 1% населения заражён данным вирусом, вероятность ошибки теста, равная 0.05, оказывает существенное влияние на вероятность того, что человек действительно болен при условии, что тест дал положительный результат.

Список используемой литературы:

«Основы теории вероятностей. Учебное пособие», М.Е. Жуковский, И.В. Родионов, МФТИ, МОСКВА, 2015;
«Глубокое обучение. Погружение в мир нейронных сетей», С. Никуленко, А. Кадурин, Е. Архангельская, ПИТЕР, 2018.

Tags:

Hubs:

If this publication inspired you and you want to support the author, do not hesitate to click on the button