Производящая функция моментов: что это и как она используется в анализе распределений / Хабр

Производящая функция моментов (moment-generation functions) - это функция, которая служит альтернативным способом задания распределения вероятностей случайной величины. (Далее MGF - производящая функция моментов)

Идея моментов

Допустим, у нас есть случайная величина . Математическое ожидание $\operatorname{E}[W]$ и дисперсия $\operatorname{Var}[W]$ это разные “моменты” случайной величины. Моменты, в свою очередь это числовые характеристики, которые описывают форму распределения случайной величины. Тогда $\operatorname{E}[W]$ первый момент относительно начала координат, а $\operatorname{Var}[W]$ связан со вторым моментом относительно среднего. По определению, $\operatorname{E}[W^r]$ дает -й момент случайной величины относительно начала координат. То есть, при = 1: $\operatorname{E}[W^1] = \operatorname{E}[W]$ . Когда стремится к бесконечности, вычислять $\operatorname{E}[W^r]$ очень сложно, потому что функция очень резко усиливает хвосты распределения, маленькие отклонения становятся огромными, и интеграл может просто расходиться. К счастью, есть функция

$M_W(t) = E(e^{tW})$

Производящая функция моментов - это функция, которая “собирает” все моменты в одну формулу.

Производящая функция моментов

Здесь, - это технический параметр, который нужен только для удобства вычисления моментов. Давайте разложим $e^{tW}$ в ряд Тейлора:

$e^{tW} = 1 + tW + \frac{t^2W^2}{2!} + \frac{t^3W^3}{3!} + \dots$

Возьмем математическое ожидание обеих частей:

$M_W(t) = E(e^{tW}) = 1 + tE[W] + \frac{t^2E[W^2]}{2!} + \dots$

Теперь дифференцируем по :

$M_W'(t) = E[W] + tE[W^2] + \dots$

Если мы подставим , то все члены с обнуляются!

А если мы возьмем вторую производную функции в точке , то получим , отсюда можно и найти дисперсию

Производящая функция моментов существует только если $E(e^{tW}) < \infty$ в какой-то окрестности нуля. Например, у распределения Коши MGF не существует вообще, интеграл расходится при любом $t \neq 0$ .

Плотность вероятности распределение Коши

Из ряда Тейлора видно, что коэффициент при это $\frac{E[W^r]}{r!}$ .

Значит если продифференцировать ровно раз по и подставить , все члены кроме одного обнуляются и останется:

$M^{(r)}_W (0) = E[W^r]$

Производящая функция моментов суммы независимых величин перемножаются

Если и независимы, то:

$M_{V + W}(t) = M_V(t) \times M_W(t)$

Доказательство

$M_{V+W}(t) = E[e^{t(V+W)}] = E[e^{tV} \cdot e^{tW}] = E[e^{tV}] \cdot E[e^{tW}] = M_V(t) \cdot M_W(t)$

Это удобно потому что считать сумму случайных величин напрямую сложно, а перемножить две функции легко.

Пример

Экспоненциальное распределение $W \sim \text{Exp}(\lambda)$ . Плотность: $f(x) = \lambda e^{-\lambda x}, \quad x \ge 0$ . По определению производящей функции моментов:

$M_W(t) = \mathbb{E}(e^{tW}) = \int_{0}^{\infty} e^{tx} \lambda e^{-\lambda x} dx$

Упрощаем:

$M_W(t) = \lambda \int_{0}^{\infty} e^{-(\lambda - t)x} dx$

Это стандартный интеграл от экспоненты $\int_{0}^{\infty} e^{-ax} dx = \frac{1}{a}, \quad a > 0$ . Здесь $a = \lambda - t$ , значит нужно $t < \lambda$ . Получаем: