![](https://habrastorage.org/webt/vf/9p/zh/vf9pzhtktw94nh8nfcytj0_th7i.png)
Вспомним некоторые определения математической статистики
Пусть задано вероятностное пространство
Определение 1:
Случайной величиной
Определение 2:
Выборочное пространство — это пространство всех возможных значений наблюдения или выборки вместе с
Обозначение:
Определённые на вероятностном пространстве
В задачах математической статистики известно семейство вероятностных мер
Определение 3:
Статистическая модель — совокупность, состоящая из выборочного пространства и семейства определённых на нём вероятностных мер.
Обозначение:
Пусть
Выборку
Пусть
Определение 4:
Эмпирическим распределением, построенным по выборке X, называется вероятностная мера
То есть
Определение 5:
Выборочным моментом порядка
Определение 6:
Выборочный центральный момент порядка
В машинном обучении многие задачи заключаются в том, чтобы по имеющимся данным научиться подбирать параметр
В реальной жизни часто распределение ошибок имеет нормальное распределение. Для некоторого обоснования приведём формулировку центральной предельной теоремы.
Теорема 1 (ЦПТ):
Если случайные величины
Ниже сформулируем метод максимального правдоподобия и рассмотрим его работу на примере семейства нормальных распределений.
Метод максимального правдоподобия
Пусть для статистической модели
- если
, то
;
- существует такая мера
на
, относительно которой для любой меры
,
, существует плотность
, то есть
.
Определение 7:
Оценкой максимального правдоподобия (о.м.п)
Определение 8:
Функция
Эти функции достигают максимума при одних и тех же значениях
Пример:
Если внимательно посмотреть на формулу
Список используемой литературы:
- Конспект лекций по математической статистике, автор неизвестен;
- «Глубокое обучение. Погружение в мир нейронных сетей», С. Никуленко, А. Кадурин, Е. Архангельская, ПИТЕР, 2018.