Линейная регрессия и методы её восстановления

[ooprizrakoo]

как можно этого не увидеть?

[mikeus]

Кстати, это называется методом наименьших квадратов. Зачастую все приведенные выше рассуждения опускаются и просто используется этот метод.

МНК сам по себе есть просто самостоятельный метод аппроксимации. В данном случае к нему все сводится только из-за вида показателя экспоненты в формуле нормального распределения в связи с упоминанием про метод максимального правдоподобия.

[dmitrievanthony]

Здесь важно понимать, что применяя метод наименьших квадратов мы предполагаем что шум имеет нормальное распределение. Если это не так, то нужно использовать другой подход.

[mikeus]

Я как раз и хотел уточнить, что связь: предположение о нормальном распределении шума для метода максимального правдоподобия ==> МНК — не более чем математическое совпадение. МНК — просто метод аппроксимации, и не обязательно линейной. Обратной глубинной связи от МНК к чему либо относительно шумов и прочего нет ни какой. Если так хочется использовать какие-то предположения о распределении шумов, то этого и надо плясать и соответственно как основную идею выносить в заголовок.

[AC130]

Конечно это метод аппроксимации. Однако когда шумы распределены нормально, этот метод аппроксимации даёт не просто какую-то оценку, а оценку ML. Использование МНК является следствием использования оценки ML.

[mikeus]

x

[Costic]

Если бы вы картинки добавили, то было бы шикарно!

Но я не понял, где же на практике у вас применяются эти методы и для каких задач, каких объёмов данных?

[dmitrievanthony]

Картинка правда хорошая, учту. На практике все это реализовывалось для Apache Ignite, а примеры можно посмотреть здесь.

[frobeniusfg]

Кажется, в ряде формул в разделе «Метод максимального правдоподобия» пропущен индекс i возле a и b, хотя по нему берется произведение.

[dmitrievanthony]

Спасибо, поправил.