Comments 4
У вас в первом пункте уравнения задвоились
Вроде как при автокорреляции и Var(ε|X) = R>0 применяется обобщенный метод МНК?
Немного не в тему МНК, но в тему прогнозирования. Google не давно выпустил модель TimesFM
https://github.com/google-research/timesfm
Они натренировали ее огромном массиве данных. Тут в виде разбирается эта работа
Ее идея аналогична LLM, но для time series. Обученная на огромном количестве разных временных рядов. Размерность около 200M параметров, обучение на 100 млрд точек временных рядов и разных доменах (Google Trends, Wikipedia, температура и все что смогли найти, включая синтетические данные). Поэтому может прогнозировать любой новый ряд без обучения.
Отличие в том, что обычные модели это t1 t2 t3 t4 t5 ... каждый временной шаг это токен. TimesFM разбивает временной ряд на patches [t1 t2 t3 t4] [t5 t6 t7 t8] [t9 t10 t11 t12] каждый patch это токен. Это дает меньше токенов, длинный контекст и главное лучше предсказание. Так как модель предсказывает сразу patche, то есть связанную последовательность шагов. Это снижает аккумуляцию ошибки.
Можно взять новый ряд и сразу прогнозировать, без обучения. Одна модель может работать с финансовыми рядами, продажами и другими данными. Patch decoding позволяет эффективно предсказывать длинные последовательности.
Из минусов только, что очень длинных прогнозов инференс может быть медленным и если в некоторых случаях обучить модель специально на одном датасете, она может обогнать TimesFM.
В виде это хорошо разобрано. Да, с МНК тут связь "слабая") но думаю что те кто пропустил модель и используют МНК для прогнозирования продаж, им это будет очень полезно.
Про статью, внесу небольшое уточнение:
если связь нелинейная, МНК может давать смещенные оценки
Это не совсем корректно. МНК остаётся корректным, если модель линейна по параметрам. Даже если зависимость сложная, например: y = β0 + β1*log(x) + β2*x^3. Тут можно переписать как y = X*β, где X=(1, log(x), x^3). Поэтому МНК применим.
Нелинейно, в правильном ключе она была бы при:
y = β0 + e^(β1*x)
или
y = β1*β2*x
или
y = x^β1
Теорема Гаусса‑Маркова и ее условия