Теорема Гаусса — Маркова

Формулировка теоремы для парной регрессии

Рассматривается модель парной регрессии, в которой наблюдения $Y$ связаны с $X$ следующей зависимостью: $Y_i={\beta }_1+{\beta }_2{X}_i+{\epsilon }_i$. На основе $n$ выборочных наблюдений оценивается уравнение регрессии ${\hat{Y}}_i={\hat{\beta }}_1+{\hat{\beta }}_2{X}_i$. Теорема Гаусса—Маркова гласит:

Если данные обладают следующими свойствами:

1. Модель данных правильно специфицирована; Шаблон:Переход
2. Все $X_i$ детерминированы и не все равны между собой; Шаблон:Переход
3. Ошибки не носят систематического характера, то есть $𝔼({\epsilon }_i\mid X_i)=0\mathrm{\forall }i$; Шаблон:Переход
4. Дисперсия ошибок одинакова и равна некоторой ${\sigma }^2$; Шаблон:Переход
5. Ошибки некоррелированы, то есть $\mathrm{C}\mathrm{o}\mathrm{v}({\epsilon }_i,{\epsilon }_j)=0\mathrm{\forall }i,j$; Шаблон:Переход

— то в этих условиях оценки метода наименьших квадратов оптимальны в классе линейных несмещённых оценок.

Пояснение к теореме

Шаблон:ЯкорьПервое условие: модель данных правильно специфицирована. Под этим словосочетанием понимается следующее:

• Модель состоит из фиксированной части $(Y=\alpha +\beta X)$ и случайной части $(\epsilon );$
• Модель данных линейна по $\alpha$ и $\beta$ ($\alpha$ и $\beta$ линейны по $Y$);
• Отсутствует недоопределённость (то есть ситуация, когда упущены важные факторы) и переопределённость (то есть когда, наоборот, приняты во внимание ненужные факторы); (отсутствие коллинеарности)
• Модель данных адекватна устройству данных (модель данных и устройство данных имеют одинаковую функциональную форму).

Устройство данных — это наблюдения случайной величины. Модель данных — это уравнение регрессии. «Иметь одинаковую функциональную форму» означает «иметь одинаковую функциональную зависимость». Например, если точки наблюдений очевидно расположены вдоль невидимой экспоненты, логарифма или любой нелинейной функции, нет смысла строить линейное уравнение регрессии.

Шаблон:ЯкорьВторое условие: все $X_i$ детерминированы и не все равны между собой. Если все $X_i$ равны между собой, то $X_i=\overline{X},$ и в уравнении оценки коэффициента наклона прямой в линейной модели в знаменателе будет ноль, из-за чего будет невозможно оценить коэффициенты ${\beta }_2$ и вытекающий из него ${\beta }_1.$ При небольшом разбросе переменных $X$ модель сможет объяснить лишь малую часть изменения $Y$. Иными словами, переменные не должны быть постоянными.

Шаблон:ЯкорьТретье условие: ошибки не носят систематического характера. Случайный член может быть иногда положительным, иногда отрицательным, но он не должен иметь систематического смещения ни в каком из двух возможных направлений для любых значений регрессора. Если уравнение регрессии включает постоянный член (${\beta }_1$), то безусловный аналог этого условия, $𝔼({\epsilon }_i)=0$, выполняется автоматически, так как постоянный член отражает любую систематическую, но постоянную составляющую в $Y$, которой не учитывают объясняющие переменные, включённые в уравнение регрессии.

Иногда это условие комбинируют вместе с первым условием в единую запись, задающую условное моментное ограничение: ${\epsilon }_i=Y_i-{\beta }_0-{\beta }_1{X}_i\Rightarrow 𝔼(Y_i-{\beta }_0-{\beta }_1{X}_i\mid X_i)=0$. Это условие называется экзогенностью $X$ в рамках данной модели или (в GMM-литературе) спецификацией модели через моментную функцию, линейную по параметрам (это предположение верности линейной спецификации, то есть экзогенности $X$, может быть протестировано только непараметрическими методами). В частности, из экзогенности $X$ следует ортогональность ошибки модели любой функции от $X$ из пространства всех функций: $𝔼[f(X_i){\epsilon }_i]=0\mathrm{\forall }f$. Из этого следует ортогональность ошибки линейным функциям $X$ и константе, то есть $𝔼[{\epsilon }_i]=0$, $𝔼[X_i{\epsilon }_i]=0$. Выборочные аналоги этих равенств, $\frac{1}{n}\sum _{i=1}^n{\epsilon }_i=0$, $\frac{1}{n}\sum _{i=1}^n{X}_i{\epsilon }_i=0$, являются условиями первого порядка для МНК-оценок, поэтому простая ортогональность регрессоров ошибке (более слабое условие, чем экзогенность) гарантирует состоятельность МНК-оценок.

Шаблон:ЯкорьЧетвёртое условие: дисперсия ошибок одинакова. Одинаковость дисперсии ошибок также принято называть гомоскедастичностью. Не должно быть априорной причины для того, чтобы случайный член порождал бо́льшую ошибку в одних наблюдениях, чем в других. Так как $𝔼({\epsilon }_i)=0\mathrm{\forall }i$ и теоретическая дисперсия отклонений ${\epsilon }_i$ равна $𝔼({\epsilon }_i^2),$ то это условие можно записать так: $𝔼({\epsilon }_i^2)={\sigma }_{\epsilon }^2\mathrm{\forall }i.$ Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена. Если рассматриваемое условие не выполняется, то коэффициенты регрессии, найденные по методу наименьших квадратов, будут неэффективны, а более эффективные результаты будут получаться путём применения модифицированного метода оценивания (взвешенный МНК или оценка ковариационной матрицы по формуле Уайта или Дэвидсона—Маккинона).

Шаблон:ЯкорьПятое условие: ${\epsilon }_i$ распределены независимо от ${\epsilon }_j$ при $i\ne j.$ Это условие предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если один случайный член велик и положителен в одном направлении, не должно быть систематической тенденции к тому, что он будет таким же великим и положительным (то же можно сказать и о малых, и об отрицательных остатках). Теоретическая ковариация ${\sigma }_{{\epsilon }_i,{\epsilon }_j}$ должна равняться нулю, поскольку ${\sigma }_{{\epsilon }_i,{\epsilon }_j}=𝔼(({\epsilon }_i-𝔼({\epsilon }_i))({\epsilon }_j-𝔼({\epsilon }_j)))=𝔼({\epsilon }_i{\epsilon }_j)-𝔼({\epsilon }_i)\cdot 𝔼({\epsilon }_j)=0.$ Теоретические средние для ${\epsilon }_i$ и ${\epsilon }_j$ равны нулю в силу третьего условия теоремы. При невыполнении этого условия оценки, полученные по методу наименьших квадратов, будут также неэффективны.

Выводы из теоремы:

• Эффективность оценки означает, что она обладает наименьшей дисперсией.
• Оценка линейна по наблюдениям $Y.$
• Несмещённость оценки означает, что её математическое ожидание равно истинному значению.

Формулировка теоремы для множественной регрессии

Если данные обладают следующими свойствами:

1. Модель правильно специфицирована (постоянная эластичность рассматривается как постоянная, или нет лишних переменных, или есть все важные переменные),
2. $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}(𝑿)=k$,
3. $𝔼({\mathit{\epsilon }}_i)=0$,
4. $\mathrm{C}\mathrm{o}\mathrm{v}(\mathit{\epsilon })={\sigma }^2𝑰$ (что влечёт гомоскедастичность),

— то в этих условиях оценки метода наименьших квадратов $\hat{\mathit{\beta }}$ являются лучшими в классе линейных несмещённых оценок (Best Linear Unbiased Estimators, BLUE).

В случае гетероскедастичности, если дисперсия ошибок явным образом зависит от независимой переменной, под критерий BLUE подпадает взвешенный МНК. При наличии же значительного количества выбросов наиболее эффективным может быть метод наименьших модулей.

Литература

• Шаблон:Книга
• Шаблон:Книга