Линейная регрессия

Пример линии (красная), построенной с использованием линейной регрессии

Линейная регрессия (Шаблон:Lang-en) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной $y$ от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) $x$ с линейной функцией зависимости.

Модель линейной регрессии является часто используемой и наиболее изученной в эконометрике. А именно изучены свойства оценок параметров, получаемых различными методами при предположениях о вероятностных характеристиках факторов, и случайных ошибок модели. Предельные (асимптотические) свойства оценок нелинейных моделей также выводятся исходя из аппроксимации последних линейными моделями. С эконометрической точки зрения более важное значение имеет линейность по параметрам, чем линейность по факторам модели.

Определение

Регрессионная модель

$y=f(x,b)+\epsilon ,$

где $b$ — параметры модели, $\epsilon$ — случайная ошибка модели; называется линейной регрессией, если функция регрессии $f(x,b)$ имеет вид

$f(x,b)=b_0+b_1{x}_1+b_2{x}_2+...+b_k{x}_k$,

где $b_j$ — параметры (коэффициенты) регрессии, $x_j$ — регрессоры (факторы модели), k — количество факторов моделиШаблон:Sfn.

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору, при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

$\mathrm{\forall }j{b}_j=\frac{\partial f}{\partial x_j}=const$

Параметр $b_0$, при котором нет факторов, называют часто константой. Формально — это значение функции при нулевом значении всех факторов. Для аналитических целей удобно считать, что константа — это параметр при «факторе», равном 1 (или другой произвольной постоянной, поэтому константой называют также и этот «фактор»). В таком случае, если перенумеровать факторы и параметры исходной модели с учетом этого (оставив обозначение общего количества факторов — k), то линейную функцию регрессии можно записать в следующем виде, формально не содержащем константу:

$f(x,b)=b_1{x}_1+b_2{x}_2+\dots +b_k{x}_k=\sum _{j=1}^k{b}_j{x}_j=x^{T}b$,

где $x^T=(x_1,x_2,...,x_k)$ — вектор регрессоров, $b=(b_1,b_2,\dots ,b_k{)}^T$ — вектор-столбец параметров (коэффициентов).

Линейная модель может быть как с константой, так и без константы. Тогда в этом представлении первый фактор либо равен единице, либо является обычным фактором соответственно.

Парная и множественная регрессия

В частном случае, когда фактор единственный (без учёта константы), говорят о парной или простейшей линейной регрессии:

$y_t=a+b{x}_t+{\epsilon }_t$

Когда количество факторов (без учёта константы) больше одного, то говорят о множественной регрессии:

$Y=b_0+b_1{x}_{i1}+...+b_j{x}_{ij}+...+b_k{x}_{ik}+e_i$

Примеры

Модель затрат организации (без указания случайной ошибки)

$TC=FC+VC=FC+v\cdot Q$

• $TC$ — общие затраты
• $FC$ — постоянные затраты (не зависящие от объёма производства)
• $VC$ — переменные затраты, пропорциональные объёму производства
• $v$ — удельные или средние (на единицу продукции) переменные затраты
• $Q$ — объём производства.

Простейшая модель потребительских расходов (Кейнс)

$C=a+bY+\epsilon$

• $C$ — потребительские расходы
• $Y$ — располагаемый доход
• $b$ — «предельная склонность к потреблению»
• $a$ — автономное (не зависящее от дохода) потребление.

Матричное представление

Пусть дана выборка объёмом n наблюдений переменных y и x. Обозначим t — номер наблюдения в выборке. Тогда $y_t$ — значение переменной y в t-м наблюдении, $x_{tj}$ — значение j-го фактора в t-м наблюдении. Соответственно, $x_t^T=(x_{t1},x_{t2},...,x_{tk})$ — вектор регрессоров в t-м наблюдении. Тогда линейная регрессионная зависимость имеет место в каждом наблюдении:

$y_t=b_1{x}_{t1}+b_2{x}_{t2}+...+b_k{x}_{tk}=\sum _{j=1}^k{b}_j{x}_{tj}=x_t^{T}b+{\epsilon }_t,E({\epsilon }_t)=0,t=1..n$

Введём обозначения:

$y=\left(\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right)$ — вектор наблюдений зависимой переменой y

$X=\left(\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1k}\\ x_{21}& x_{22}& ...& x_{2k}\\ ...\\ x_{n1}& x_{n2}& ...& x_{nk}\end{array}\right)$ — матрица факторов.

$\epsilon =\left(\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ...\\ {\epsilon }_n\end{array}\right)$ — вектор случайных ошибок.

Тогда модель линейной регрессии можно представить в матричной форме:

$y=Xb+\epsilon$

Классическая линейная регрессия

В классической линейной регрессии предполагается, что наряду со стандартным условием $E({\epsilon }_t)=0$ выполнены также следующие предположения (условия Гаусса — Маркова):

1. Гомоскедастичность (постоянная или одинаковая дисперсия) или отсутствие гетероскедастичности случайных ошибок модели: $V({\epsilon }_t)={\sigma }^2=const$
2. Отсутствие автокорреляции случайных ошибок: $\mathrm{\forall }i,j,i=jcov({\epsilon }_i,{\epsilon }_j)=0$

Данные предположения в матричном представлении модели формулируются в виде одного предположения о структуре ковариационной матрицы вектора случайных ошибок: $V(\epsilon )={\sigma }^2{I}_n$

Помимо указанных предположений, в классической модели факторы предполагаются детерминированными (нестохастическими). Кроме того, формально требуется, чтобы матрица $X$ имела полный ранг ($k$), то есть предполагается, что отсутствует полная коллинеарность факторов.

При выполнении классических предположений обычный метод наименьших квадратов позволяет получить достаточно качественные оценки параметров модели, а именно: они являются несмещёнными, состоятельными и наиболее эффективными оценками.

Методы оценки

• Метод наименьших квадратов
• Обобщенный метод наименьших квадратов
• Метод инструментальных переменных
• Метод максимального правдоподобия
• Метод моментов
• Обобщенный метод моментов
• Квантильная регрессия

См. также

• Регрессионный анализ

Литература

• Шаблон:Книга
• Шаблон:Книга