Регрессионный анализ

Шаблон:К объединению Шаблон:Не путать Регрессио́нный анализ — набор статистических методов исследования влияния одной или нескольких независимых переменных $X_1,X_2,\mathrm{...},X_p$ на зависимую переменную $Y$. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными или регрессантами. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных (см. Корреляция), а не причинно-следственные отношения. Наиболее распространённый вид регрессионного анализа — линейная регрессия, когда находят линейную функцию, которая, согласно определённым математическим критериям, наиболее соответствует данным. Например, в методе наименьших квадратов вычисляется прямая (или гиперплоскость), сумма квадратов отклонений между которой и данными минимальна.

Цели регрессионного анализа

1. Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)
2. Предсказание значения зависимой переменной с помощью независимой(-ых)
3. Определение вклада отдельных независимых переменных в вариацию зависимой

Математическое определение регрессии

Строго регрессионную зависимость можно определить следующим образом. Пусть $Y,X_1,X_2,\dots ,X_p$ — случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений $X_1=x_1,X_2=x_2,\dots ,X_p=x_p$ определено условное математическое ожидание

$y(x_1,x_2,\dots ,x_p)=𝔼(Y\mid X_1=x_1,X_2=x_2,\dots ,X_p=x_p)$ (уравнение регрессии в общем виде),

то функция $y(x_1,x_2,\dots ,x_p)$ называется регрессией величины $Y$ по величинам $X_1,X_2,\dots ,X_p$, а её график — линией регрессии $Y$ по $X_1,X_2,\dots ,X_p$, или уравнением регрессии.

Зависимость $Y$ от $X_1,X_2,\dots ,X_p$ проявляется в изменении средних значений $Y$ при изменении $X_1,X_2,\dots ,X_p$. Хотя при каждом фиксированном наборе значений $X_1=x_1,X_2=x_2,\dots ,X_p=x_p$ величина $Y$ остаётся случайной величиной с определённым распределением.

Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение $Y$ при изменении $X_1,X_2,\mathrm{...},X_p$, используется средняя величина дисперсии $Y$ при разных наборах значений $X_1,X_2,\mathrm{...},X_p$ (фактически речь идёт о мере рассеяния зависимой переменной вокруг линии регрессии).

В матричной форме уравнение регрессии (УР) записывается в виде: $Y=BX+U$, где $U$ — матрица ошибок. При обратимой матрице X◤X получается вектор-столбец коэффициентов B с учётом U◤U=min(B). В частном случае для Х=(±1) матрица X◤X является рототабельной, и УР может быть использовано при анализе временны́х рядов и обработке технических данных.

Метод наименьших квадратов (расчёт коэффициентов)

На практике линия регрессии чаще всего ищется в виде линейной функции $Y=b_0+b_1{X}_1+b_2{X}_2+\dots +b_N{X}_N$ (линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых $Y$ от их оценок $\hat{Y}$ (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):

$\sum _{k=1}^M(Y_k-\widehat{Y_k}{)}^2\to min$

($M$ — объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда $Y=y(x_1,x_2,\mathrm{...}{x}_N)$.

Для решения задачи регрессионного анализа методом наименьших квадратов вводится понятие функции невязки:

$\sigma (\overline{b})=\frac{1}{2}\sum _{k=1}^M(Y_k-{\hat{Y}}_k{)}^2$

Условие минимума функции невязки:

$\{\begin{array}{c}\frac{\partial \sigma (\overline{b})}{\partial b_i}=0\\ i=\mathrm{0...}N\end{array}\iff \{\begin{array}{c}\sum _{i=1}^M{y}_i=\sum _{i=1}^M\sum _{j=1}^N{b}_j{x}_{i,j}+b_{0}M\\ \sum _{i=1}^M{y}_i{x}_{i,k}=\sum _{i=1}^M\sum _{j=1}^N{b}_j{x}_{i,j}{x}_{i,k}+b_0\sum _{i=1}^M{x}_{i,k}\\ k=1,\dots ,N\end{array}$

Полученная система является системой $N+1$ линейных уравнений с $N+1$ неизвестными $b_0,\dots ,b_N$.

Если представить свободные члены левой части уравнений матрицей

$B=\left(\begin{array}{c}\sum _{i=1}^M{y}_i\\ \sum _{i=1}^M{y}_i{x}_{i,1}\\ ⋮\\ \sum _{i=1}^M{y}_i{x}_{i,N}\end{array}\right),$

а коэффициенты при неизвестных в правой части — матрицей

$A=\left(\begin{array}{ccccc}M& \sum _{i=1}^M{x}_{i,1}& \sum _{i=1}^M{x}_{i,2}& \mathrm{...}& \sum _{i=1}^M{x}_{i,N}\\ \sum _{i=1}^M{x}_{i,1}& \sum _{i=1}^M{x}_{i,1}{x}_{i,1}& \sum _{i=1}^M{x}_{i,2}{x}_{i,1}& \mathrm{...}& \sum _{i=1}^M{x}_{i,N}{x}_{i,1}\\ \sum _{i=1}^M{x}_{i,2}& \sum _{i=1}^M{x}_{i,1}{x}_{i,2}& \sum _{i=1}^M{x}_{i,2}{x}_{i,2}& \mathrm{...}& \sum _{i=1}^M{x}_{i,N}{x}_{i,2}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ \sum _{i=1}^M{x}_{i,N}& \sum _{i=1}^M{x}_{i,1}{x}_{i,N}& \sum _{i=1}^M{x}_{i,2}{x}_{i,N}& \mathrm{...}& \sum _{i=1}^M{x}_{i,N}{x}_{i,N}\end{array}\right),$

то получаем матричное уравнение: $A\times X=B$, которое легко решается методом Гаусса. Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии:

$X=\left(\begin{array}{c}{b}_0\\ b_1\\ ⋮\\ b_N\end{array}\right)$

Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий Гаусса — Маркова). В англоязычной литературе такие оценки называются Шаблон:Lang-en2 (Шаблон:Lang-en2 — «наилучшие линейные несмещённые оценки»). Большинство исследуемых зависимостей может быть представлено с помощью МНК нелинейными математическими функциями.

Интерпретация параметров регрессии

Параметры $b_i$ являются частными коэффициентами корреляции; $(b_i{)}^2$ интерпретируется как доля дисперсии Y, объяснённая $X_i$, при закреплении влияния остальных предикторов, то есть измеряет индивидуальный вклад $X_i$ в объяснение Y. В случае коррелирующих предикторов возникает проблема неопределённости в оценках, которые становятся зависимыми от порядка включения предикторов в модель. В таких случаях необходимо применение методов анализа корреляционного и пошагового регрессионного анализа.

Говоря о нелинейных моделях регрессионного анализа, важно обращать внимание на то, идёт ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьёзные вычислительные трудности). При нелинейности первого вида с содержательной точки зрения важно выделять появление в модели членов вида $X_1{X}_2$, $X_1{X}_2{X}_3$, свидетельствующее о наличии взаимодействий между признаками $X_1$, $X_2$ и т. д. (см. Мультиколлинеарность).

См. также

• Корреляция
• Мультиколлинеарность
• Автокорреляция
• Перекрёстная проверка
• Линейная регрессия на корреляции

Литература

• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Книга