Просмотр кода страницы Дисперсионный анализ

'''Дисперсионный анализ''' — метод в [[Математическая статистика|математической статистике]], направленный на поиск зависимостей в экспериментальных данных путём исследования [[Статистическая значимость|значимости]] различий в [[Среднее значение|средних значениях]]<ref>{{cite web
 |url         = http://www.statsoft.ru/home/textbook/modules/stanman.html#basic
 |title         = Дисперсионный анализ
 |access-date         = 2011-03-15
 |archive-date         = 2012-05-23
 |archive-url         = https://web.archive.org/web/20120523090938/http://www.statsoft.ru/home/textbook/modules/stanman.html#basic
 |deadlink         = no
 }}</ref><ref>{{Источник/БСЭ
|ссылка=http://bse.sci-lib.com/article029082.html
|название=Дисперсионный анализ (в математике)
|автор=Большев, Л. Н.
}}</ref>. В отличие от [[t-критерий Стьюдента|t-критерия]], позволяет сравнивать средние значения трёх и более групп. Разработан [[Фишер, Рональд Эйлмер|Р. Фишером]] для анализа результатов экспериментальных исследований. В литературе также встречается обозначение ANOVA (от {{lang-en|ANalysis Of VAriance}})<ref>А. Д. Наследов. Математические методы психологического исследования. СПб, 2008. ISBN 5-9268-0275-X</ref>.

== Типы дисперсионного анализа ==
Суть дисперсионного анализа сводится к изучению влияния одной или нескольких [[Независимая и зависимая переменные|независимых переменных]], обычно именуемых факторами, на [[Независимая и зависимая переменные|зависимую переменную]]. Зависимые переменные представлены значениями абсолютных [[Шкала|шкал]] (шкала отношений). Независимые переменные являются номинативными (шкала наименований), то есть отражают групповую принадлежность, и могут иметь два или более значения (типа, градации или уровня). Примерами независимой переменной <math>X_i</math> с двумя значениями могут служить пол (женский: <math>X_1</math>, мужской: <math>X_2</math>) или тип экспериментальной группы (контрольная: <math>X_1</math>, экспериментальная: <math>X_2</math>). Градации, соответствующие независимым выборкам объектов, называются межгрупповыми, а градации, соответствующие зависимым выборкам, — внутригрупповыми.

В зависимости от типа и количества переменных различают:

* однофакторный и многофакторный дисперсионный анализ (одна или несколько независимых переменных);
* одномерный и многомерный дисперсионный анализ (одна или несколько зависимых переменных);
* дисперсионный анализ с повторными измерениями (для зависимых выборок);
* дисперсионный анализ с постоянными факторами, случайными факторами, и смешанные модели с факторами обоих типов;

== Математическая модель дисперсионного анализа ==
Математическая модель дисперсионного анализа представляет собой частный случай [[Основная линейная модель|основной линейной модели]]. Пусть с помощью методов <math> A_j\ (1\leq j \leq m) </math> производится измерение нескольких параметров <math> x_i\ (1\leq i \leq n) </math>, чьи точные значения — <math>\mu_i\ (1\leq i \leq n) </math>. В таком случае результаты измерений различных величин различными методами можно представить как:

<math>
x_{i,j} = \mu_{i} + a_{i,j} + e_{i,j}
</math>,

где:
* <math>x_{i,j}</math> — результат измерения <math>i</math>-го параметра по методу <math>A_{j}</math>;
* <math>\mu_{i}</math> — точное значение <math>i</math>-го параметра;
* <math>a_{i,j}</math> — систематическая ошибка измерения <math>i</math>-го параметра в группе по методу <math>A_{j}</math>;
* <math>e_{i,j}</math> — случайная ошибка измерения <math>i</math>-го параметра по методу <math>A_{j}</math>.

Тогда дисперсии следующих случайных величин:<br>
<math>x_{i,j}</math><br>
<math>x_{i,j} - x_{i,*} - x_{*,j} + x_{*,*}</math><br>
<math>x_{i,*}</math><br>
<math>x_{*,j}</math><br> (где:

<math>
x_{*,j} = \frac{1}{n} \sum_{i} x_{i,j},
</math>

<math>
x_{i,*} = \frac{1}{m} \sum_{j} x_{i,j},
</math>

<math>
x_{*,*} = \frac{1}{nm} \sum_{i, j} x_{i,j}
</math>)

выражаются как:

<math>
s^{2} = \frac{1}{nm} \sum_{i} \sum_{j} ( x_{i,j} - x_{*,*} )^{2}
</math>

<math>
s_{0}^2 = \frac{1}{nm} \sum_{i} \sum_{j} ( x_{i,j} - x_{i,*} - x_{*,j} + x_{*,*} )^{2}
</math>

<math>
s_{1}^2 = \frac{1}{n} \sum_{i} ( x_{i,*} - x_{*,*} )^{2}
</math>

<math>
s_{2}^2 = \frac{1}{m} \sum_{j} ( x_{*,j} - x_{*,*} )^{2}
</math>

и удовлетворяют тождеству:

<math>
s^2 = s_{0}^2 + s_{1}^2 + s_{2}^2
</math>

Процедура дисперсионного анализа состоит в определении соотношения систематической (межгрупповой) дисперсии к случайной (внутригрупповой) дисперсии в измеряемых данных. В качестве показателя изменчивости используется сумма квадратов отклонения значений параметра от среднего: <math>SS</math> (от [[английский язык|англ.]] ''Sum of Squares''). Можно показать, что общая сумма квадратов <math>SS_\textrm{total}</math> раскладывается на межгрупповую сумму квадратов <math>SS_\textrm{bg}</math> и внутригрупповую сумму квадратов <math>SS_\textrm{wg}</math>:

<math>
SS_\textrm{total} = SS_\textrm{bg} + SS_\textrm{wg}
</math>

Пусть точное значение каждого параметра есть его математическое ожидание, равное среднему [[генеральная совокупность|генеральной совокупности]] <math>E(X) = M</math>. При отсутствии систематических ошибок групповое среднее и среднее генеральной совокупности тождественны: <math>M_{j} = M</math>. Тогда случайная ошибка измерения есть разница между результатом измерения <math>x_{i,j}</math> и средним группы: <math>x_{i,j} - M_j</math>. Если же метод <math>A_j</math> оказывает систематическое воздействие, то систематическая ошибка при воздействии этого фактора есть разница между средним группы <math>M_j</math> и средним генеральной совокупности: <math>M_j - M</math>.

Тогда уравнение <math>x_{i,j} = \mu_{i} + a_{i,j} + e_{i,j}</math> может быть представлено в следующем виде:

<math>x_{i,j} = M + (M_j - M) + (x_{i,j} - M_j)</math>, или

<math>x_{i,j} - M = (M_j - M) + (x_{i,j} - M_j)</math>.

Тогда

<math>
\begin{align}
\sum_{i = 1}^{n_j} (x_{i,j} - M)^2 &= \sum_{i = 1}^{n_j} (M_j - M)^2 + \sum_{i = 1}^{n_j} (x_{i,j} - M_j)^2 ,\\
\end{align}
</math>

где

<math>
SS_\textrm{total} = \sum_{i = 1}^{n_j} (x_{i,j} - M)^2
</math>

<math>
SS_\textrm{bg} = \sum_{i = 1}^{n_j} (M_j - M)^2
</math>

<math>
SS_\textrm{wg} = \sum_{i = 1}^{n_j} (x_{i,j} - M_j)^2
</math>

Следовательно

<math>
SS_\textrm{total} = SS_\textrm{bg} + SS_\textrm{wg}.
</math>

Аналогичным образом раскладываются степени свободы:

<math>
df_\textrm{total} = df_\textrm{bg} + df_\textrm{wg},
</math> где

<math>
df_\textrm{total} = N - 1,
</math>

<math>
df_\textrm{bg} = J - 1,
</math>

<math>
df_\textrm{wg} = N - J,
</math>

и <math>N</math> есть объём полной выборки, а <math>J</math> — количество групп.

Тогда дисперсия каждой части, именуемая в модели дисперсионного анализа как «средний квадрат», или <math>MS</math> (от [[английский язык|англ.]] ''Mean Square''), есть отношение суммы квадратов к числу их степеней свободы:

<math>
MS_\textrm{total} = \frac {SS_\textrm{total}}{N - 1}
</math>

<math>
MS_\textrm{bg} = \frac {SS_\textrm{bg}}{J - 1}
</math>

<math>
MS_\textrm{wg} = \frac {SS_\textrm{wg}}{N - J},
</math>

Соотношение межгрупповой и внутригрупповой дисперсий имеет ''F''-распределение ([[распределение Фишера]]) и определяется при помощи ([[критерий Фишера|''F''-критерия Фишера]]):

<math>F_{df_\textrm{bg},df_\textrm{wg}}=\frac {MS_\textrm{bg}}{MS_\textrm{wg}}.</math>

== Принципы и применение ==
Исходными положениями дисперсионного анализа являются
* нормальное распределение значений изучаемого признака в генеральной совокупности;
* равенство дисперсий в сравниваемых генеральных совокупностях;
* случайный и независимый характер выборки.

[[Нулевая гипотеза|Нулевой гипотезой]] в дисперсионном анализе является утверждение о равенстве средних значений:

<math>
H_0{:}\quad \mu_1 = \mu_2 = \dots = \mu_j.
</math>

При отклонении нулевой гипотезы принимается альтернативная гипотеза о том, что не все средние равны, то есть имеются, по крайней мере, две группы, отличающиеся средними значениями:

<math>H_1{:} \exists i,j \in \{1,...,j\}, i \ne j:  \mu_i \ne \mu_j.</math>

При наличии трёх и более групп для определения различий между средними применяются ''post-hoc [[t-критерий Стьюдента|t]]''[[t-критерий Стьюдента|-тесты]] или метод контрастов.

== Однофакторный дисперсионный анализ ==
Простейшим случаем дисперсионного анализа является одномерный однофакторный анализ для двух или нескольких независимых групп, когда все группы объединены по одному признаку. В ходе анализа проверяется [[нулевая гипотеза]] о равенстве средних. При анализе двух групп дисперсионный анализ тождественен двухвыборочному [[t-критерий Стьюдента|''t''-критерию Стьюдента]] для независимых выборок, и величина ''F''-статистики равна квадрату соответствующей [[t-критерий Стьюдента|''t''-статистики]].

Для подтверждения положения о равенстве дисперсий обычно применяется критерий Ливена (''Levene’s test''). В случае отвержения гипотезы о равенстве дисперсий основной анализ неприменим. Если дисперсии равны, то для оценки соотношения межгрупповой и внутригрупповой изменчивости применяется [[критерий Фишера|''F''-критерий Фишера]]:

<math>F_{df_\textrm{bg},df_\textrm{wg}}=\frac {MS_\textrm{bg}}{MS_\textrm{wg}}.</math>

Если ''F''-статистика превышает критическое значение, то нулевая гипотеза не может быть принята (отвергается) и делается вывод о неравенстве средних. При анализе средних двух групп результаты могут быть интерпретированы непосредственно после применения [[F-тест|критерия Фишера]].

При наличии трёх и более групп требуется попарное сравнение средних для выявления статистически значимых отличий между ними. Априорный анализ включает метод контрастов, при котором межгрупповая сумма квадратов дробится на суммы квадратов отдельных контрастов:

<math>
SS_\textrm{bg} = SS_{\psi_1} + SS_{\psi_2} + ... + SS_{\psi_n},
</math>

где <math>\psi</math> есть контраст между средними двух групп, и затем при помощи [[критерий Фишера|критерия Фишера]] проверяется соотношение среднего квадрата для каждого контраста к внутригрупповому среднему квадрату:

<math>F_{1,df_\textrm{wg}}=\frac {MS_{\psi_i}}{MS_\textrm{wg}}.</math>

Апостериорный анализ включает ''post-hoc t''-критерии по методам [[Бонферрони, Карло Эмилио|Бонферрони]] или Шеффе, а также сравнение разностей средних по методу Тьюки. Особенностью ''post-hoc''-тестов является использование внутригруппового среднего квадрата <math>MS_\textrm{wg}</math> для оценки любых пар средних. Тесты по методам Бонферрони и Шеффе являются наиболее консервативными, так как они используют наименьшую [[Проверка статистических гипотез|критическую область]] при заданном [[уровень значимости|уровне значимости]] <math>\alpha</math>.

Помимо оценки средних дисперсионный анализ включает определение коэффициента детерминации <math>R^2</math>, показывающего, какую долю общей изменчивости объясняет данный фактор:

<math>R^2=\frac {SS_\textrm{bg}}{SS_\textrm{total}}.</math>

== Многофакторный дисперсионный анализ ==
* Многофакторный анализ позволяет проверить влияние нескольких факторов на зависимую переменную. Линейная модель многофакторной модели имеет вид:

<math>
x_{i,j,k} = \mu_{i} + a_{i,j} + b_{i,k} + ... + (ab)_{i,j,k} +  e_{i,j,k}
</math>, где:
** <math>x_{i,j,k}</math> — результат измерения <math>i</math>-го параметра;
** <math>\mu_{i}</math> — среднее для <math>i</math>-го параметра;
** <math>a_{i,j}</math> — систематическая ошибка измерения <math>i</math>-го параметра в <math>j</math> группе по методу <math>A</math>;
** <math>b_{i,k}</math> — систематическая ошибка измерения <math>i</math>-го параметра в <math>k</math> группе по методу <math>B</math>;
** <math>(ab)_{i,j,k}</math> — систематическая ошибка измерения <math>i</math>-го параметра в <math>j,k</math> группе в силу комбинации методов <math>A</math> и <math>B</math>;
** <math>e_{i,j,k}</math> — случайная ошибка измерения <math>i</math>-го параметра.

В отличие от однофакторной модели, где имеется одна межгрупповая сумма квадратов, модель многофакторного анализа включает суммы квадратов для каждого фактора в отдельности и суммы квадратов всех взаимодействий между ними. Так, в двухфакторной модели межгрупповая сумма квадратов раскладывается на сумму квадратов фактора <math>A</math>, сумму квадратов фактора <math>B</math> и сумму квадратов взаимодействия факторов <math>A</math> и <math>B</math>:

<math>
SS_\textrm{total} = SS_{A} + SS_{B} + SS_{AB} + SS_\textrm{wg}.
</math>

Соответственно трёхфакторная модель включает сумму квадратов фактора <math>A</math>, сумму квадратов фактора <math>B</math>, сумму квадратов фактора <math>C</math> и суммы квадратов взаимодействий факторов <math>A</math> и <math>B</math>, <math>B</math> и <math>C</math>, <math>A</math> и <math>C</math>, а также взаимодействия всех трёх факторов <math>A, B, C</math>:

<math>
SS_\textrm{total} = SS_{A} + SS_{B} + SS_{C} + SS_{AB} + SS_{BC} + SS_{AC} + SS_{ABC} + SS_\textrm{wg}.
</math>

Степени свободы раскладываются аналогичным образом:

<math>
df_\textrm{total} = df_A + df_B + df_{AB} + df_\textrm{wg},
</math> где

<math>
df_\textrm{total} = N - 1,
</math>

<math>
df_A = J - 1,
</math>

<math>
df_B = K - 1,
</math>

<math>
df_{AB} = (J - 1)(K - 1),
</math>

<math>
df_\textrm{wg} = N - JK,
</math>

и <math>N</math> есть объём полной выборки, <math>J</math> — количество уровней (групп) фактора <math>A</math>, а <math>K</math> — количество уровней (групп) фактора <math>B</math>.

В ходе анализа проверяются несколько [[Нулевая гипотеза|нулевых гипотез]]:
* гипотеза о равенстве средних под влиянием фактора <math>A</math>: <math>H_0{:}\ \mu_{1,*} = \mu_{2,*} = \dots = \mu_{j,*}</math>;
* гипотеза о равенстве средних под влиянием фактора <math>B</math>: <math>H_0{:}\ \mu_{*,1} = \mu_{*,2} = \dots = \mu_{*,k}</math>;
* гипотеза об отсутствии взаимодействия факторов <math>A</math> и <math>B</math>: <math>H_0{:}\ (ab)_{j,k} = 0</math> для всех <math>j</math> и <math>k.</math>

Каждая гипотеза проверяется с помощью критерия Фишера:

<math>F_{df_A,df_\textrm{wg}}=\frac {MS_A}{MS_\textrm{wg}};</math>

<math>F_{df_B,df_\textrm{wg}}=\frac {MS_B}{MS_\textrm{wg}};</math>

<math>F_{df_{AB},df_\textrm{wg}}=\frac {MS_{AB}}{MS_\textrm{wg}}.</math>

При отвержении нулевой гипотезы о влиянии отдельного фактора принимается утверждение, что присутствует главный эффект фактора <math>A</math> (<math>B,</math> и т. д.). При отвержении нулевой гипотезы о взаимодействии факторов принимается утверждение о том, что влияние фактора <math>A</math> проявляется по-разному на разных уровнях фактора <math>B</math>. Обычно в таком случае результаты общего анализа признаются не имеющими силы, и влияние фактора <math>A</math> проверяется отдельно на каждом уровне фактора <math>B</math> с помощью однофакторного дисперсионного анализа или [[t-критерий Стьюдента|''t''-критерия]].

== Примечания ==
{{примечания}}

== Литература ==
* {{книга
 |автор         = Шеффе Г.
 |заглавие      = Дисперсионный анализ, пер. с англ
 |издательство  = М.
 |год           = 1963
}}
* {{книга
 |автор         = Смирнов Н. В., Дунин-Барковский И. В.
 |заглавие      = Курс теории вероятностей и математической статистики для технических приложений
 |издание       = 2 изд.
 |место         = М.
 |год           = 1965
}}

{{вс}}
{{Метод наименьших квадратов и регрессионный анализ}}

[[Категория:Математическая статистика]]