Критерий согласия Пирсона

Критерий согласия Пирсона или критерий согласия ${\chi }^2$ (хи-квадрат) — непараметрический метод, который позволяет оценить значимость различий между фактическим (выявленным в результате исследования) количеством исходов или качественных характеристик выборки, попадающих в каждую категорию, и теоретическим количеством, которое можно ожидать в изучаемых группах при справедливости нулевой гипотезы. Выражаясь проще, метод позволяет оценить статистическую значимость различий двух или нескольких относительных показателей (частот, долей).

Является наиболее часто употребляемым критерием для проверки гипотезы о принадлежности наблюдаемой выборки $x_1,x_2,...,x_n$ объёмом $n$ некоторому теоретическому закону распределения $F(x,\theta )$.

Критерий хи-квадрат для анализа таблиц сопряжённости был разработан и предложен в 1900 году основателем математической статистики английским учёным Карлом Пирсоном.

Критерий может использоваться при проверке простых гипотез вида

$H_0:F_n(x)=F(x,\theta ),$

где $\theta$ — известный вектор параметров теоретического закона, и при проверке сложных гипотез вида

$H_0:F_n(x)\in \{F(x,\theta ),\theta \in \mathrm{\Theta }\},$

когда оценка $\hat{\theta }$ скалярного или векторного параметра распределения $F(x,\theta )$ вычисляется по той же самой выборке.

Статистика критерия

Процедура проверки гипотез с использованием критериев типа ${\chi }^2$ предусматривает группирование наблюдений. Область определения случайной величины разбивают на $k$ непересекающихся интервалов граничными точками

$x_{(0)},x_{(1)},...,x_{(k-1)},x_{(k)},$

где $x_{(0)}$ — нижняя грань области определения случайной величины; $x_{(k)}$ — верхняя грань.

В соответствии с заданным разбиением подсчитывают число $n_i$ выборочных значений, попавших в $i$-й интервал, и вероятности попадания в интервал

$P_i(\theta )=F(x_{(i)},\theta )-F(x_{(i-1)},\theta ),$

соответствующие теоретическому закону с функцией распределения $F(x,\theta ).$

При этом

$n=\sum _{i=1}^k{n}_i$ и $\sum _{i=1}^k{P}_i(\theta )=1.$

При проверке простой гипотезы известны как вид закона $F(x,\theta )$, так и все его параметры (известен скалярный или векторный параметр $\theta$).

В основе статистик, используемых в критериях согласия типа ${\chi }^2$, лежит измерение отклонений $n_i/n$ от $P_i(\theta )$.

Статистика критерия согласия ${\chi }^2$ Пирсона определяется соотношением

${\chi }^2=n\sum _{i=1}^k\frac{{(n_i/n-P_i(\theta ))}^2}{P_i(\theta )}.$

В случае проверки простой гипотезы, в пределе при $n\to \mathrm{\infty }$ эта статистика подчиняется ${\chi }_r^2$-распределению с $r=k-1$ степенями свободы, если верна проверяемая гипотеза $H_0$. Плотность ${\chi }_r^2$-распределения, которое является частным случаем гамма-распределения, описывается формулой

$g(s)=\frac{1}{2^{r/2}\mathrm{\Gamma }(r/2)}{s}^{r/2-1}{e}^{-s/2}.$

Проверяемая гипотеза $H_0$ отклоняется при больших значениях статистики, когда вычисленное по выборке значение статистики ${\chi }_n^2$ больше критического значения ${\chi }_{r,\alpha }^2,$

$P({\chi }_n^2>{\chi }_{r,\alpha }^2)=\frac{1}{2^{r/2}\mathrm{\Gamma }(r/2)}\underset{{\chi }_{r,\alpha }^2}{\overset{\mathrm{\infty }}{\int }}{s}^{r/2-1}{e}^{-s/2}ds$

или достигнутый уровень значимости ([[p-значение|Шаблон:Math-значение]]) меньше заданного уровня значимости (заданной вероятности ошибки 1-го рода) $\alpha$.

Проверка сложных гипотез

При проверке сложных гипотез, если параметры закона $F(x,\theta )$ по этой же выборке оцениваются в результате минимизации статистики ${\chi }_n^2$ или по сгруппированной выборке методом максимального правдоподобия, то статистика ${\chi }_n^2$ при справедливости проверяемой гипотезы подчиняется ${\chi }_r^2$-распределению с $r=k-m-1$ степенями свободы, где $m$ — количество оценённых по выборке параметров.

Если параметры оцениваются по исходной негруппированной выборке, то распределение статистики не будет являться ${\chi }_{k-m-1}^2$-распределением. Более того, распределения статистики при справедливости гипотезы $H_0$ будут зависеть от способа группирования, то есть от того, как область определения разбивается на интервалы.

При оценивании методом максимального правдоподобия параметров по негруппированной выборке можно воспользоваться модифицированными критериями типа ${\chi }^2$.

О мощности критерия

При использовании критериев согласия, как правило, не задают конкурирующих гипотез: рассматривается принадлежность выборки конкретному закону, а в качестве конкурирующей гипотезы — принадлежность любому другому. Естественно, что критерий по-разному будет способен отличать от закона, соответствующего $H_0$, близкие или далёкие от него законы. Если задать конкурирующую гипотезу $H_1$ и соответствующий ей некоторый конкурирующий закон $F_1(x,\theta )$, то можно рассуждать уже об ошибках двух видов: не только об ошибке 1-го рода (отклонении проверяемой гипотезы $H_0$ при её справедливости) и вероятности этой ошибки $\alpha$, но и об ошибке 2-го рода (неотклонении $H_0$ при справедливости $H_1$) и вероятности этой ошибки $\beta$.

Мощность критерия по отношению к конкурирующей гипотезе $H_1$ характеризуется величиной $1-\beta$. Критерий тем лучше распознаёт пару конкурирующих гипотез $H_0$ и $H_1$, чем выше его мощность.

Мощность критерия согласия ${\chi }^2$ Пирсона существенно зависит от способа группирования и от выбранного числа интервалов.

При асимптотически оптимальном группировании, при котором максимизируются различные функционалы от информационной матрицы Фишера по группированным данным (минимизируются потери, связанные с группированием), критерий согласия ${\chi }^2$ Пирсона обладает максимальной мощностью относительно «(очень) близких» конкурирующих гипотез.

При проверке простых гипотез и использовании асимптотически оптимального группирования критерий согласия ${\chi }^2$ Пирсона имеет преимущество в мощности по сравнению с непараметрическими критериями согласия. При проверке сложных гипотез мощность непараметрических критериев возрастает и такого преимущества нет. Однако для любой пары конкурирующих гипотез (конкурирующих законов) за счёт выбора числа интервалов и способа разбиения области определения случайной величины на интервалы можно максимизировать мощность критерия.

См. также

• Точный критерий Фишера

Литература

• Шаблон:Книга

См. также

• Критерий хи-квадрат
• Распределение хи-квадрат
• Квантили распределения хи-квадрат

Ссылки

• Критерий Пирсона на сайте Новосибирского государственного университета
• Критерии типа хи-квадрат на сайте Новосибирского государственного технического университета (Рекомендации по стандартизации Р 50.1.033-2001)