T-критерий Уэлча

t-критерий Уэлча — тест, основанный на распределении Стьюдента и предназначенный для проверки статистической гипотезы о равенстве математических ожиданий случайных величин, имеющих необязательно равные известные дисперсии. Является модификацией t-критерия Стьюдента. Назван в честь британского статистика Бернарда Льюиса Уэлча.

Предпосылки

Для применения двухвыборочного t-критерия Стьюдента необходимо, чтобы истинные дисперсии были равны. В случае t-критерия Уэлча истинные дисперсии уже могут быть не равны, но предпосылка о нормальном распределении средних сохраняется.

Вычисление статистики

Пусть даны две независимые выборки нормально распределённых случайных величин:

$X_1,...,X_{n_x}\sim 𝒩({\mu }_x,{\sigma }_x^2)$

$Y_1,...,Y_{n_y}\sim 𝒩({\mu }_y,{\sigma }_y^2)$

Проверяем следующую нулевую гипотезу о равенстве математический ожиданий:

$H_0:{\mu }_x={\mu }_y$

Пусть нулевая гипотеза верна. Тогда $E(\bar{X}-\bar{Y})=0$ и $Var(\bar{X}-\bar{Y})=\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y}$. Пусть ${\hat{\sigma }}_x^2=\sum _{i=1}^{n_x}\frac{(X_i-\bar{X}{)}^2}{n_x-1}$ и ${\hat{\sigma }}_y^2=\sum _{i=1}^{n_y}\frac{(Y_i-\bar{Y}{)}^2}{n_y-1}$ — несмещенные оценки дисперсий ${\sigma }_x^2$ и ${\sigma }_y^2$ соответственно. Рассчитаем следующую статистику:

$t=\frac{\overline{X}-\overline{Y}}{\sqrt{\widehat{Var}(\overline{X}-\overline{Y})}}=\frac{\overline{X}-\overline{Y}}{\sqrt{\widehat{Var}(\overline{X})+\widehat{Var}(\overline{Y})}}=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\hat{\sigma }}_x^2}{n_x}+\frac{{\hat{\sigma }}_y^2}{n_y}}}$

Сделаем следующее преобразование:

$t=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\hat{\sigma }}_x^2}{n_x}+\frac{{\hat{\sigma }}_y^2}{n_y}}}=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y}}}\cdot \frac{\sqrt{\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y}}}{\sqrt{\frac{{\hat{\sigma }}_x^2}{n_x}+\frac{{\hat{\sigma }}_y^2}{n_y}}}$

Распределение первой статистики является стандартным нормальным распределением:

$\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y}}}\sim 𝒩(0,1)$

Рассмотрим вторую статистику и для дальнейших вычислений назовем её $S$:

$S=\frac{\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y}}{\frac{{\hat{\sigma }}_x^2}{n_x}+\frac{{\hat{\sigma }}_y^2}{n_y}}$

Статистика $S$ напоминает случайную величину с распределением хи-квадрат, поделенную на степень свободы, но таковой не является. Пусть $Z\sim {\chi }_d^2$ является случайной величиной с распределением хи-квадрат с $d$ степенями свободы. Тогда $\frac{Z}{d}⩾0$, равно как и $S⩾0$. Теперь заметим, что $E(S)=1$ (так как мы используем несмещенные оценки дисперсий), а $E\left(\frac{Z}{d}\right)=\frac{E(Z)}{d}=\frac{d}{d}=1$.

Раз мы хотим, чтобы $S$ была максимально похожа на $\frac{Z}{d}\sim \frac{{\chi }_d^2}{d}$, то приравняем дисперсии данных случайных величин:

$Var(S)=Var\left(\frac{Z}{d}\right)=\frac{2}{d}$

Рассчитаем дисперсию случайной величины $S$:

$Var(S)=\frac{1}{{(\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y})}^2}(\frac{1}{n_x^2}Var({\hat{\sigma }}_x^2)+\frac{1}{n_y^2}Var({\hat{\sigma }}_y^2))=\frac{1}{{(\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y})}^2}(\frac{2({\sigma }_x^2{)}^2}{n_x^2(n_x-1)}+\frac{2({\sigma }_y^2{)}^2}{n_y^2(n_y-1)})=\frac{2}{d}$

Отсюда:

$d=\frac{{(\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y})}^2}{\frac{{\sigma }_x^4}{n_x^2(n_x-1)}+\frac{{\sigma }_y^4}{n_y^2(n_y-1)}}$

В конечном итоге имеем при справедливости нулевой гипотезы:

$t\stackrel{approx.}{\sim }{t}_d$,

где $d$ находится как:

$d=\frac{{(\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y})}^2}{\frac{{\sigma }_x^4}{n_x^2(n_x-1)}+\frac{{\sigma }_y^4}{n_y^2(n_y-1)}}$

При достаточно больших объёмах выборок мы можем воспользоваться нормальной аппроксимацией:

$t=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\hat{\sigma }}_x^2}{n_x}+\frac{{\hat{\sigma }}_y^2}{n_y}}}\underset{n_x,n_y\to \mathrm{\infty }}{\overset{}{\to }}𝒩(0,1)$

Двухвыборочный t-критерий Уэлча для независимых выборок

Пусть даны две независимые выборки нормально распределённых случайных величин:

$X_1,...,X_{n_x}\sim 𝒩({\mu }_x,{\sigma }_x^2)$

$Y_1,...,Y_{n_y}\sim 𝒩({\mu }_y,{\sigma }_y^2)$

При нулевой гипотезе $H_0:{\mu }_x={\mu }_y$ мы рассчитываем следующую статистику:

$t=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\hat{\sigma }}_x^2}{n_x}+\frac{{\hat{\sigma }}_y^2}{n_y}}}$

Пусть альтернативная гипотеза $H_1:{\mu }_x\ne {\mu }_y$.

При справедливости нулевой гипотезы распределение $t$ будет приблизительно являться распределением Стьюдента с $d$ степенями свободы:

$t\stackrel{approx.}{\sim }{t}_d$,

где $d$ находится как:

$d=\frac{{(\frac{{\sigma }_x^2}{n_x}+\frac{{\sigma }_y^2}{n_y})}^2}{\frac{{\sigma }_x^4}{n_x^2(n_x-1)}+\frac{{\sigma }_y^4}{n_y^2(n_y-1)}}$

Следовательно, при превышении значения наблюдаемой статистики по абсолютной величине критического значения данного распределения (при заданном уровне значимости) нулевая гипотеза отвергается.

Пример

В следующих примерах будем сравнивать t-критерий Стьюдента и t-критерий Уэлча. Выборки сгенерированы модулем numpy.random для языка программирования Python.

Для всех трех примеров математические ожидания будут равны ${\mu }_x=20$ и ${\mu }_y=22$ соответственно.

В первом примере истинные дисперсии равны (${\sigma }_x^2={\sigma }_y^2=4$) и объёмы выборок равны ($n_x=n_y=15$). Обозначим за $S_X$ и $S_Y$ как соответствующие случайные выборки:

$\begin{array}{cc}{S}_X& =\{19.17,21.41,23.83,15.72,21.44,20.93,21.53,21.76,21.62,18.11,19.74,18.74,17.12,21.30,21.97\}\\ S_Y& =\{19.71,22.77,22.85,26.21,21.60,21.50,25.43,21.45,24.69,22.69,20.21,26.24,21.43,22.49,20.76\}\end{array}$

Во втором примере истинные дисперсии неравны (${\sigma }_x^2=16$, ${\sigma }_y^2=1$) и неравные объёмы у выборок ($n_x=10$,$n_y=20$). У меньшей выборки большая дисперсия:

$\begin{array}{cc}{S}_X& =\{18.33,22.82,27.66,11.43,22.88,21.87,23.07,23.53,23.24,16.21\}\\ S_Y& =\{21.87,21.37,20.56,22.65,22.98,20.86,22.39,22.43,24.11,21.80,21.75,23.71,21.73,23.35,22.34,21.10,24.12,21.71,22.24,21.38\}\end{array}$

В третьем примере истинные дисперсии неравны (${\sigma }_x^2=1$, ${\sigma }_y^2=16$) и неравные объёмы у выборок ($n_x=10$,$n_y=20$). У большей выборки большая дисперсия:

$\begin{array}{cc}{S}_X& =\{19.58,20.71,21.92,17.86,20.72,20.47,20.77,20.88,20.81,19.05\}\\ S_Y& =\{21.48,19.48,16.25,24.61,25.94,17.42,23.55,23.71,30.43,21.21,21.01,28.86,20.91,27.39,23.37,18.42,30.47,20.86,22.97,19.52\}\end{array}$

	Выборка $S_X$			Выборка $S_Y$			t-критерий Стьюдента				t-критерий Уэлча
Пример	$n_x$	$\bar{X}$	${\hat{\sigma }}_x^2$	$n_y$	$\bar{Y}$	${\hat{\sigma }}_y^2$	$t$	$d$	$p$-value	$p_{\mathrm{s}\mathrm{i}\mathrm{m}}$-value	$t$	$d$	$p$-value	$p_{\mathrm{s}\mathrm{i}\mathrm{m}}$-value
1	15	20.29	4.61	15	22.67	4.35	-3.07	28	0.005	0.005	−3.07	28.0	0.005	0.004
2	10	21.10	21.01	20	22.22	1.04	−1.06	28	0.299	0.465	−0.76	9.57	0.464	0.459
3	10	20.27	1.31	20	22.89	16.69	−1.97	28	0.059	0.015	−2.66	23.28	0.014	0.018

Для равных дисперсий и равных объёмов выборок t-критерий Стьюдента и t-критерий Уэлча выдали примерно одинаковый результат (пример 1). Для неравных дисперсий t-критерий Уэлча точнее оценивает истинное распределение статистики, чем t-критерий Стьюдента ($p$-value для t-критерия Уэлча ближе к моделированной $p_{\mathrm{s}\mathrm{i}\mathrm{m}}$-value, чем для t-критерия Стьюдента).

Если неизвестно, равны ли дисперсии двух генеральных совокупностей, крайне не рекомендуется проводить пре-тесты для определения равенства дисперсий, а лучше сразу использовать t-критерий Уэлча.

Реализация в различных ПО

Язык программирования / ПО	Функция	Примечание
LibreOffice	TTEST(Data1; Data2; Mode; Type)	Подробнее
MATLAB	ttest2(data1, data2, 'Vartype', 'unequal')	Подробнее
Microsoft Excel до 2010	TTEST(array1, array2, tails, type)	Подробнее
Microsoft Excel 2010 and позднее	T.TEST(array1, array2, tails, type) или ТТЕСТ(массив1;массив2;хвосты;тип)	Подробнее
Python	scipy.stats.ttest_ind(a, b, equal_var=False)	Подробнее
R	t.test(data1, data2, alternative="two.sided", var.equal=FALSE)	Подробнее
Haskell	Statistics.Test.StudentT.welchTTest SamplesDiffer data1 data2	Подробнее
Julia	UnequalVarianceTTest(data1, data2)	Подробнее
Stata	ttest varname1 == varname2, welch	Подробнее
Google Sheets	TTEST(range1, range2, tails, type)	Подробнее

Литература

B. L. Welch The Generalization of `Student’s' Problem when Several Different Population Variances are Involved // Vol. 34, No. 1/2 (Jan., 1947), pp. 28-35