Достаточная статистика

Достаточная статистика для параметра $\theta \in \mathrm{\Theta },$ определяющая некоторое семейство $F_{\theta }$ распределений вероятности — статистика $T=\mathrm{T}(X)$ такая, что условная вероятность выборки $X=X_1,X_2,\dots ,X_n$ при данном значении $\mathrm{T}(X)$ не зависит от параметра $\theta .$ То есть выполняется равенство:

$\mathbb{P}(X\in \overline{X}|\mathrm{T}(X)=t,\theta )=\mathbb{P}(X\in \overline{X}|\mathrm{T}(X)=t),$

Достаточная статистика $\mathrm{T}(X),$ таким образом, содержит в себе всю информацию о параметре $\theta$, которая может быть получена на основе выборки X. Поэтому понятие достаточной статистики широко используется в теории оценки параметров.

Наиболее простой достаточной статистикой является сама выборка $\mathrm{T}(X)=X$, однако действительно важными являются случаи, когда размерность достаточной статистики значительно меньше размерности выборки, в частности, когда достаточная статистика выражается лишь несколькими числами.

Достаточная статистика $S=\mathrm{S}(X)$ называется минимально достаточной, если для каждой достаточной статистики T существует неслучайная измеримая функция g, что $S(X)=g(T(X))$ почти всюду.

Теорема факторизации

Теорема факторизации даёт способ практического нахождения достаточной статистики для распределения вероятности. Она даёт достаточные и необходимые условия достаточности статистики и утверждение теорем иногда используется в качестве определения.

Пусть $\mathrm{T}(X)$ — некоторая статистика, а $f_{\theta }(x)$ — условная функция плотности или функция вероятности (в зависимости от вида распределения) для вектора наблюдений X. Тогда $\mathrm{T}(X)$ является достаточной статистикой для параметра $\theta \in \mathrm{\Theta }$, тогда и только тогда, когда существуют такие измеримые функции $h$ и $g$, что можно записать:

$f_{\theta }(x)=h(x)g(\theta ,\mathrm{T}(x))$

Доказательство

Ниже приведено доказательство для частного случая, когда распределение вероятностей является дискретным. Тогда $f_{\theta }(x)=\mathbb{P}(X=x|\theta )$ — Функция вероятности.

Пусть данная функция имеет факторизацию, как в формулировке теоремы, и $\mathrm{T}(x)=t.$

Тогда имеем:

$\begin{array}{ccc}\mathbb{P}(X=x|\mathrm{T}(X)=t,\theta )& =\frac{\mathbb{P}(X=x|\theta )}{\mathbb{P}(\mathrm{T}(X)=t|\theta )}& =\frac{h(x)g(\theta ,\mathrm{T}(x))}{\sum _{x:\mathrm{T}(x)=t}h(x)g(\theta ,\mathrm{T}(x))}\\ & =\frac{h(x)g(\theta ,t)}{\sum _{x:\mathrm{T}(x)=t}h(x)g(\theta ,t)}& =\frac{h(x)}{\sum _{x:\mathrm{T}(x)=t}h(x)}.\end{array}$

Отсюда видим, что условная вероятность вектора X при заданном значении статистики $\mathrm{T}(X)$ не зависит от параметра и соответственно $\mathrm{T}(X)$ — достаточная статистика.

Наоборот можем записать:

$\mathbb{P}(X=x|\theta )=\mathbb{P}(X=x|\mathrm{T}(X)=t,\theta )\cdot \mathbb{P}(\mathrm{T}(X)=t|\theta ).$

Из приведённого выше имеем, что первый множитель правой части не зависит от параметра $\theta$ и его можно взять за функцию $h(x)$ из формулировки теоремы. Другой множитель является функцией от $\theta$ и $\mathrm{T}(X),$ и его можно взять за функцию $g(\theta ,\mathrm{T}(x)).$ Таким образом, получена необходимая декомпозиция, что завершает доказательство теоремы.

Примеры

Распределение Бернулли

Пусть $X_1,X_2,\dots ,X_n$ — последовательность случайных величин, что равны 1 с вероятностью $p$ и равны 0 с вероятностью $1-p$ (то есть, имеют распределение Бернулли). Тогда

$\mathbb{P}(x_1,\dots x_n|p)=p^{\sum x_i}(1-p{)}^{n-\sum x_i}=p^{\mathrm{T}(x)}(1-p{)}^{n-\mathrm{T}(x)},$

если взять $\mathrm{T}(X)=X_1+\dots +X_n.$

Тогда данная статистика является достаточной согласно теореме факторизации, если обозначить

$g(p,\mathrm{T}(x_1,\dots x_n))=p^{\mathrm{T}(x_1,\dots x_n)}(1-p{)}^{n-\mathrm{T}(x_1,\dots x_n)},$

$h(x_1,\dots x_n)=1.$

Распределение Пуассона

Пусть $X_1,X_2,\dots ,X_n$ — последовательность случайных величин с распределением Пуассона. Тогда

$\mathbb{P}(x_1,\dots x_n|\lambda )=\frac{e^{-\lambda }{\lambda }^{x_1}}{x_1!}\cdot \frac{e^{-\lambda }{\lambda }^{x_2}}{x_2!}\cdots \frac{e^{-\lambda }{\lambda }^{x_n}}{x_n!}=e^{-n\lambda }{\lambda }^{(x_1+x_2+\cdots +x_n)}\cdot \frac{1}{x_1!x_2!\cdots x_n!}=e^{-n\lambda }{\lambda }^{\mathrm{T}(x)}\cdot \frac{1}{x_1!x_2!\cdots x_n!}$

где $\mathrm{T}(X)=X_1+\dots +X_n.$

Данная статистика является достаточной согласно теореме факторизации, если обозначить

$g(\lambda ,\mathrm{T}(x_1,\dots x_n))=e^{-n\lambda }{\lambda }^{\mathrm{T}(x)}$

$h(x_1,\dots x_n)=\frac{1}{x_1!x_2!\cdots x_n!}$

Равномерное распределение

Пусть $X_1,X_2,\dots ,X_n$ — последовательность равномерно распределённых случайных величин $X_1,X_2,\dots ,X_{n}U(a,b)$ . Для этого случая

$\mathbb{P}(x_1,\dots x_n|a,b)={(b-a)}^{-n}{\mathrm{𝟏}}_{\{a\le \underset{1\le i\le n}{\min }{X}_i\}}{\mathrm{𝟏}}_{\{\underset{1\le i\le n}{\max }{X}_i\le b\}}.$

Отсюда следует, что статистика $T(X)=(\underset{1\le i\le n}{\min }{X}_i,\underset{1\le i\le n}{\max }{X}_i)$ является достаточной.

Нормальное распределение

Для случайных величин $X_1,X_2,\dots ,X_n$ с нормальным распределением $𝒩(\mu ,{\sigma }^2)$ достаточной статистикой будет $\mathrm{T}(X)=(\sum _{i=1}^n{X}_i,\sum _{i=1}^n{X}_i^2).$

Свойства

• Для достаточной статистики T и биективного отображения $\varphi$ статистика $\varphi (T)$ тоже является достаточной.
• Если $\delta (X)$ — статистическая оценка некоторого параметра $\theta ,$ $\mathrm{T}(X),$ — некоторая достаточная статистика и ${\delta }_1(X)=\text{E}[\delta (X)|T(X)]$ то ${\delta }_1(X)$ является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть выполняется неравенство

$\text{E}[({\delta }_1(X)-\theta {)}^2]\le \text{E}[(\delta (X)-\theta {)}^2]$

причём равенство достигается лишь когда $\delta$ является измеримой функцией от T. (Теорема Рао — Блэквелла — Колмогорова)

• Из предыдущего получается, что оценка может быть оптимальной в смысле среднеквадратичного отклонения лишь когда она является измеримой функцией минимальной достаточной статистики.
• Если статистика $T=\mathrm{T}(X),$ является достаточной и полной (то есть, из того, что $E_{\theta }[g(T(X))]=0,\mathrm{\forall }\theta \in \mathrm{\Theta }$ следует, что $P_{\theta }(g(T(X))=0)=1\mathrm{\forall }\theta \in \mathrm{\Theta }$), то произвольная измеримая функция от неё является оптимальной оценкой своего математического ожидания.

См. также

• Статистическая оценка
• Параметр

Литература

• Kholevo, A.S. (2001), «Sufficient statistic», in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1-55608-010-4
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.
• Шаблон:Книга