Теорема Рао — Блэквелла — Колмогорова

Теорема Рао — Блэквелла — Колмогорова — утверждение в математической статистике, на основе которого можно улучшать статистические оценки параметров.

Пусть $X_1,\dots ,X_n$ — последовательность независимых одинаково распределённых случайных величин с распределением, зависящим от некоторого неизвестного параметра $\theta \in \mathrm{\Theta }.$ Пусть $\hat{\theta }(X)$ — некоторая статистическая оценка этого неизвестного параметра с конечной матрицей вторых моментов, а $T=\mathrm{T}(X)$ — достаточная статистика для параметра $\theta .$ Тогда существует ${\hat{\theta }}_1(X)=\text{E}[\hat{\theta }(X)|T(X)]$ и кроме того ${\hat{\theta }}_1(X)$ является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть для любого вектора z необходимой размерности выполняется неравенство:

$z\text{E}[({\hat{\theta }}_1(X)-\theta {)}^T({\hat{\theta }}_1(X)-\theta )]z^T⩽z\text{E}[(\hat{\theta }(X)-\theta {)}^T(\hat{\theta }(X)-\theta )]z^T.$

Равенство выполняется лишь тогда, когда $\hat{\theta }$ является измеримой функцией от T.

Доказательство

Доказательство для случая когда параметр является одним числом, то есть его размерность равна единице. Тогда

$\mathrm{E}[{\hat{\theta }}_1(X)-\theta {]}^2=\mathrm{E}{[\text{E}(\hat{\theta }(X)|T(X))-\theta ]}^2=\mathrm{E}{[\text{E}(\hat{\theta }(X)-\theta |T(X))]}^2⩽\mathrm{E}[\text{E}((\hat{\theta }(X)-\theta {)}^2|T(X))]=\mathrm{E}(\hat{\theta }(X)-\theta {)}^2.$

Неравенство следует из того, что для любой случайной величины W, $\mathrm{var}W=\mathrm{E}{W}^2-(\mathrm{E}W{)}^2]⩾0,$ если взять $W=\text{E}(\hat{\theta }(X)-\theta |T(X)).$ Отсюда также видим, что равенство выполняется лишь когда $\mathrm{var}W=0,$ то есть когда $\hat{\theta }(X)-\theta$ принимает одно значение для каждого значения T, то есть $\hat{\theta }(X)$ является функцией от T.

См. также

• Статистическая оценка

Литература

• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.
• Nikulin, M.S. (2001), "Rao–Blackwell–Kolmogorov theorem", in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1556080104