Неравенство Крамера — Рао

Неравенство Краме́ра — Ра́о — неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Названо по именам шведского математика Харальда Крамера и индийского математика Кальямпуди Рао, но независимо от них устанавливалось также Фреше, Шаблон:Нп2, Шаблон:Нп2 и Сильверстоуном (Шаблон:Lang-en2). Известно обобщение в квантовой теории оценивания — квантовое неравенство Крамера — Рао.

Формулировка

Для статистической модели $(X,B,P_{\theta })$, $x=(x_1,\dots ,x_n)$ — выборка размера $n$, — определена функция правдоподобия $L(\theta ,x)=L(\theta ,x_1,x_2,\dots x_n)$ и выполнены следующие условия (условия регулярности):

• $L_{}^{}>0$ и везде дифференцируема по ${\theta }_{}^{}$;
• функция $U(\theta ,x)=\frac{\partial \ln L(\theta ,x)}{\partial \theta }$ (функция вклада выборки) имеет конечную дисперсию (или, что то же, конечна информация Фишера);
• для любой статистики $\hat{\theta }(x)$ с конечным вторым моментом имеет место равенство:

  $\frac{\partial }{\partial \theta }\underset{X}{\int }\hat{\theta }(x)L(\theta ,x)dx=\underset{X}{\int }\hat{\theta }(x)\frac{\partial }{\partial \theta }L(\theta ,x)dx$.

Если при этих условиях дана статистика $\hat{\theta }(x)$, которая несмещённо оценивает дифференцируемую функцию $\tau (\theta )$, то справедливо следующее неравенство:

${\mathrm{D}}_{\theta }(\hat{\theta }(x))⩾\frac{({\tau }^{\prime }(\theta ){)}^2}{nI(\theta )}$, где $I(\theta )=M{\left(\frac{d\ln L(\theta ,x)}{d\theta }\right)}^2$;

а равенство достигается тогда и только тогда, когда:

$\frac{d\ln L(\theta ,x)}{d\theta }=a(\theta )(\hat{\theta }(x)-\tau (\theta ))$.

Здесь $I^{}(\theta )$ — количество информации по Фишеру в одном наблюдении, а $L(\theta ,t)$ — плотность распределения генеральной совокупности $X$ в случае непрерывной статистической модели и вероятность события $(X=t)$ в случае дискретной статистической модели.

Частный случай

Часто используется следующий частный случай, также называемый неравенством Крамера — Рао: если выполнены условия регулярности, а $\hat{\theta }(x)$ — несмещённая оценка параметра $\theta$, то:

${\mathrm{D}}_{\theta }\hat{\theta }(x)⩾\frac{1}{I_n(\theta )}$.

Равенство в этом неравенстве достигается тогда и только тогда, когда $\hat{\theta }(x)-\theta =a(\theta )U(\theta ,x)$.

Применение

Оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

Литература

• Математическая статистика, под ред. В. С. Зарубина, серия «Математика в техническом университете», вып. XVII, М., МГТУ, 2002