Несмещённая оценка

Несмещённая оце́нка в математической статистике — это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть $\overrightarrow{x}=(x_1,\dots ,x_n)$ — выборка из распределения, зависящего от параметра Шаблон:Nobr Тогда оценка $\hat{\theta }\equiv \hat{\theta }\left(\overrightarrow{x}\right)$ называется несмещённой, если

$𝔼\left[\hat{\theta }\right]=\theta ,\mathrm{\forall }\theta \in \mathrm{\Theta }$,

где

• $𝔼\left[X\right]$ — математическое ожидание;
• $\mathrm{\forall }$ — квантор всеобщности.

В противном случае оценка называется смещённой, и случайная величина $𝔼\hat{\theta }-\theta$ называется её смеще́нием.

Примеры

• Выборочное среднее $\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$ является несмещённой оценкой математического ожидания $X_i$, так как если $𝔼X_i=\mu <\mathrm{\infty }$, $\mathrm{\forall }i\in \mathbb{N}$, то $𝔼\overline{X}=\mu$.

• Пусть независимые случайные величины $X_i$ имеют конечную дисперсию $\mathrm{D}{X}_i={\sigma }^2$. Построим оценки

$S_n^2=\frac{1}{n}\sum _{i=1}^n{(X_i-\overline{X})}^2$ — выборочная дисперсия,

и

$S^2=\frac{1}{n-1}\sum _{i=1}^n{(X_i-\overline{X})}^2$ — исправленная выборочная дисперсия.

Тогда $S_n^2$ является смещённой, а $S^2$ несмещённой оценками параметра ${\sigma }^2$. Смещённость $S_n^2$ можно доказать следующим образом.

Пусть $\mu$ и $\bar{X}$ — среднее и его оценка соответственно, тогда:

$\mathrm{E}[S_n^2]=\mathrm{E}[\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2].$

Добавив и отняв $\mu$, а затем сгрупировав слагаемые, получим:

$\mathrm{E}[S_n^2]=\mathrm{E}\left[\frac{1}{n}\sum _{i=1}^n\right((X_i-\mu )-(\bar{X}-\mu ){)}^2].$

Возведём в квадрат и получим:

$\mathrm{E}[S_n^2]=\mathrm{E}[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2-2(\bar{X}-\mu )\frac{1}{n}\sum _{i=1}^n(X_i-\mu )+\frac{n}{n}(\bar{X}-\mu {)}^2].$

Заметив, что $\frac{1}{n}\sum _{i=1}^n(X_i-\mu )=\bar{X}-\frac{1}{n}(n\mu )$, получим:

$\mathrm{E}[S_n^2]=\mathrm{E}[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2-(\bar{X}-\mu {)}^2].$

Учитывая, что

• $\mathrm{E}[a+b]=\mathrm{E}[a]+\mathrm{E}[b]$ (свойство математического ожидания);
• $\mathrm{E}[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]={\sigma }^2$ — дисперсия;
• $\mathrm{E}[(\bar{X}-\mu {)}^2]=\frac{1}{n}{\sigma }^2$, т.к. $\mathrm{E}[(\bar{X}-\mu {)}^2]=\mathrm{E}[(\frac{1}{n}\sum _{i=1}^n(X_i-\mu ){)}^2]=\mathrm{E}[\frac{1}{n^2}\sum _{i=1}^n(X_i-\mu {)}^2+\frac{2}{n^2}\sum _{i=1,j=1,i<j}^n(X_i-\mu )(X_j-\mu )]$, учитывая, что $X_i$ и $X_j$ независимые и $\mathrm{E}[(X_i-\mu )]=0$, т.е. $\mathrm{E}[\sum _{i=1,j=1,i<j}^n(X_i-\mu )(X_j-\mu )]=\sum _{i=1,j=1,i<j}^n\mathrm{E}[(X_i-\mu )]\mathrm{E}[(X_j-\mu )]=0$,

получим:

$\begin{array}{cc}\mathrm{E}[S_n^2]& ={\sigma }^2-\mathrm{E}[(\bar{X}-\mu {)}^2]=\\ & ={\sigma }^2-\frac{1}{n}{\sigma }^2=\\ & =\frac{n-1}{n}{\sigma }^2<{\sigma }^2.\end{array}$

Литература и некоторые ссылки

• M. G. Kendall. "The advanced theory of statistics (vol. I). Distribution theory (2nd edition)". Charles Griffin & Company Limited, 1945.
• M. G. Kendall and A. Stuart. "The advanced theory of statistics (vol. II). Inference and relationship (2nd edition)". Charles Griffin & Company Limited, 1967.
• A. Papoulis. Probability, random variables, and stochastic processes (3rd edition). McGrow-Hill Inc., 1991.
• G. Saporta. "Probabilités, analyse des données et statistiques". Éditions Technip, Paris, 1990.
• J. F. Kenney and E. S. Keeping. Mathematics of Statistics. Part I & II. D. Van Nostrand Company, Inc., 1961, 1959.
• I. V. Blagouchine and E. Moreau: "Unbiased Adaptive Estimations of the Fourth-Order Cumulant for Real Random Zero-Mean Signal", IEEE Transactions on Signal Processing, vol. 57, no. 9, pp. 3330–3346, September 2009.
• An Illuminating Counterexample