М-оценки

Оценки максимального правдоподобия (ОМП) определяются одним из следующих условий:

$\sum _i\ln P_i\to \underset{\theta \in \mathrm{\Theta }}{\max },\sum _i\frac{\partial \ln P_i}{\partial \theta }=0,\sum _i\frac{{P_i}^{\prime }}{P_i}=0$

где в случае негруппированной выборки $P_i=f(x_i,\theta )$, а в случае группированной — $P_i={(\underset{x_{i-1}}{\overset{x_i}{\int }}f(x,\theta )\mathrm{d}x)}^{n_i}$

М-оценки — есть некое обобщение ОМП. Они определяются аналогично одним из соотношений:

$\sum _{i=1}^N\rho (x_i,\theta )\to \underset{\theta \in \mathrm{\Theta }}{\max },\sum _{i=1}^N\varphi (x_i,\theta )=0$

Если наложить условие регулярности в подстановке $F_{t,x}=(1-t)F+t{\mathrm{\Delta }}_x$ и продифференцировать его по $t$ в 0:

$0=\frac{\partial }{\partial t}\int \varphi (x,T(F_{t,x}))\mathrm{d}{F}_{t,x}$

$0=\int \frac{\partial \varphi (x,T(F_{t,x}))}{\partial \theta }IF\mathrm{d}{F}_{t,x}+\int \varphi (x,T(F_{t,x}))\mathrm{d}\frac{\partial ((1-t)F+t{\mathrm{\Delta }}_x)}{\partial t}$

$0=IF\int \frac{\partial \varphi (x,T(F_{t,x}))}{\partial \theta }\mathrm{d}{F}_{t,x}+\varphi (x,T(F_{t,x}))$

то не представляет большого труда получить выражение функции влияния для M-оценок: $IF=\frac{-\varphi (x)}{\int \varphi {\text{'}}_{\theta }(x)\mathrm{d}F}$

Указанное выражение позволяет сделать вывод о том, что M-оценки эквивалентны с точностью до ненулевого множителя-константы.

Файл:Influence function.png

Пример функций влияния для усечённых ОМП параметров сдвига (син.) и параметра масштаба (красн.) стандартного нормального закона распределения.

Несложно проверить, что для ОМП стандартного нормального закона распределения $𝒩(0,1)$ функции влияния $IF$ параметра сдвига и параметра масштаба выглядят соответственно:

$IF=x,IF=\frac{1}{2}{x}^2-\frac{1}{2}$

Эти функции неограничены, а это значит, что ОМП не является робастной в терминах B-робастности.

Для того, чтобы это исправить, M-оценки искусственно ограничивают, а значит и ограничивают её $IF$ (см. выражение $IF$ для M-оценок), устанавливая верхний барьер на влияние резко выделяющихся (далеко отстоящих от предполагаемых значений параметров) наблюдений. Делается это введением так называемых усечённых M-оценок, определяемых выражением:

${\varphi }_b(z)=\{\begin{array}{cc}\varphi (b),& b<z\\ \varphi (z),& -b<z⩽b\\ \varphi (-b),& z⩽-b\end{array}$

где $z=\frac{x-\theta }{S}$, $\theta$ и $S$ — оценки параметров сдвига и масштаба соответственно.

Среди усечённых M-оценок оптимальными с точки зрения B-робастности являются усечённые ОМП.

См. также

Робастность в статистике

Источники

• Robert G. Staudte: Robust estimation and testing. Wiley, New York 1990. ISBN 0-471-85547-2
• Rand R. Wilcox: Introduction to robust estimation and hypothesis testing. Academic Press, San Diego Cal 1997. ISBN 0-12-751545-3