Оценка апостериорного максимума

В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.

Введение

Предположим, что нам нужно оценить cтатистический параметр $\theta$ на основе наблюдений $x$. Пусть $f$ — выборочное распределение $x$, так что $f(x|\theta )$ — вероятность $x$ при условии, что параметр выборки принимает значение $\theta$. Тогда функция

$\theta \mapsto f(x|\theta )$

— функция правдоподобия, а оценка

${\hat{\theta }}_{\mathrm{M}\mathrm{L}}(x)=\arg \underset{\theta }{max}f(x|\theta )$

— оценка максимального правдоподобия $\theta$.

Теперь предположим, что существует априорное распределение $g$ величины $\theta$. Это позволяет рассматривать $\theta$ как случайную величину в байесовской статистике. Тогда апостериорное распределение $\theta$:

$\theta \mapsto \frac{f(x|\theta )g(\theta )}{{\int }_{\mathrm{\Theta }}f(x|{\theta }^{\prime })g({\theta }^{\prime })d{\theta }^{\prime }}$

где $g$ плотность распределения $\theta$, $\mathrm{\Theta }$ — область определения $g$. Это прямое приложение Теоремы Байеса.

Метод оценки апостериорного максимального правдоподобия даёт оценку $\theta$ как моды апостериорного распределения этой случайной величины:

${\hat{\theta }}_{\mathrm{M}\mathrm{A}\mathrm{P}}(x)=\arg \underset{\theta }{max}\frac{f(x|\theta )g(\theta )}{{\int }_{\mathrm{\Theta }}f(x|{\theta }^{\prime })g({\theta }^{\prime })d{\theta }^{\prime }}=\arg \underset{\theta }{max}f(x|\theta )g(\theta )$

Знаменатель апостериорного распределения не зависит от $\theta$ и поэтому не играет роли в оптимизации. Заметим, что MAP-оценка $\theta$ соответствует ML-оценке, когда априорное распределение $g$ постоянно (то есть $g$ — константа).

Пример

Предположим, что у нас есть последовательность $(x_1,\dots ,x_n)$ i.i.d. $N(\mu ,{\sigma }_v^2)$ случайных величин и априорное распределение $\mu$ задано $N(0,{\sigma }_m^2)$. Мы хотим найти MAP оценку $\mu$.

Функция, которую нужно максимизировать задана

$\pi (\mu )L(\mu )=\frac{1}{\sqrt{2\pi {\sigma }_m}}\exp (-\frac{1}{2}{\left(\frac{\mu }{{\sigma }_m}\right)}^2)\prod _{j=1}^n\frac{1}{\sqrt{2\pi {\sigma }_v}}\exp (-\frac{1}{2}{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2),$

что эквивалентно минимизации $\mu$ в

$\sum _{j=1}^n{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2+{\left(\frac{\mu }{{\sigma }_m}\right)}^2.$

Таким образом, мы видим, что MAP оценка для μ задана

${\hat{\mu }}_{MAP}=\frac{{\sigma }_m^2}{n{\sigma }_m^2+{\sigma }_v^2}\sum _{j=1}^n{x}_j.$

См. также

• EM-алгоритм — один из способов вычисления MAP
• Метод максимального правдоподобия

Литература

• DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.
• Harold W. Sorenson. Parameter Estimation: Principles and Problems. Marcel Dekker. 1980.