Сопряжённое априорное распределение

Сопряжённое априорное распределение (Шаблон:Lang-en) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.

Рассмотрим задачу о нахождении распределения параметра $\theta$ (рассматриваемого как случайная величина) по имеющемуся наблюдению $x$. По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности $p(\theta )$ и функции правдоподобия $p(x|\theta )$ по формуле:

$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{\underset{\text{range}\theta }{\int }p(x|\theta )p(\theta )d\theta }.$

Если апостериорное распределение $p(\theta |x)$ принадлежит тому же семейству вероятностных распределений, что и априорное распределение $p(\theta )$ (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия $p(x|\theta )$. При этом распределение $p(\theta )$ называется сопряжённым априорным распределением к семейству функций правдоподобия $p(x|\theta )$.

Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.

Пример

Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром $q\in [0,1]$ (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:

$p(q=x)=\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{\mathrm{B}(\alpha ,\beta )}$

где $\alpha$ и $\beta$ выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор $\alpha$ = 1 and $\beta$ = 1 даст равномерное распределение), а Β($\alpha$, $\beta$) — бета-функция, служащая здесь для нормализации вероятности.

Параметры $\alpha$ и $\beta$ часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).

Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:

$P(s,f|q=x)=(\genfrac{}{}{0ex}{}{s+f}{s})x^s(1-x{)}^f,$

$p(q=x|s,f)=\frac{(\genfrac{}{}{0ex}{}{s+f}{s})x^{s+\alpha -1}(1-x{)}^{f+\beta -1}/\mathrm{B}(\alpha ,\beta )}{\underset{y=0}{\overset{1}{\int }}((\genfrac{}{}{0ex}{}{s+f}{s})y^{s+\alpha -1}(1-y{)}^{f+\beta -1}/\mathrm{B}(\alpha ,\beta ))dy}=\frac{x^{s+\alpha -1}(1-x{)}^{f+\beta -1}}{\mathrm{B}(s+\alpha ,f+\beta )},$

Это апостериорное распределение также оказывается распределённым по закону бета-распределения.

Таблица сопряжённых семейств распределений

В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений $x_1,x_2,\dots ,x_n$. Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.

Дискретно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Бернулли	p	Бета	$\alpha ,\beta$	$\alpha +\sum _{i=1}^n{x}_i,\beta +n-\sum _{i=1}^n{x}_i$
Биномиальное	p	Бета	$\alpha ,\beta$	$\alpha +\sum _{i=1}^n{x}_i,\beta +\sum _{i=1}^n{N}_i-\sum _{i=1}^n{x}_i$
Отрицательное биномиальное	p	Бета	$\alpha ,\beta$	$\alpha +rn,\beta +\sum _{i=1}^n{x}_i$
Пуассона	λ	Гамма	$k,\theta$	$k+\sum _{i=1}^n{x}_i,\frac{\theta }{n\theta +1}$
Пуассона	λ	Гамма	$\alpha ,\beta$	$\alpha +\sum _{i=1}^n{x}_i,\beta +n$
Мультиномиальное	p (вектор вероятностей)	Дирихле	$\overrightarrow{\alpha }$	$\overrightarrow{\alpha }+\sum _{i=1}^n{\overrightarrow{x}}^{(i)}$
Геометрическое (в смысле числа «неудач» до первого «успеха»)	p0 (вероятность)	Бета	$\alpha ,\beta$	$\alpha +n,\beta +\sum _{i=1}^n{x}_i$

Непрерывно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Равномерное	$U(0,\theta )$	Парето	$x_m,k$	$\max \{x_{(n)},x_m\},k+n$
Экспоненциальное	λ	Гамма	$\alpha ,\beta$	$\alpha +n,\beta +\sum _{i=1}^n{x}_i$
Нормальное с известной дисперсией σ2	μ	Нормальное	${\mu }_0,{\sigma }_0^2$	$(\frac{{\mu }_0}{{\sigma }_0^2}+\frac{\sum _{i=1}^n{x}_i}{{\sigma }^2})/(\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2}),{(\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2})}^{-1}$
Нормальное с известным τ = 1/σ2	μ	Нормальное	${\mu }_0,{\tau }_0$	$({\tau }_0{\mu }_0+\tau \sum _{i=1}^n{x}_i)/({\tau }_0+n\tau ),{\tau }_0+n\tau$
Нормальное с известным средним μ	σ2	Scaled inverse chi-square	$\nu ,{\sigma }_0^2$	$\nu +n,\frac{\nu {\sigma }_0^2+\sum _{i=1}^n(x_i-\mu {)}^2}{\nu +n}$
Нормальное с известным средним μ	τ (= 1/σ2)	Гамма	$\alpha ,\beta$	$\alpha +\frac{n}{2},\beta +\frac{\sum _{i=1}^n(x_i-\mu {)}^2}{2}$
Нормальное с известным средним μ	σ2	Обратное гамма-распределение	$\mathit{\alpha },\mathit{\beta }$	$\mathit{\alpha }+\frac{n}{2},\mathit{\beta }+\frac{\sum _{i=1}^n(x_i-\mu {)}^2}{2}$
Парето	k	Гамма	$\alpha ,\beta$	$\alpha +n,\beta +\sum _{i=1}^n\ln \frac{x_i}{x_{\mathrm{m}}}$
Парето	xm	Парето	$x_0,k_0$	$x_0,k_0-kn$ при условии $k_0>kn$.
Гамма с известной α	β (inverse scale)	Гамма	${\alpha }_0,{\beta }_0$	${\alpha }_0+n\alpha ,{\beta }_0+\sum _{i=1}^n{x}_i$

Литература

• DeGroot, Morris H. Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published in 1970.) ISBN 0-471-68029-X.