f-дивергенция

f-дивергенцией (f-расхождением) называется класс функционалов $D_f(P\parallel Q)$, определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей $P$ и $Q$. Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией $f(t)$, удовлетворяющей определённым условиям.

Данный класс дивергенций был введён и изучался независимо друг от друга учёными ЧисараШаблон:Sfn, МоримотоШаблон:Sfn, а также Али и СилвиШаблон:Sfn. Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви.

Определение

Пусть $P$ и $Q$ — распределения вероятностей, заданные на множестве $\mathrm{\Omega }$, такие что $P$ абсолютно непрерывно по отношению к $Q$. Пусть функция $f(t)$ выпукла при $t\ge 0$ и $f(1)=0$. Тогда функция $f$ задаёт f-дивергенцию $P$ относительно $Q$ следующим образом:

$D_f(P\parallel Q)=\underset{\mathrm{\Omega }}{\int }f\left(\frac{dP}{dQ}\right)dQ={\mathrm{E}}_{Q}f\left(\frac{dP}{dQ}\right).$

Если $\mu$ — любая мера на $\mathrm{\Omega }$, и оба распределения $P$ и $Q$ непрерывны относительно $\mu$, т.е. существуют функции $p=\frac{dP}{d\mu }$ и $q=\frac{dQ}{d\mu }$, тогда f-дивергенция может быть записана как

$D_f(P\parallel Q)=\underset{\mathrm{\Omega }}{\int }f\left(\frac{p}{q}\right)qd\mu .$

В случае лебеговой меры $\mu =x$ распределения имеют плотности $p(x)$ и $q(x)$, тогда f-дивергенция принимает вид

$D_f(P\parallel Q)=\underset{\mathrm{\Omega }}{\int }f\left(\frac{p(x)}{q(x)}\right)q(x)dx.$

Для дискретных распределений $P=\{p_i\}$ и $Q=\{q_i\}$, где $i=1,...,N$,

$D_f(P\parallel Q)=\sum _{i=1}^{N}f\left(\frac{p_i}{q_i}\right)q_i.$

Функция $f(t)$ определена с точностью до слагаемого $c(t-1)$, где $c$ — произвольная константа. Действительно, вид f-дивергенции не зависит от выбора $c$, поскольку слагаемое $c(t-1)$ функции $f(t)$ даёт нулевой вклад в значение интеграла. Кроме того, функция $f(t)$ может содержать положительную мультипликативную константу $k$, которая определяет единицу измерения дивергенции. В связи с этим некоторые авторы (например, БассевильШаблон:Sfn) указывают дополнительные ограничения, налагаемые на функцию $f(t)$:

$f^{\prime }(1)=0,$

$f^{″}(1)=1.$

Первое из этих ограничений фиксирует константу $c$, второе — константу $k$. Условие $f^{\prime }(1)=0$ может быть полезно тем, что в этом случае $f(t)\ge 0$ с минимумом в точке $t=1$ (см. Лизе и ВайдаШаблон:Sfn), и выражение для f-дивергенции интуитивно проще воспринимается. Однако такой способ конкретизировать функцию $f(t)$ не всегда удобен: например, для существования непрерывной версии f-энтропии, связанной с данной f-дивергенцией, может потребоваться другое значение константы $c$.

f-дивергенция может быть разложена в ряд Тейлора и записана в виде взвешенной суммы расстояний χ-типа (см. Нильсен и НокШаблон:Sfn).

Частные случаи f-дивергенции

Многие известные дивергенции, такие как дивергенция Кульбака—Лейблера, квадрат расстояния Хеллингера, расстояние хи-квадрат и ряд других, являются частными случаями f-дивергенции, которым соответствует определённый выбор функции $f(t)$. В следующей таблице приведены некоторые распространённые виды дивергенций между распределениями вероятностей и соответствующая им функция $f(t)$ (см. Лизе и ВайдаШаблон:Sfn).

Дивергенция	Порождающая функция $f(t)$
Дивергенция Кульбака—Лейблера	$t\ln t$
Обратная Дивергенция Кульбака—Лейблера	$-\ln t$
Квадрат расстояния Хеллингера	$\frac{1}{2}(\sqrt{t}-1{)}^2,1-\sqrt{t},t-\sqrt{t}$
Расстояние полной вариации	$\frac{1}{2}|t-1|$
Расстояние ${\chi }^2$ Пирсона	$(t-1{)}^2,t^2-1,t^2-t$
Расстояние ${\chi }^2$ Неймана	$\frac{1}{t}-1,\frac{1}{t}-t$
Альфа-дивергенция	$\{\begin{array}{cc}\frac{4}{1-{\alpha }^2}(t-t^{(1+\alpha )/2}),& \text{если}\alpha \ne \pm 1,\\ t\ln t,& \text{если}\alpha =1,\\ -\ln t,& \text{если}\alpha =-1\end{array}$
Альфа-дивергенция (другие обозначения)	$\{\begin{array}{cc}\frac{t^{\alpha }-t}{\alpha (\alpha -1)},& \text{если}\alpha \ne 0,\alpha \ne 1,\\ t\ln t,& \text{если}\alpha =1,\\ -\ln t,& \text{если}\alpha =0\end{array}$

Свойства

Шаблон:Unordered list С учётом последнего свойства класс f-дивергенций можно было бы эквивалентным образом определить как ${D^{*}}_f(P\parallel Q)={\mathrm{E}}_{P}f\left(\frac{dQ}{dP}\right)$. Подобное определение встречается, например, у ЧжанаШаблон:Sfn. Таким образом, интерпретация распределения $Q$ как истинного, которая следует из определения f-дивергенции, не является её фундаментальным свойством, а является лишь следствием соглашения о порядке следования аргументов в определении. Иными словами, аргументы $P$ и $Q$ концептуально равноправны.

f-дивергенция является безразмерной величиной независимо от размерности множества $\mathrm{\Omega }$.

Связанные понятия

Кроме f-дивергенции, И. Чисар определил связанное с ней понятие f-энтропии (ЧисарШаблон:Sfn).

Литература

• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья