Дивергенция Йенсена — Шеннона

Дивергенция Йенсена — Шеннона — это метод измерения похожести двух распределений вероятностей. Она известна также как информационный радиусШаблон:Sfn или полное отклонение от среднегоШаблон:Sfn. Дивергенция базируется на дивергенции Кульбака — Лейблера с некоторыми существенными (и полезными) отличиями, среди которых, что она симметрична и всегда имеет конечное значение. Квадратный корень из дивергенции Йенсена — Шеннона является метрикой, которая часто упоминается как расстояние Йенсена — ШеннонаШаблон:SfnШаблон:SfnШаблон:Sfn.

Определение

Рассмотрим множество $M_{+}^1(A)$ распределений вероятности, где A — это множество, снабжённое некоторой сигма-алгеброй измеримых подмножеств. В частности, мы можем взять в качестве A конечное или счётное множество, в котором все подмножества измеримы.

Дивергенция Йенсена — Шеннона (Шаблон:Lang-en, JSD) $M_{+}^1(A)\times M_{+}^1(A)\to [0,\mathrm{\infty })$ — это симметризованная и сглаженная версия дивергенции Кульбака — Лейблера $D(P\parallel Q)$. Она определяется как

$\mathrm{J}\mathrm{S}\mathrm{D}(P\parallel Q)=\frac{1}{2}D(P\parallel M)+\frac{1}{2}D(Q\parallel M)$,

где $M=\frac{1}{2}(P+Q)$

Недавно было предложено обобщение дивергенции Йенсена — Шеннона, в котором вместо арифметического среднего используется абстрактное среднее (наподобие геометрического или гармонического среднего)Шаблон:R. Геометрическая дивергенция Йенсена — Шеннона (Шаблон:Lang-en) даёт явную a формулу дивергенции между двумя гауссовыми распределениями путём применения геометрического среднего.

Более общее определение, позволяющее сравнить более двух распределений вероятности (См):

${\mathrm{J}\mathrm{S}\mathrm{D}}_{{\pi }_1,\dots ,{\pi }_n}(P_1,P_2,\dots ,P_n)=H\left(\sum _{i=1}^n{\pi }_i{P}_i\right)-\sum _{i=1}^n{\pi }_{i}H(P_i)$,

где ${\pi }_1,\dots ,{\pi }_n$ являются весами, выбранными для распределений вероятности $P_1,P_2,\dots ,P_n$, а $H(P)$ является энтропией Шеннона для распределения $P$. Для случая двух распределений

$P_1=P,P_2=Q,{\pi }_1={\pi }_2=\frac{1}{2}.$

Границы

Дивергенция Йенсена — Шеннона ограничена 1 для двух распределений вероятности, если (в дивергенции Кульбака — Лейблера) используется логарифм по основанию 2Шаблон:Sfn

$0⩽\mathrm{J}\mathrm{S}\mathrm{D}(P\parallel Q)⩽1$

С такой нормализацией дивергенция Йенсена — Шеннона является нижней границей Шаблон:Не переведено 5 между P и Q:

$\mathrm{J}\mathrm{S}\mathrm{D}(P\parallel Q)⩽\frac{1}{2}\Vert P-Q{\Vert }_1=\frac{1}{2}\sum _{\omega \in \mathrm{\Omega }}|P(\omega )-Q(\omega )|.$

Для натурального логарифма, который обычно используется в статистической термодинамике, верхняя граница равна ln(2):

$0⩽\mathrm{J}\mathrm{S}\mathrm{D}(P\parallel Q)⩽\ln (2)$

Дивергенция Йенсена — Шеннона ограничена величиной ${\log }_2(n)$ для более двух распределений вероятности, если используется логарифм по основанию 2Шаблон:Sfn

$0⩽{\mathrm{J}\mathrm{S}\mathrm{D}}_{{\pi }_1,\dots ,{\pi }_n}(P_1,P_2,\dots ,P_n)⩽{\log }_2(n)$

Связь со взаимной информацией

Дивергенция Йенсена — Шеннона является взаимной информацией между случайной переменной $X$, ассоциированной со Шаблон:Не переведено 5 между $P$ и $Q$ и двоичной индикаторной переменной $Z$, которая используется для переключения между $P$ и $Q$ для получения смеси. Пусть $X$ будет некоторой функцией на множестве событий, которая хорошо различает события, и выберем значение $X$ согласно $P$, если $Z=0$, и согласно $Q$, если $Z=1$, где $Z$ равновероятно. То есть мы выбираем $X$ согласно мере $M=(P+Q)/2$, и его распределение является смесью распределений. Мы вычисляем

$\begin{array}{cc}I(X;Z)& =H(X)-H(X|Z)\\ & =-\sum M\log M+\frac{1}{2}[\sum P\log P+\sum Q\log Q]\\ & =-\sum \frac{P}{2}\log M-\sum \frac{Q}{2}\log M+\frac{1}{2}[\sum P\log P+\sum Q\log Q]\\ & =\frac{1}{2}\sum P(\log P-\log M)+\frac{1}{2}\sum Q(\log Q-\log M)\\ & =\mathrm{J}\mathrm{S}\mathrm{D}(P\parallel Q)\end{array}$

Из результатов выше следует, что дивергенция Йенсена — Шеннона ограничена 0 и 1, поскольку взаимная информация неотрицательна и ограничена величиной $H(Z)=1$. Дивергенция Йенсена — Шеннона не всегда ограничена 0 и 1 — здесь верхняя граница 1 возникает из-за того, что мы рассматриваем конкретный случай двоичной переменной $Z$.

Можно применить тот же принцип для совместного распределения и произведения этих двух крайних распределений (по аналогии с дивергенцией Кульбака — Лейблера и взаимной информацией) и измерить, насколько достоверно можно решить, что результат получен от совместного распределения или от произведения распределений при предположении, что имеются только эти две возможностиШаблон:Sfn.

Квантовая дивергенция Йенсена — Шеннона

Обобщение распределений вероятности на матрицы плотности позволяет определить квантовую дивергенцию Йенсена — Шеннона (Шаблон:Lang-en, QJSD)Шаблон:SfnШаблон:Sfn. Она определяется для множества матриц плотности $({\rho }_1,\dots ,{\rho }_n)$ и распределений вероятности $\pi =({\pi }_1,\dots ,{\pi }_n)$ как

$\mathrm{Q}\mathrm{J}\mathrm{S}\mathrm{D}({\rho }_1,\dots ,{\rho }_n)=S\left(\sum _{i=1}^n{\pi }_i{\rho }_i\right)-\sum _{i=1}^n{\pi }_{i}S({\rho }_i)$

где $S(\rho )$ является Шаблон:Не переведено 5 плотности $\rho$. Эта величина вводится в теории квантовой информации, где называется информацией Холево — она даёт верхнюю границу для количества классической информации, закодированной квантовыми состояниями $({\rho }_1,\dots ,{\rho }_n)$ при априорных распределениях $\pi$ (см. статью «Теорема Холево»)Шаблон:Sfn. Квантовая Дивергенция Йенсена — Шеннона для $\pi =(\frac{1}{2},\frac{1}{2})$ и двух матриц плотности является ограниченной всюду заданной симметричной функцией и равна нулю, только если две матрицы плотности совпадают. Она равна квадрату метрики чистых состоянийШаблон:Sfn и недавно было показано, что это метрическое свойство выполняется и для смешанных состоянийШаблон:RШаблон:R. Шаблон:Не переведено 5 тесно связана с квантовой дивергенцией Йенсена — Шеннона и является квантовым аналогом информационной метрики Фишера.

Обобщение

Нильсен ввёл косую K-дивергенциюШаблон:R: $K_{\alpha }(p||q)=\mathrm{K}\mathrm{L}(p||(1-\alpha )p+\alpha q)=\int p(x)\log \frac{p(x)}{(1-\alpha )p(x)+\alpha q(x)}\mathrm{d}x.$ Отсюда получаем однопараметрическое семейство дивергенций Йенсена — Шеннона, называемое $\alpha$-дивергенциями Йенсена — Шеннона:

${\mathrm{J}\mathrm{S}}_{\alpha }(p,q)=\frac{1}{2}(K_{\alpha }(p||q)+K_{\alpha }(q||p))={\mathrm{J}\mathrm{S}}_{\alpha }(q,p),$

которое включает дивергенцию Йенсена — Шеннона (для $\alpha =\frac{1}{2}$) и половину дивергенции Джеффриса (для $\alpha =1$).

Приложения

Дивергенция Йенсена — Шеннона применяется в биоинформатике и Шаблон:Не переведено 5Шаблон:SfnШаблон:Sfn, при сравнении поверхностей белковШаблон:Sfn, в общественных наукахШаблон:Sfn, при количественных исследованиях в историиШаблон:Sfn, экспериментах с огнёмШаблон:Sfn и машинном обучении Шаблон:Sfn.

Литература

• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Книга
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья
• Шаблон:Статья

Литература для дальнейшего чтения

• Шаблон:Cite arXiv

Ссылки

• Ruby gem for calculating JS divergence
• Python code for calculating JS divergence
• THOTH: a python package for the efficient estimation of information-theoretic quantities from empirical data
• statcomp R library for calculating complexity measures including Jensen-Shannon Divergence