Расстояние Итакуры — Сайто

Расстояние Итакуры — Сайто (дивергенция Итакуры — Сайто) — мера разности между оригинальным спектром $P(\omega )$ и его приближением $\hat{P}(\omega )$; предложена 1960-х годах сотрудниками NTT Шаблон:Iw и Сюдзо Сайто.

Определяется как:

$D_{IS}(P(\omega ),\hat{P}(\omega ))=\frac{1}{2\pi }\underset{-\pi }{\overset{\pi }{\int }}[\frac{P(\omega )}{\hat{P}(\omega )}-\log \frac{P(\omega )}{\hat{P}(\omega )}-1]d\omega$.

Эта метрика не является истинной, поскольку несимметрична и в ней не выполняется неравенство треугольника.

Иногда применяется как функционал качества в машинном обучении и неотрицательном матричном разложении, то есть при необходимости представления матрицы $X$ как:

$\underset{l\times d}{\underbrace{X}}=\underset{l\times r}{\underbrace{W}}\cdot \underset{r\times d}{\underbrace{H}}$.

В этом случае метрику можно записать в виде:

$\sum _{i=1}^l\sum _{j=1}^d(\frac{X_{ij}}{[WH{]}_{ij}}-log\frac{X_{ij}}{[WH{]}_{ij}}-1)$.