Собственная информация

Собственная информация дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» — горизонтальная зелёная линия, риски слева — логарифмы натуральных чисел.

Собственная информация — статистическая функция дискретной случайной величины.

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.

Для случайной величины $X$, имеющей конечное число значений:

$P_X(x_i)=p_i,p_i⩾0,i=1,2,\dots ,n,\sum _{i=1}^n{p}_i=1$

собственная информация определяется как

$I(X)=-\log P_X(X).$

Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.

Основание логарифма	Единица измерения	Количество информации о падении монеты «орлом» вверх
2	бит	$-{\log }_2(1/2)={\log }_{2}2=1$ бит
e	нат	$-\ln (1/2)=\ln 2\approx 0,69$ ната
10	хартли	$-{\log }_{10}(1/2)={\log }_{10}2\approx 0,30$ хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информации

1. Неотрицательность: $I(x)⩾0$. $I(x)=0$ при $p(x)=1$, т. е. предопределённый факт никакой информации не несёт.
2. Монотонность: $I(x_1)>I(x_2)$, если $p(x_1)<p(x_2)$.
3. Аддитивность: для независимых $x_1,\dots ,x_n$ справедливо $I(x_1,\dots ,x_n)=\sum _{i=1}^{n}I(x_i)$.

См. также

• Информационная энтропия
• Взаимная информация

Литература

• Шаблон:Source