Энтропийная скорость

Шаблон:Теория информации В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость $H(X)$ является пределом Шаблон:Не переведено 5 $n$ членов процесса $X_k$, поделённым на $n$, при стремлении $n$ к бесконечности:

$H(X)=\underset{n\to \mathrm{\infty }}{\lim }\frac{1}{n}H(X_1,X_2,\dots X_n)$

если предел существует. Альтернативно, связанной величиной является:

$H^{\prime }(X)=\underset{n\to \mathrm{\infty }}{\lim }H(X_n|X_{n-1},X_{n-2},\dots X_1)$

Для сильно стационарных стохастических процессов $H(X)=H^{\prime }(X)$. Энтропийную скорость можно рассматривать как общее свойство стохастических источников, то есть Шаблон:Не переведено 5. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в машинном обученииШаблон:Sfn.

Энтропийная скорость для марковских цепей

Поскольку стохастический процесс, определяемый цепью Маркова, которая неприводима, непериодична и положительно рекурренктна, имеет стационарное распределение, энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова $Y_k$, определённом на счётном числе состояний, заданных матрицей переходов $P_{ij}$, $H(Y)$, задаётся выражением:

$H(Y)=-\sum _{ij}{\mu }_i{P}_{ij}\log P_{ij}$,

где ${\mu }_i$ является Шаблон:Iw цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

См. также

• Марковский источник информации
• Шаблон:Не переведено 5

Литература

• Шаблон:Статья
• Шаблон:Книга Шаблон:Архивировано