Существенное состояние

Суще́ственное состоя́ние — это такое состояние цепи Маркова, покинув которое, она всегда может в него вернуться.

Определение

Пусть дана однородная цепь Маркова с дискретным временем $\{X_n{\}}_{n\ge 0}$ и дискретным пространством состояний $\{1,2,\dots \}$. Тогда состояние $i$ называется несуще́ственным, если существует состояние $j$ и $n_{ij}\in \mathbb{N}$, такие что

$p_{ij}^{(n_{ij})}>0$, но $p_{ji}^{(n)}=0,\mathrm{\forall }n\in \mathbb{N}$.

В противном случае состояние $i$ называется суще́ственным.

Замечание

Несущественные состояния не играют роли при изучении долговременного поведения цепи Маркова, а потому их чаще всего игнорируют.

Пример

Пусть пространство состояний цепи Маркова конечно: $\{1,2,3,4\}$, а матрица переходных вероятностей имеет вид:

$P=\left(\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 0.6& 0.4\\ 0& 0& 0.5& 0.5\\ 0& 0& 0.1& 0.9\end{array}\right)$.

Тогда состояния $1$ и $2$ несущественны, а $3$ и $4$ — существенны.

Примечания

Шаблон:Состояния цепи Маркова Шаблон:Rq