Возвратное состояние

Возвра́тное состоя́ние — это состояние марковской цепи, посещаемое ею бесконечное число раз.

Определение

Пусть дана однородная цепь Маркова с дискретным временем $\{X_n{\}}_{n\ge 0}$. Пусть

$f_{ii}^{(n)}=\mathbb{P}(X_n=i,X_k≠i,k=1,\dots ,n-1\mid X_0=i)$

— вероятность, выйдя из состояния $i$, вернуться в него ровно за $n$ шагов. Тогда

$f_{ii}=\sum _{n=1}^{\mathrm{\infty }}{f}_{ii}^{(n)}$

— вероятность, выйдя из состояния $i$, вернуться в него (за конечное или бесконечное время).

Состояние $i$ называется возвра́тным (рекурре́нтным), если $f_{ii}=1$. В противном случае состояние называется невозвра́тным (транзие́нтным).

Критерий возвратности

Состояние $i$ является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

1. $\sum _{n=1}^{\mathrm{\infty }}{p}_{ii}^{(n)}=\mathrm{\infty }$, где $p_{ii}^{(n)}=\mathbb{P}(X_n=i\mid X_0=i)$.
2. $\mathbb{P}(\underset{n\to \mathrm{\infty }}{lim\; sup}\{X_n=i\}\mid X_0=i)=1$.

Соответственно, состояние $i$ невозвратно тогда и только тогда, когда выполнено любое из условий:

1. $\sum _{n=1}^{\mathrm{\infty }}{p}_{ii}^{(n)}<\mathrm{\infty }$ .
2. $\mathbb{P}(\underset{n\to \mathrm{\infty }}{lim\; sup}\{X_n=i\}\mid X_0=i)=0$.

Время возвращения

Предположим, что $X_0=i$ почти всюду, и определим случайную величину $T_i$, равную времени первого возвращения в состояние $i$, то есть

$T_i=inf\{n\ge 1\mid X_n=i\}$.

Тогда $T_i$ имеет дискретное распределение, задаваемое функцией вероятности

$\mathbb{P}(T_i=n)=f_{ii}^{(n)}$.

Возвратное состояние $i$ называется положи́тельным, если

$𝔼[T_i]=\sum _{n=1}^{\mathrm{\infty }}n{f}_{ii}^{(n)}<\mathrm{\infty }$,

и нулевы́м, если

$𝔼[T_i]=\mathrm{\infty }$.

Возвратность неразложимого класса

• Если состояния $i$ и $j$ сообщаются, и $i$ — возвратно, то состояние $j$ также возвратно.
• Более того если состояние $i$ положительно, то и состояние $j$ также положительно.

Таким образом возвратность и положительность — свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.

Примечания

Шаблон:Rq Шаблон:Состояния цепи Маркова