Достижимое состояние

Определение

Пусть $\{X_n{\}}_{n\in \mathbb{N}}$ — однородная цепь Маркова с дискретным временем. Состояние $j$ называется достижи́мым из состояния $i$, если существует $n=n(i,j)$ такое, что

$p_{ij}^{(n)}\equiv \mathbb{P}(X_n=j\mid X_0=i)>0$.

Пишут $i\to j$.

Сообщающиеся состояния

• Состояния $i$ и $j$ называются сообща́ющимися, если $i\to j$ и $j\to i$. Пишем: $i\leftrightarrow j$.
• Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности. Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами. Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой.
• Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные, либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

Примеры

• Пусть $\{X_n{\}}_{n\ge 0}$ — цепь Маркова с тремя состояниями $\{1,2,3\}$, и её матрица переходных вероятностей имеет вид

$P=\left(\begin{array}{ccc}0.5& 0.5& 0\\ 0.1& 0.9& 0\\ 0& 0& 1\end{array}\right).$

Состояния этой цепи образуют два неразложимых класса: $\{1,2\}$ и $\{3\}$. В частности, $1\leftrightarrow 2$, но $1\to ̸3$ и $3\to ̸1$.

• Цепь Маркова, задаваемая матрицей переходных вероятностей

$P=\left(\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right)$,

неразложима.

Примечания

Шаблон:Состояния цепи Маркова