Для цепи Маркова с непрерывным временем строится ориентированный граф переходов (кратко — граф переходов) по следующим правилам:
- Множество вершин графа совпадает со множеством состояний цепи.
- Вершины
соединяются ориентированным ребром
, если
(то есть интенсивность потока из
-го состояния в
-е положительна.
Топологические свойства графа переходов связаны со спектральными свойствами матрицы . В частности, для конечных цепей Маркова верны следующие теоремы:
- Следующие три свойства А, Б, В конечной цепи Маркова эквивалентны (обладающие ими цепи иногда называют слабо эргодическими):
А. Для любых двух различных вершин графа переходов найдется такая вершина
графа («общий сток»), что существуют ориентированные пути от вершины
к вершине
и от вершины
к вершине
. Замечание: возможен случай
или
; в этом случае тривиальный (пустой) путь от
к
или от
к
также считается ориентированным путем.
Б. Нулевое собственное число матрицы невырождено.
В. При матрица
стремится к матрице, у которой все строки совпадают (и совпадают, очевидно, с равновесным распределением).
- Следующие пять свойств А, Б, В, Г, Д конечной цепи Маркова эквивалентны (обладающие ими цепи называют эргодическими):
А. Граф переходов цепи ориентированно связен.
Б. Нулевое собственное число матрицы невырождено и ему соответствует строго положительный левый собственный вектор (равновесное распределение).
В. Для некоторого матрица
строго положительна (то есть
для всех
).
Г. Для всех матрица
строго положительна.
Д. При матрица
стремится к строго положительной матрице, у которой все строки совпадают (и совпадают, очевидно, с равновесным распределением).