2015-03-08
402
Для неприводимой и апериодической цепи Маркова всегда существуют предельные вероятности, не зависящие от начального распределения вероятностей. Более того, имеет место одна из следующих двух возможностей:
А) все состояния цепи невозвратные или все возвратные нулевые, и тогда все предельные вероятности равны нулю и стационарного состояния не существует;
Б) все состояния возвратные ненулевые и тогда существует стационарное распределение вероятностей:
Состояние называется эргодическим, если оно апериодично и возвратно ненулевое. Если все состояния цепи Маркова эргодичны, то вся цепь называется эргодической. Предельные вероятности эргодической цепи Маркова называют вероятностями состояния равновесия, имея в виду, что зависимость от начального распределения вероятностей полностью отсутствует.
Цепь Маркова с конечным числом состояний (конечная цепь), удобно изображать в виде ориентированного графа, называемого диаграммой переходов (рис.1). Вершины графа ассоциируются с состояниями, а ребра с вероятностями переходов.
|
|
|
Вычисления вероятностей достижения состояний производится прямыми методами или с помощью z-преобразования.
Рис. 1. Цепь Маркова.
У однородных Марковских процессов вероятности переходов не зависят от времени.
Вероятности перехода системы из состояния i на m -том шаге в состояние j на n -том шаге для n > m.
Эти вероятности связаны между собой, так называемым уравнениями Чепмена-Колмогорова. (Chapman - Kolmogorov)
.
Для однородных цепей Маркова эти уравнения упрощаются так
.
