Равенство Маркова

Обозначим через Pij(n) вероятность того, что в результате n шагов (испытаний) система перейдет из состояния i в состояние j. Например, Р ₂₅(1 0) — вероятность перехода за 10 шагов из второго состояния в пятое.

Подчеркнем, что при n = 1 получим переходные вероятности

Поставим перед собой задачу: зная переходные вероятности p _ij, найти вероятности Р _ij (n) перехода системы из состояния i в состояние j за n шагов. С этой целью введем в рассмотрение промежуточное (между i и j) состояние r. Другими словами, будем считать, что из первоначального состояния i за m шагов система перейдет в промежуточное состояние r с вероятностью P _ir (m), после чего за оставшиеся n–m шагов из промежуточного состояния r она перейдет в конечное состояние j с вероятностью Prj(n – m).

По формуле полной вероятности, Эту формулу называют равенством Маркова.