Матрица , где
называется ма́трицей перехо́дных вероя́тностей на -м шаге, а вектор , где
— нача́льным распределе́нием цепи Маркова.
Очевидно, матрица переходных вероятностей является стохастической, то есть
.
Цепь Маркова называется одноро́дной, если матрица переходных вероятностей не зависит от номера шага, то есть
.
В противном случае цепь Маркова называется неоднородной. В дальнейшем будем предполагать, что имеем дело с однородными цепями Маркова.