Или в матричных обозначениях

P (i + 1) = P (i)t F (2.23)

(квадратная матрица F образована из элементов P_nn ¹, удовлетворяющих условиям

0 £ £ 1 для всех n и n ¹ (2.24)

и

для всех n). (2.25)

Всякая матрица, обладающая свойствами (2.24) и (2.25), называется стохастической; каждая ее сторона представляет стохастический вектор. Вероятности называются вероятностями перехода, сама стохастическая матрица часто называется матрицей (вероятностей) перехода.

Цепь Маркова полностью определяется стохастической матрицей F и совокупностью начальных вероятностей состояний P_n (0).

Матрица перехода F может зависеть от времени, т.е. вероятности перехода могут быть функциями i, тогда

где P_n (0) и (i) заданы.