Цепи Маркова

Последовательность дискретных случайных величин называется цепью Маркова (с дискретным временем), если

Таким образом, в простейшем случае последующее состояние цепи Маркова зависит только от текущего, и не зависит от всех предыдущих состояний (в отличии от цепей Маркова высших порядков).

Образ случайных величин { X_n } называется простра́нством состоя́ний цепи, а номер n — номером шага.