Цепи Маркова

Це́пь Ма́ркова — последовательность случайных событий с конечным или счётным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого.

Последовательность дискретных случайных величин называется простой цепью Маркова (с дискретным временем), если

.

Таким образом, в простейшем случае условное распределение последующего состояния цепи Маркова зависит только от текущего состояния и не зависит от всех предыдущих состояний (в отличие от цепей Маркова высших порядков).

Область значений случайных величин называется пространством состояний цепи, а номер — номером шага.

Семейство дискретных случайных величин называется цепью Маркова (с непрерывным временем), если

.

Цепь Маркова с непрерывным временем называется однородной, если

.