Марковские процессы и цепи Маркова

Случайный процесс, протекающий в некоторой системе с дискретными состояниями, называется марковским, если для любого момента времени t ₀ вероятность каждого из состояний системы в будущем (при t > t ₀) зависит только от ее состояния в настоящем (при t = t ₀) и не зависит от того, когда и как она пришла в это состояние, т. е. не зависит от ее состояния в прошлом (при t < t ₀).

Марковский процесс с дискретными состояниями и дискретным временем называется марковской цепью или простой марковской цепью.

Марковский случайный процесс исчерпывающим образом описывается двумерным законом распределения.

Если Марковский случайный процесс является стационарным и обладает эргодическим свойством его характеристики можно оценить по одной достаточно продолжительной реализации.

В настоящее время при описании гидрологических процессов широко используется гипотеза об их "марковости" совместно с гипотезой о стационарности и эргодичности.

Вводя в состав параметров, характеризующих настоящее состояние системы, те параметры из прошлого, от которых зависит будущее, можно, как говорится, " марковизовать " многие немарковские случайные процессы. В этом случае используют термин "сложная цепь Маркова".

Цепь, в которой условные вероятности состояний в будущем зависят от ее состояния на нескольких предыдущих шагах, называют сложной цепью Маркова.