Дискретные цепи Маркова.
Задана дискретная цепь Маркова, если для последовательности случайных величин выполняется равенство
.
Это означает, что поток случайных величин определяется только вероятностью перехода от предыдущего значения случайной величины к последующему. Зная начальное распределение вероятностей, можно найти распределение на любом шаге. Величины in можно интерпретировать как номера состояний некоторой динамической системы с дискретным множеством состояний. Если вероятности переходов не зависят от номера шага, то такая цепь Маркова называется однородной и ее определение задается набором вероятностей .
Для однородной Марковской цепи можно определить вероятности перехода из состояния i в состояние j за m шагов
Цепь Маркова называется неприводимой, если каждое ее состояние может быть достигнуто из любого другого состояния. Состояние i называется поглощающим, если для него pii =1.
Состояние называется возвратным, если вероятность попадания в него за конечное число шагов равна единице. В другом случае состояние относится к невозвратным. Возвратное состояние может быть периодическим и апериодическим в зависимости от наличия кратных шагов возврата. Введем вероятности возврата в состояние i через n шагов после ухода из этого состояния:
Они позволяют определить среднее число шагов, т.е среднее время возврата: .
Состояние называется возвратным нулевым, если среднее время возвращения в него равно бесконечности, и возвратным ненулевым, если это время конечно.