Однородная цепь Маркова. Переходные вероятности. Матрица перехода

Однородной называют цепь Маркова, если условная вероятность pij(s) (перехода из состояния i в состояние j) не зависит от номера испытания. Поэтому вместо P _ij (s) пишут просто P _ij.

Пример. Случайное блуждание. Пусть на прямой Ох в точке с целочисленной координатой х =n находится материальная частица. В определенные моменты времени t1, t2, t3,... частица испытывает толчки. Под действием толчка частица с вероятностью р смещается на единицу вправо и с вероятностью 1 – р— на единицу влево. Ясно, что положение (координата) частицы после толчка зависит от того, где находилась частица после непосредственно предшествующего толчка, и не зависит от того, как она двигалась под действием остальных предшествующих толчков.

Таким образом, случайное блуждание – пример однородной цепи Маркова с дискретным временем.

Далее ограничимся элементами теории конечных однородных цепей Маркова.

Переходной вероятностью р ij называют условную вероятность того, что из состояния i (в котором система оказалась в результате некоторого испытания, безразлично какого номера) в итоге следующего испытания система перейдет в состояние j.

Таким образом, в обозначении pij первый индекс указывает номер предшествующего, а второй – номер последующего состояния. Например, р₁₁—вероятность «перехода» из первого состояния в первое; р₂₃ — вероятность перехода из второго состояния в третье.

Пусть число состояний конечно и равно k.

Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:

Так как в каждой строке матрицы помещены вероятности событий (перехода из одного и того же состояния i в любое возможное состояние j), которые образуют полную группу, то сумма вероятностей этих событий равна единице. Другими словами, сумма переходных вероятностей каждой строки матрицы перехода равна единице:

Приведем пример матрицы перехода системы, которая может находиться в трех состояниях:

Здесь Р₁₁= 0,5 — вероятность перехода из состояния i = 1 в это же состояние j=1; р₂₁ = 0,4— вероятность перехода из состояния i=2 в состояние j = 1. Аналогичный смысл имеют остальные элементы матрицы.