Однородные цепи маркова

Процесс перехода некоторой физической системы из одного состояния в другое называется марковским, если для каждого момента времени вероятность любого состояния системы в будущем зависит только от состояния в настоящем и не зависит от её поведения до этого момента. Обозначение:

Марковский случайный процесс называется процессом с дискретными состояниями, если имеется счётное число различных состояний системы (конечное или бесконечное).

Для процесса с непрерывными состояниями характерен постепенный, плавный переход из состояния в состояние.

Марковский случайный процесс с дискретными состояниями называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определённые заранее фиксированные моменты времени . В промежутке времени система сохраняет своё состояние.

Марковский случайный процесс с дискретными состояниями называется процессом с непрерывным временем, если переходы системы из состояния в состояние возможны в любые случайные моменты времени.

Пусть – множество состояний некоторой физической системы. Марковский процесс с дискретным временем, происходящий в системе s, можно рассматривать как функцию целочисленного аргумента: 1, 2, …, k (номер шага перехода).

Последовательность переходов называется марковской цепью.

Если вероятность перехода системы из состояния в состояние за один шаг не зависит от номера шага (зависит только от того, из какого состояния и в какое осуществляется переход), то марковская цепь называется однородной.

Вероятности перехода удобно располагать в виде матрицы:

Матрица Р обладает свойствами:

1. ;

2. для каждой строки имеет место равенство .

Следствие: Вероятность того, что система не выйдет из состояния определяется равенством: .

Вместо матрицы Р можно использовать граф, вершинами которого являются состояния цепи, а стрелка, идущая из состояния в состояние с числом над ней, показывает, что из состояния возможен переход в состояние с вероятностью . В том случае, когда , соответствующее ребро не проводится.

Например. Матрице вероятностей перехода

соответствует граф:

· Для описания Марковского процесса, протекающего в системе с дискретными состояниями и дискретным временем, пользуются матрицей вероятностей состояний того, что система через n шагов будет находиться в состоянии

Вероятности удовлетворяют условию .

Матрица вероятностей состояний определяется по правилу:

– в начальный момент : ;

– в последующие моменты времени: , (P – матрица переходных вероятностей).

· Для марковского процесса, протекающего в системе с дискретными состояниями (состояний без выхода нет) и непрерывным временем, вероятности состояний в любой момент времени определяются из системы, составленной по мнемоническому правилу: «что втекает, то и вытекает», и нормировочного условия:

где обозначает плотность потока событий, переводящих систему из состояния в состояние .