Основные понятия марковских процессов

Для математического описания многих операций, развивающихся в форме случайного процесса, может быть с успехом применен математический аппарат, разработанный в теории вероятностей для Марковских случайных процессов.

Функция X(t) называется случайной, если ее значение при любом аргументе t является случайной величиной.

Случайная функция X(t), аргументом которой является время, называется случайным процессом.

Марковские процессы являются частным видом случайных процессов. Особое место марковских процессов среди других классов случайных процессов обусловлено следующими обстоятельствами: для марковских процессов хорошо разработан математический аппарат, позволяющий решать многие практические задачи; с помощью марковских процессов можно описать (точно или приближенно) поведение достаточно сложных систем.

Определение. Случайный процесс, протекающий в какой-либо системе S, называется марковским (или процессом без последействия), если он обладает следующим свойством: для любою момента времени t₀ вероятность любого состояния системы в будущем (при t > t₀) зависит только от ее состояния в настоящем (при t = t₀) и не зависит от того, когда и каким образом система S пришла в это состояние. То есть в марковском случайном процессе будущее развитие процесса не зависит от его предыстории.

Классификация марковских процессов. Классификация марковских случайных процессов производится в зависимости от непрерывности или дискретности множества значений функции X(t) и параметра t. Различают следующие основные виды марковских случайных процессов:

· с дискретными состояниями и дискретным временем (цепь Маркова);

· с непрерывными состояниями и дискретным временем (марковские последовательности);

· с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);

· с непрерывным состоянием и непрерывным временем.

Здесь будут рассматриваться только марковские процессы с дискретными состояниями S₁, S₂,…, S_n. То есть эти состояния можно перенумеровать одно за другим, а сам процесс состоит в том, что система случайным образом скачком меняет свое состояние.

Граф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний (рис. 1.1.), где квадратиками обозначены состояния S₁, S₂,... системы S, а стрелками - возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлей», т. е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счетным).

Рис. 3.1. Граф состояний системы S

Задача 1. Система S – автомобиль, которая может находиться в одном из пяти состояний.

S₁ – исправна, работает;

S₂ – неисправна, ожидает осмотра;

S₃ –осматривается;

S₄ – ремонтируется;

S₅ – списана.

Построить граф состояний системы.

Задача 2. Техническое устройство S состоит из 2-х узлов: 1 и 2, каждый из которых может в любой момент времени отказать. У каждого узла может быть только 2 состояния. 1 – исправен, 2 – неисправен. Построить граф состояний системы.

Задача 3. Построить граф состояний в условиях предыдущей задачи, предполагая, что ремонт узлов в ходе процесса не производится.

Задача 4. Техническое устройство S состоит из 2-х узлов: 1 и 2, каждый из которых может в любой момент времени отказать. Каждый узел, перед тем как начать восстанавливаться подвергается осмотру с целью локализации неисправности. Состояния системы нумеруются 2-мя индексами: S_ij (i – состояния первого узла, j – состояния второго узла). У каждого узла три состояния (работает, осматривается, восстанавливается).