double arrow

Дискретная цепь Маркова с дискретным временем

Цепи Маркова

Цепи Маркова широко используются в экономических исследованиях – в частности, при изучении систем массового обслуживания. Примерами процессов массового обслуживания могут служить, в частности: обслуживание покупателей в сфере розничной торговли, транспортное обслуживание, ремонт аппаратуры, машин и механизмов, находящихся в эксплуатации, обработка документов в системе управления и т.п. Главной особенностью процессов массового обслуживания является случайность (момент возникновения заявки на обслуживание и окончание обслуживания заявки часто непредсказуемы).

В теоретическом плане цепи Маркова рассматриваются как частный вид случайных процессов. Функция называется случайной, если ее значение при любом аргументе t является случайной величиной. Если в качестве t выступает время, то случайная функция описывает случайный процесс.

Цепью Маркова называют последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий полной группы, причем, условная вероятность того, что в s-м испытании наступит событие , при условии, что в (s-1)–м испытании наступило событие , не зависит от результатов предшествующих испытаний.

Например, если последовательность испытаний образует цепь Маркова, и полная группа состоит из четырех несовместных событий , причем, известно, что в шестом испытании появилось событие , то условная вероятность того, что в седьмом испытании наступит событие , не зависит от того, какие события появились в первом, втором, …пятом испытаниях.

Пусть некоторая система в каждый момент времени находится в одном из k состояний. В отдельные моменты времени в результате испытания состояние системы изменяется, т.е. система переходит из одного состояния, например i, в другое, например j. После испытания система может остаться в том же состоянии (перейти из состояния в состояние ).

Для цепей Маркова часто используется следующая терминология: события называют состояниями системы, а испытания – изменениями ее состояний.

В связи с этим цепью Маркова можно назвать последовательность испытаний, в каждом из которых система принимает только одно из k состояний полной группы, причем, условная вероятность того, что в s–м испытании система будет находиться в состоянии j, при условии, что после (s-1)–м испытания она находилась в состоянии i, не зависит от результатов предшествующих испытаний.

Цепью Маркова с дискретным временем называют цепь, изменение состояний которой происходит в определенные фиксированные моменты времени.

Цепью Маркова с непрерывным временем называют цепь, изменение состояний которой происходит в любые случайные возможные моменты времени.

Дискретная цепь Маркова с дискретным временем

Имеется система, которая может находиться в нескольких состояниях № 1, 2,…, n. В некоторые дискретные моменты времени эта система может менять свое состояние.

Основное свойство цепи Маркова: состояние, в котором система окажется в следующий момент времени зависит только от ее текущего состояния и не зависит от всех предыдущих.

Переход из состояние в состояние определяется матрицей (вероятностей) перехода (где ), которая считается известной заданной).

Для достаточно долго функционирующей системы определяется финальная вероятность - вероятность того, что в текущий момент времени система находится в состоянии. Финальные вероятности удовлетворяют условиям:

можно найти как решение этой СЛАУ.

Моделирование

1. Старт: задано (если не задано, то определяется как дискретная случайная величина с рядом ;

2. Получаем как дискретную случайную величину с рядом ;

3. Получаем как дискретную случайную величину с рядом ;

4....

Т.о., получаем последовательность состояний системы


Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями:  



Сейчас читают про: