Цепью Маркова называют последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий А1, A2,..., Аk полной группы, причем условная вероятность P ij (s) того, что в s-м испытании наступит событие Аj (j=1, 2,...,k), при условии, что в (s – 1)-м испытании наступило событие Ai (i=1,2,...,k), не зависит от результатов предшествующих испытаний.
Например, если последовательность испытаний образует цепь Маркова и полная группа состоит из четырех несовместных событий Al, A2, A3, A4, причем известно, что в шестом испытании появилось событие А2, то условная вероятность того, что в седьмом испытании наступит событие A4 не зависит от того, какие события появились в первом, втором,..., пятом испытаниях.
Заметим, что независимые испытания являются частным случаем цепи Маркова. Действительно, если испытания независимы, от появление некоторого определенного события в любом испытании не зависит от результатов ранее произведенных испытаний. Отсюда следует, что понятие цепи Маркова является обобщением понятия независимых испытаний.
|
|
Далее используется терминология, которая принята при изложении цепей Маркова. Пусть некоторая система в каждый момент времени находится в одном из k состояний: первом, втором,.... k-м. В отдельные моменты времени в результате испытания состояние системы изменяется, т. е. система переходит из одного состояния, например i, в другое, например j. В частности, после испытания система может остаться в том же состоянии («перейти» из состояния i в состояниеj = i).
Таким образом, события называют состояниями системы, а испытания — изменениями ее состояний.
Цепью Маркова называют последовательность испытаний, в каждом из которых система принимает только одно из k состояний полной группы, причем условная вероятность p ij (s) того, что в s-м испытании система будет находиться в состоянии j, при условии, что после (s – 1)-го испытания она находилась в состоянии i, не зависит от результатов остальных, ранее произведенных испытаний.
Цепью Маркова с дискретным временем, называют цепь, изменение состояний которой происходит в определенные фиксированные моменты времени.
Цепью Маркова с непрерывным временем называют цепь, изменение состояний которой происходит в любые случайные возможные моменты времени.