Финальные вероятности состояний

Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей P_i(t) при . В некоторых случаях существуют финальные (предельные) вероятности состояний:

,

не зависящие от того, в каком состоянии система S находилась в начальный момент. Говорят, что в системе S устанавливается предельный стационарный режим, в ходе которою она переходит из состояния в состояние, но вероятности состояний Р_i уже не меняются. Система, для которой существуют финальные вероятности, называется эргодической, а соответствующий случайный процесс – эргодическим.

Финальные вероятности состояний (если они существуют) могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятностные функции состояний Р₁(t),..., Р_n(1) в правых частях уравнений (3.3) заменить соответственно на неизвестные финальные вероятности Р₁,..., Р_n.

Таким образом, для системы S с n состояниями получается система n линейных однородных алгебраических уравнений с n неизвестными P₁, …, Р_n, которые можно найти с точностью до произвольного множителя. Для нахождения точного значения P₁, …, Р_n к уравнениям добавляют нормировочное условие Р₁ + Р₂ +...+ P_n = 1, пользуясь которым можно выразить любую из вероятностей Р_i через другие и отбросить одно из уравнений.

Пример 3. Имеется размеченный граф состояний системы S (рис. 3.4). Необходимо составить систему дифференциальных уравнений Колмогорова и записать начальные условия для решения этой системы, если известно, что в начальный момент система находилась в состоянии S₁.

Рис. 3.4. Граф состояний системы

Решение

Согласно приведенному мнемоническому правилу, система дифференциальных уравнений Колмогорова имеет вид

Начальные условия при t = 0:

P₁ = 1; P₂ = P₃ = P₄ = P₅ = 0.

Рассмотрим, что произойдет с системой S, описываемой дифференциальными уравнениями Колмогорова, при . Известно, что в случае сообщающихся состояний функции P₁(t), P₂(t), …, P_n(t) стремятся к предельным (финальным) вероятностям состояний системы S. Финальные вероятности не зависят от времени. Поэтому в системе дифференциальных уравнений Колмогорова все левые части уравнений (производные) принимают равными нулю. При этом система дифференциальных уравнении превратится в систему линейных алгебраических уравнений.

Для нашего примера система будет иметь вид

Решая ее, с учетом условия Р₁ + Р₂ +.P₃ + P₄+ P₅ = 1, получим все предельные вероятности. Эти вероятности представляют собой не что иное, как среднее относительное время пребывания системы в данном состоянии.

Для существования финальных вероятностей одного условия l_ij = const недостаточно, требуется выполнение еще некоторых условий, проверить которые можно по графу состояний, выделив в нем так называемые существенные и несущественные состояния.

Состояние S_i называется существенным, если нет другого состояния S_j, т.е. такого, что, перейдя однажды каким-то способом из S_i в S_j, система уже не может вернуться в S_i.

Все состояния, не обладающие таким свойством, называются несущественными.

Рассмотрим пример, представленный на рис. 3.5.

Рис. 3.5. Граф состояний системы S

Состояния S₁, S₂ и S₅ - несущественные, так как из S₁ можно уйти, например, в состояние S₂ и не вернуться, a из состояния S₂ - в состояние S₃ или S₄ и не вернуться; аналогично из состояния S₅ - в состояние S₆ и S₇. Состояния S₃, S₄, S₆ и S₇ - существенные состояния.

При конечном числе состояний для существования финальных вероятностей необходимо и достаточно, чтобы из каждого существенного состояния можно было (за какое-то число шагов) перейти в каждое другое существенное состояние.

Граф из примера рис. 3.5 этому условию не удовлетворяет, так как из существенного состояния S₄ нельзя перейти в существенное состояние S₇. Если система S имеет конечное число состояний S₁, S₂,..., S_n, то для существования финальных вероятностей достаточно, чтобы из любого состояния системы можно было (за какое-то число шагов) перейти в любое другое состояние.

Если число состояний бесконечно, то это условие перестает быть достаточным, и существование финальных вероятностей зависит не только от графа состояний, но и от интенсивности l_ij.

Задача 1. Построить систему дифференциальных уравнений для следующей системы:

Задача 7. Физическая система S имеет возможные состояния: S₁, S₂, S₃, S₄. Вычислить предельные вероятности состояний.