Раздел 2. Цепи Маркова с дискретным множеством состояний. Общие свойства. Классификация состояний

19. Общее понятие марковского процесса. Идея марковского свойства. Марковский процесс с дискретным временем и дискретным множеством состояний (цепь Маркова). Классическое определение Марковской цепи. Формализация понятий прошлого и будущего. Сигма-алгебры, порожденные траекториями процесса. Вариант марковского свойства (условная независимость двух произвольных событий из прошлого и будущего).

20. Вероятности перехода марковской цепи и их свойства. Уравнение Колмогорова-Чепмена. Вероятностный смысл данных свойств.

21. Теорема о представлении произвольного совместного распределения вероятностей состояний марковской цепи через вероятности перехода (доказательство). Выражение произвольного конечномерного распределения марковской цепи через вероятности перехода.

22. Матричные представления для вероятностей перехода марковской цепи (матрицы вероятностей перехода). Матричная форма уравнений Колмогорова-Чепмена. Представление матриц вероятностей перехода за конечное время через матрицы вероятностей перехода за единицу времени.

23. Однородные цепи Маркова. Определение понятия однородности. Представление для произвольного конечномерного распределения однородной марковской цепи через вероятности перехода за единицу времени (за один шаг процесса). Матричные формулы для вероятностей перехода за конечное время.

24. Цепи Маркова с дискретным множеством состояний. Способы задания марковской цепи с помощью вероятностных характеристик.
Задание произвольных конечномерных распределений и начальных условий для марковских цепей.

25. Теоремы об оценках для вероятностей перехода марковской цепи (доказательство теоремы 1)

26. Связи между состояниями. Понятие пути и достижимости. Транзитивность достижимости. Сообщающиеся состояния.

27. Классы состояний. Теорема о разбиении множества состояний на классы. Замкнутые и незамкнутые классы.

28. Существенные и несущественные состояния. Определение. Свойства состояний марковской цепи, связанные с существенностью (формулировка теорем).

29. Возвратные и невозвратные состояния марковской цепи (формальное определение). Необходимое и достаточное условие возвратности (аналитический критерий). Теорема о необходимых условиях невозвратности (без доказательства).

30. Альтернатива солидарности для свойства возвратности (доказательство теоремы).

31. Случайные моменты времени , в которые происходит возвращение марковской цепи в произвольное фиксированное состояние (при условии ). Эволюция цепи на интервалах времени между соседними моментами возвращения. Связи однотипных вероятностных характеристик, определенных на различных интервалах между моментами возвращения в данное состояние.

32. Лемма Бореля-Кантелли (без доказательства).

33. Теорема о числе возвращений марковской цепи в возвратное и невозвратное состояния (доказательство).

34. Следствие из теоремы о числе возвращений. Случайная длительность пребывания марковской цепи в конечном невозвратном классе состояний. Общая характеристика эволюции марковской цепи с конечным множеством состояний.

35. Теорема о связи свойств существенности и возвратности (доказательство).

36. Вероятность перехода из фиксированного состояния i в состояние j за произвольное конечное число шагов (формальное определение). Теорема о переходах внутри возвратного класса (без доказательства).

37. Положительные и нулевые состояния (определение). Альтернатива солидарности для свойства положительности (без доказательства).

38. Теорема о связи свойств возвратности и положительности.

39. Теорема о свойствах конечного замкнутого класса (доказательство).

40. Анализ связей между свойствами существенности, возвратности и положительности для конечного и счетного классов состояний. Обоснование при помощи известных теоретических утверждений.

41. Периодичность. Понятие периода и периодического состояния. Альтернатива солидарности для свойства периодичности (доказательство).

42. Теорема о структуре замкнутого периодического класса (доказательство).

43. Альтернатива солидарности марковской цепи для основных свойств состояний (полное доказательство).

44. Поглощающие цепи Маркова. Определение, свойства эволюции цепи. Основные характеристики ( – математическое ожидание числа попаданий в состояние j до поглощения при условии (); - вероятность поглощения в фиксированном состоянии k при условии ()).

45. Поглощающие цепи Маркова. Теорема о представлении матрицы . Следствие: представление аддитивного функционала среднего дохода за время до поглощения при различных начальных условиях.