Лекция 10
ЦЕЛЬ ЛЕКЦИИ: определить числовые характеристики системы двух случайных величин: начальные и центральные моменты, ковариацию, коэффициент корреляции и регрессию; описать двумерное нормальное распределение; сформулировать закон распределения и найти числовые характеристики -мерного случайного вектора; вывести плотность распределения многомерного гауссова распределения.
Начальные и центральные моменты
Обычно рассматривают в качестве числовых характеристик системы случайных величин начальные и центральные моменты различных порядков.
Начальным моментом порядка системы двух случайных величин называется математическое ожидание произведения на:
. (5.17)
Центральным моментом порядка системы двух случайных величин называется математическое ожидание произведения на:
, (5.18)
где, – центрированные случайные величины.
Для системы дискретных случайных величин
;,
а для системы непрерывных случайных величин
;
.
Порядок моментов определяется суммой индексов.
|
|
Начальные моменты первого порядка – это математические ожидания случайных величин и:
;.
Отметим, что точка представляет собой характеристику положения случайной точки, и разброс возможных значений системы случайных величин происходит вокруг этой точки.
Центральные моменты первого порядка равны нулю:.
Начальные моменты второго порядка:
;
;
. (5.19)
Начальный момент называется смешанным начальным моментом второго порядка и обозначается как.
Центральные моменты второго порядка:
;
;
. (5.20)
Первые два центральных момента – это дисперсии случайных величин и. Момент называется смешанным центральным моментом второго порядка или ковариацией (корреляционным моментом) и обычно обозначается как.
Ковариация
Для системы двух случайных величин ковариация выражается формулой
, (5.21)
при этом.
Дисперсию можно рассматривать как частный случай ковариации, т. е.
,.
Для независимых случайных величин ковариация всегда равна нулю. Докажем это утверждение.
,
но для независимых случайных величин по теореме умножения плотностей имеем
.
Следовательно,
.
Таким образом, доказано, что ковариация двух независимых случайных величин равна нулю.
Ковариация характеризует степень зависимости случайных величин и их рассеивание вокруг точки. Ее можно выразить через начальные моменты:
. (5.22)
Ковариация двух случайных величин равна математическому ожиданию их произведения минус произведение математических ожиданий этих величин.
Размерность ковариации, также как и дисперсии, равна квадрату размерности случайной величины.
Степень зависимости случайных величин и удобнее характеризовать посредством безразмерной величины – коэффициента корреляции
|
|
, (5.23)
который характеризует степень линейной зависимости, проявляющейся в том, что при возрастании одной из случайных величин другая также проявляет тенденцию возрастать или, наоборот, убывать.
Если, то говорят, что случайные величины и связаны положительной корреляцией; при – отрицательная корреляция между случайными величинами. Диапазон изменения
. (5.24)
Модуль коэффициента корреляции характеризует степень "тесноты" линейной зависимости или уклонение корреляционной связи от линейной функциональной зависимости случайных величин и.
При независимости случайных величин, а при линейно функциональной зависимости,:
при; при.
Если коэффициент корреляции равен нулю, то говорят, что случайные величины и не коррелированы, но это не означает, что они независимы. При можно лишь утверждать, что между случайными величинами отсутствует линейная связь.
Регрессия
Условным математическим ожиданием одной из случайных величин, входящих в систему, называется ее математическое ожидание, вычисленное при условии, что другая случайная величина приняла определенное значение, т. е. полученное на основе условного закона распределения.
Для дискретных случайных величин
;
,
где; – условные вероятности случайных величин и соответственно.
Для непрерывных случайных величин
;
,
где и – условные плотности распределения случайных величин: при и при соответственно.
Условное математическое ожидание случайной величины при заданном: называется регрессией на; аналогично – регрессией на. Графики этих зависимостей как функции или называют линиями регрессии, или "кривыми регрессии" на и на соответственно (см. рис. 5.10).
Рис. 5.10б. Регрессия на |
Рис. 5.10а. Регрессия на |
Двумерное нормальное распределение
Система двух непрерывных случайных величин распределена по нормальному закону, если ее совместная плотность имеет вид
. (5.25)
Это двумерное нормальное распределение, или нормальный закон распределения на плоскости, который полностью определяется заданием его числовых характеристик:.
Условные законы распределения:
;
.
Каждый из этих условных законов распределения является нормальным с условным математическим ожиданием и условной дисперсией, определяемой по формулам:
Отсюда следует, что для системы нормально распределенных случайных величин и линии регрессии и представляют собой прямые линии, т. е. регрессия для нормально распределенной системы всегда линейна. Для полного описания такой системы нужно знать пять параметров: координаты центра рассеивания и ковариационную матрицу, состоящую их четырех элементов:
, при этом.
При (случайные величины и не коррелированы) совместная плотность распределения системы имеет вид
,
т. е. если две нормальные случайные величины и не коррелированы, то они и независимы.
Закон распределения и числовые характеристики
-мерного случайного вектора
Закон распределения системы случайных величин – -мерного случайного вектора с составляющими – в общем случае может быть задан в виде функции распределения:
. (5.26)
Свойства функции распределения -мерного случайного вектора аналогичны свойствам функции распределения одной или двух случайных величин:
1. есть неубывающая функция каждого из своих аргументов.
2. Если хотя бы один из аргументов обращается в, то функция распределения равна нулю.
|
|
3. Функция распределения любой подсистемы системы определяется, если положить в функции распределения аргументы, соответствующие остальным случайным величинам, равными:
.
Чтобы определить функцию распределения любой из случайных величин, входящих в систему, нужно положить в все аргументы, кроме, равными:
.
4. Функция распределения непрерывна слева по каждому из своих аргументов.
5. Если случайные величины независимы, то
.
Для системы непрерывных случайных величин функция распределения непрерывна и дифференцируема по каждому из аргументов, а также существует -я смешанная частная производная
,
которая является совместной плотностью распределения системы непрерывных случайных величин, т. е.
. (5.27)
Свойства совместной функции распределения:
1..
2..
3. Если случайные величины независимы, то
.
Закон распределения системы зависимых случайных величин, являющийся функцией многих аргументов, весьма неудобен в практическом применении. Поэтому в практических (инженерных) приложениях теории вероятностей рассматриваются в основном числовые характеристики -мерного случайного вектора:
1. математических ожиданий:
;
2. дисперсий:
;
3. ковариаций:
.
Учитывая, что дисперсия случайной величины есть ковариация, то все ковариации () совместно с дисперсиями образуют матрицу ковариаций (ковариационную или корреляционную матрицу) – таблицу, состоящую из строк и столбцов:
. (5.28)
Так как, то матрица ковариаций симметрична относительно главной диагонали, на которой стоят дисперсии случайных величин. Если случайные величины попарно не коррелированные, т. е., то матрица (5.25) становится диагональной:
.
Вместо матрицы ковариаций можно записать матрицу коэффициентов корреляции:
, (5.29)
где.
Отсюда единицы по главной диагонали в матрице (5.29). Если же случайные величины попарно не коррелированные, т. е., то матрица коэффициентов корреляции будет единичной матрицей:
.
Иногда рассматривают условное математическое ожидание одной из случайных величин, например, при условии, что все остальные случайные величины приняли определенные значения:.
|
|
.
Это условное математическое ожидание называется регрессией на. Геометрически регрессия интерпретируется как поверхность в -мерном пространстве и называется поверхностью регрессии на.
Регрессия будет линейной, если поверхность регрессии описывается линейной функцией, т. е.
,
где – постоянные коэффициенты.
В двумерном случае линия регрессии прямая, в трехмерном – плоскость; в общем случае – гиперплоскость в пространстве измерений.
Для системы случайных величин, имеющей нормальное распределение, регрессия всегда линейна.
Многомерное нормальное распределение
Совместная плотность распределения вероятности системы произвольного числа нормальных случайных величин – случайного вектора – имеет вид
, (5.30)
где – определитель ковариационной матрицы системы случайных величин; – элементы обратной ковариационной матрицы, – алгебраическое дополнение элемента матрицы ковариаций.
Таким образом, параметрами -мерного нормального распределения являются:
· вектор математических ожиданий;
· ковариационная матрица размером.
Если нормально распределенные случайные величины не коррелированы, то корреляционная матрица становится диагональной
,
ее определитель, а обратная корреляционная матрица будет иметь вид
.
Таким образом, совместную плотность распределения можно привести к виду
.
Для нормально распределенной системы случайных величин из попарной некоррелированности отдельных величин, входящих в систему, следует их независимость.