Закон больших чисел и центральная предельная теорема

Лекция 13

ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ

ЧАСТЬ 7

ЦЕЛЬ ЛЕКЦИИ: доказать неравенство Чебышева; сформулировать и доказать закон больших чисел и его следствия; доказать центральную предельную теорему для случая суммы независимых случайных величин.

Закон больших чисел утверждает, что среднее арифметическое большого числа случайных величин ведет себя как среднее арифметическое их математических ожиданий. А согласно центральной предельной теореме достаточно большая сумма сравнительно малых случайных величин ведет себя как нормальная случайная величина. Различные формы закона больших чисел вместе с различными вариантами центральной предельной теоремы образуют совокупность так называемых предельных теорем теории вероятностей и имеют большой практический смысл, так как составляют теоретическую основу математической статистики.

В качестве леммы, необходимой для доказательства теорем, относящихся к группе "предельных", докажем неравенство Чебышева.

Неравенство Чебышева

Если у случайной величины известна дисперсия, то она в некотором смысле является мерой "случайности" величины.

Так, для случайной величины, имеющей равномерный закон распределения

,

дисперсия равна

.

При малых мала и дисперсия, но невелико и отличие любого значения случайной величины от ее математического ожидания.

Аналогично для нормального распределения: чем больше дисперсия, тем больше область вероятных (имеющих отличные от нуля вероятности) значений случайной величины, хотя и с меньшей вероятностью.

Таким образом, чем больше величина дисперсии, тем более вероятны значительные отклонения возможных значений случайной величины от центра группирования – математического ожидания.

Если у случайной величины известна плотность распределения, то для любого положительного можно вычислить вероятность события вида.

Однако чаще встречается вариант, когда при неизвестном законе распределения, но по известной дисперсии необходимо оценить вероятность события. Эту задачу решил Чебышев Пафнутий Львович (1821–1894) посредством неравенства, названного его именем.

Неравенство Чебышева. Для любой случайной величины, имеющей конечную дисперсию и математическое ожидание, для любого положительного имеет место неравенство

.

Доказательство. Для дискретной случайной величины, заданной рядом распределения

Х:			…
		…		,

изобразим возможные значения этой величины на числовой оси в виде точек (см. рис. 7.1).

Зададимся некоторым значением и вычислим вероятность того, что случайная величина отклонится от своего математического ожидания на величину, большую чем:

,

т. е. вероятность того, что попадет не внутрь отрезка, а вне его,

Рис. 7.1. Возможные значения дискретной случайной величины

x

x 1

A

B

x 2

xn -1

xn

mX

.

Чтобы вычислить эту вероятность, необходимо просуммировать вероятности всех значений, которые лежат вне отрезка, т. е.

, (7.1)

где запись под знаком суммы означает, что суммирование распространяется на все значения, для которых точки лежат вне отрезка.

По определению дисперсия дискретной случайной величины

.

Так как все члены суммы неотрицательны, то эта сумма только уменьшится, если распространить суммирование не на все значения, а только на те, что лежат вне отрезка:

.

Так как, то при замене под знаком суммы величины на, значение этой суммы еще больше уменьшится, и будем иметь неравенство

.

Стоящая в правой части сумма есть не что иное, как вероятность непопадания случайной величины на отрезок (см. выражение 7.1), и поэтому

,

откуда окончательно получаем

;

.

Как и всякий общий результат, не использующий данные о конкретном виде распределения случайной величины, неравенство Чебышева дает лишь грубую оценку сверху для вероятности события. Если оценивать вероятность события для случайной величины с неизвестным законом распределения, то получим по неравенству Чебышева

.

Для нормального распределения эта вероятность равна 0,0027 – разница в 40 раз.

Закон больших чисел

Одной из основных задач теории вероятностей является установление закономерностей, происходящих с вероятностями, близкими к единице; при этом особую роль играют закономерности, возникающие в результате наложения большого числа независимых или слабо зависимых факторов. Закон больших чисел устанавливает связь между средним арифметическим наблюдаемых значений случайной величины и ее математическим ожиданием и является одним из важнейших приложений теории вероятностей.

Предварительно решим следующую задачу. Есть случайная величина, имеющая математическое ожидание и дисперсию. Над этой величиной производится независимых испытаний и вычисляется среднее арифметическое всех наблюдаемых значений случайной величины. Полученное значение среднего арифметического является случайной величиной. Поэтому необходимо найти числовые характеристики этого среднего арифметического, т. е. вычислить математическое ожидание и дисперсию, а также выяснить, как они изменяются с увеличением.

В результате опытов получена последовательность из возможных значений:. Удобно посмотреть на эту совокупность чисел как на систему случайных величин. Очевидно, что эта система представляет собой независимых случайных величин, каждая из которых распределена по тому же закону, что и сама исходная величина, т. е. выполняются следующие условия:

;

.

Среднее значение этих случайных величин

(7.2)

является случайной величиной с математическим ожиданием

(7.3)

и дисперсией

. (7.4)

Получили, что математическое ожидание случайной величины не зависит от числа испытаний и равно математическому ожиданию исследуемой случайной величины, а дисперсия величины неограниченно убывает с увеличением числа опытов и при достаточно большом может быть сделана сколь угодно малой. Таким образом, среднее арифметическое есть случайная величина с какой угодно малой дисперсией и при большом числе опытов ведет себя почти как неслучайная величина.

Теорема Чебышева. Если – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной

,

и математические ожидания

,

то, каковы бы ни были постоянные и,

либо

;,

т. е. среднее арифметическое последовательности независимых случайных величин сходится по вероятности к их математическому ожиданию.

Доказательство. Применим для случайной величины

с и

неравенство Чебышева

.

Но из условия теоремы получаем

.

Следовательно, каким бы малым ни было число, можно взять таким большим, чтобы выполнялось неравенство

,

где – сколь угодно малое число.

И тогда получаем

,

и, переходя к противоположному событию, имеем

.

Обобщенная теорема Чебышева. Если законы распределения случайной величины от опыта к опыту изменяются, то приходится иметь дело со средним арифметическим последовательности случайных величин с различными математическими ожиданиями и с различными дисперсиями. Для таких случайных величин существует обобщенная теорема Чебышева.

Теорема (без доказательства). Если – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной

,

и математические ожидания

,

то, каковы бы ни были постоянные и,

или

,

т. е. среднее арифметическое последовательности независимых случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий.

Теорема Маркова. Закон больших чисел может быть распространен и на зависимые случайные величины. Это обобщение принадлежит Маркову.

Теорема (без доказательства). Если имеются зависимые случайные величины и при

,

то среднее арифметическое наблюдаемых значений случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий:

.

Следствия закона больших чисел

Теорема Я. Бернулли, устанавливающая связь между частотой события и его вероятностью, может быть доказана как прямое следствие закона больших чисел (теоремы Чебышева).

Теорема Бернулли. Если производится независимых испытаний, в каждом из которых может появиться или не появиться некоторое событие, вероятность появления которого в каждом опыте равна, то при неограниченном увеличении числа опытов частота события сходится по вероятности к его вероятности.

Обозначив частоту события через, теорему Бернулли можно записать в виде

или,

где и – сколь угодно малые положительные числа.

Доказательство. Рассмотрим независимые случайные величины: – число появлений события в первом опыте; – число появлений события во втором опыте; …; – число появлений события в -м опыте. Все эти случайные величины дискретны и имеют один и тот же закон распределения в виде индикатора событий. Поэтому математическое ожидание каждой из величин равно, а дисперсия равна, где.

Частота представляет собой не что иное, как среднее арифметическое случайных величин

,

которая, согласно теореме Чебышева, сходится по вероятности к общему математическому ожиданию этих случайных величин, равному.

Теорема Бернулли утверждает свойство устойчивости частот при постоянных условиях опыта, но и при изменяющихся условиях испытаний аналогичная устойчивость также существует.

Теорема Пуассона (следствие обобщенной теоремы Чебышева). Если производится независимых опытов и вероятность появления события в -м опыте равна, то при неограниченном увеличении числа опытов частота события сходится по вероятности к среднему арифметическому вероятностей:

или.

Центральная предельная теорема

Докажем центральную предельную теорему для случая одинаково распределенных случайных величин (в форме Ляпунова).

Теорема: Если – независимые случайные величины, имеющие одно и то же распределение с математическим ожиданием и дисперсией, то при увеличении закон распределения суммы неограниченно приближается к нормальному.

Доказательство. Докажем теорему для случая непрерывных случайных величин, применив аппарат характеристических функций. Согласно одному из свойств, характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых. Случайные величины имеют одну и ту же плотность распределения, а значит, и одну и ту же характеристическую функцию. Не нарушая общности, можно перенести начало отсчета всех случайных величин в их общее математическое ожидание, что равнозначно их центрированию и, значит, тому, что математическое ожидание каждой из них будет равно нулю.

Для доказательства теоремы найдем характеристическую функцию гауссовой случайной величины с нулевым математическим ожиданием и единичной дисперсией, плотность распределения которой

.

Характеристическая функция такой случайной величины

.

Получили, что характеристическая функция нормальной случайной величины с и имеет вид

. (7.5)

По определению характеристическая функция случайной величины

. (7.6)

Характеристическая функция случайной величины равна произведению характеристических функций слагаемых, т. е.

. (7.7)

Разложим в окрестности точки в ряд Макларена, ограничившись тремя членами

, (7.8)

где при.

Вычислим.

Так, по свойству нормировки функции.

Продифференцируем выражение (7.6) по

(7.9)

и получаем при

,

а так как все имеют одну и ту же плотность распределения и нулевое математическое ожидание, то.

Продифференцируем теперь (7.9): и соответственно при получим

.

После подстановки в (7.8) имеем, что

. (7.10)

Для случайной величины докажем, что при увеличении ее закон распределения приближается к нормальному закону распределения. Для этого перейдем к нормированной случайной величине

,

которая линейно связанной с и удобна тем, что ее дисперсия равна единице для любого. Если докажем, что случайная величина имеет нормальное распределение, то это будет означать, что и величина тоже распределена нормально.

Докажем, что характеристическая функция, однозначно определяющая плотность распределения случайной величины, приближается к характеристической функции нормального закона с теми же, что и у, параметрами:.

Найдем характеристическую функцию случайной величины, используя свойства характеристических функций и выражения (7.5) и (7.8):

.

Прологарифмируем это выражение и получим

.

Пусть, и тогда. Если неограниченно увеличивать, то величина будет стремиться к нулю. Поэтому разложим в ряд по степеням, ограничившись первым членом разложения, т. е.. Таким образом, получаем

,

так как функция, когда аргумент при.

Получили, что, следовательно,

,

но это и есть характеристическая функция нормально распределенной случайной величины с нулевым математическим ожиданием и единичной дисперсией (см. выражение (7.5)). Следовательно, и линейно связанная со случайной величиной случайная величина имеет нормальное распределение.

ЧАСТЬ 8