Статистические оценки

Одной из центральных задач математической статистики является задача оценивания теоретического распределения случайной величины на основе выборочных данных.

При этом часто предполагается, что вид закона распределения генеральной совокупности известен, но неизвестны параметры этого распределения, такие как математическое ожидание, дисперсия. Требуется найти приближенные значения этих параметров, то есть получить статистические оценки указанных параметров.

Определение. Статистической оценкой  параметра  теоретического распределения называют его приближенное значение, зависящее от данных выбора.

Рассматривая выборочные значения  как реализации случайных величин , получивших конкретные значения в результате опытов, можно представить оценку  как функцию этих случайных величин: . Это означает, что оценка тоже является случайной величиной.

Если для оценки  взять несколько (k) выборок, то получим столько же случайных оценок .

Если число наблюдений невелико, то замена неизвестного параметра  оценкой  приводит к ошибке, которая тем больше, чем меньше число опытов.

 

Точечные оценки

 

Статистические оценки могут быть точечными и интервальными.

Точечные оценки представляют собой число или точку на числовой оси. Чтобы оценка  была близка к значению параметра , она должна обладать свойствами состоятельности, несмещенности и эффективности.

Определение. Оценка  параметра  называется состоятельной, если она сходится по вероятности к оцениваемому параметру, то есть для любого :

.

Поясним смысл этого равенства.

Пусть  - очень малое положительное число. Тогда данное равенство означает, что чем больше объем выборки n, тем ближе оценка  приближается к оцениваемому параметру .

Свойство состоятельности нужно проверять в первую очередь. Оно обязательно для любого правила оценивания. Несостоятельные оценки не используются.

Определение. Оценка  параметра  называется несмещенной, если , то есть математическое ожидание оценки равно оцениваемому параметру. Если , то оценка  называется смещенной.

Это свойство оценки желательно, но не обязательно. Часто полученная оценка бывает смещенной, но ее можно поправить так, чтобы она стала несмещенной.

Иногда, оценка бывает асимптотически несмещенной, то есть .

Требования несмещенности особенно важно при малом числе опытов.

Определение. Несмещенная оценка  параметра  называется эффективной, если она среди всех несмещенных оценок, в определенном классе оценок данного параметра, обладает наименьшей дисперсией.

Можно показать, что:

 является состоятельной, несмещенной и эффективной оценкой  в классе линейных оценок;

 является состоятельной, смещенной оценкой ;

 является состоятельной, несмещенной оценкой ;

(при больших n разница между  и  мала);

 используется при малых выборках (обычно при n £30);

относительная частота  появления события  в  независимых испытаниях является состоятельной, несмещенной и эффективной оценкой, в классе линейных оценок, неизвестной вероятности  (p - вероятность появления события A в каждом испытании);

эмпирическая функция распределения выборки  является состоятельной, несмещенной оценкой функции распределения  случайной величины X.

Для нахождения оценок неизвестных параметров используют различные методы. Наиболее распространенными являются: метод моментов, метод максимального правдоподобия (ММП), метод наименьших квадратов (МНК).

Интервальные оценки

При выборке малого объема точечная оценка может существенно отличаться от оцениваемого параметра. В этом случае целесообразно использовать интервальные оценки.

Определение. Интервальной называют оценку, которая определяется двумя числами – концами интервала.

Пусть найденная по данным выборки величина  служит оценкой неизвестного параметра . Оценка  определяет  тем точнее, чем меньше , то есть чем меньше  в неравенстве .

Поскольку  - случайная величина, то и разность  - случайная величина. Поэтому неравенство , при заданном может выполняться только с некоторой вероятностью.

Определение. Доверительной вероятностью (надежностью) оценки  параметра  называется вероятность , с которой выполняется неравенство .

Обычно задается надежность  и определяется . Чаще всего надежность задается значениями от 0,95 и выше, в зависимости от конкретно решаемой задачи.

Неравенство  можно записать .

Определение. Доверительным интервалом называется интервал , который покрывает неизвестный параметр с заданной надежностью .