Тема №4. Предварительная обработка экспериментальных данных

Сложность: в общем случае

Цели предварительной обработки данных. Оценки параметров распределения (точечные, интервальные) и их свойства. Вычисление характеристик эмпирических распределений. Моменты. Отсев грубых погрешностей. Критерий 3сигм, Романовского, Диксона. Проверка нормальности распределения. Преобразование распределений к нормальному. Алгоритм предварительной обработки экспериментальных данных

Предварительная обработка экспериментальных данныхнеобходима для того, чтобы в дальнейшем с наибольшей эффективностью, корректно использовать для построения эмпирических зависимостей статистические методы. Содержание предварительной обработки состоит прежде всего в отсеивании грубых погрешностей измерений. Грубые погрешности плохо поддаются определению, хотя каждому экспериментатору интуитивно ясно, что это такое.

Другим важным моментом предварительной обработки данных является проверка соответствия распределения результатов измерения закону нормального распределения. Если эта гипотеза неприемлема, то следует определить закон распределения, которому подчиняются экспериментальные данные и если возможно, то преобразовать к нормальному. Только после этого можно перейти к построению эмпирических формул, например методом наименьших квадратов.

Оценки параметров распределения (точечные, интервальные) и их свойства.

Значение параметра, вычисленное по ограниченному объему ЭД, является случайной величиной, т. е. значение такой величины от выборки к выборке может меняться заранее не предвиденным образом. Следовательно, в результате обработки ЭД определяется не значение параметра T, а только лишь его приближенное значение – статистическая оценка параметра 𝜃. Получить статистическую оценку параметра теоретического распределения означает найти функцию от имеющихся результатов наблюдения, которая и даст приближенное значение искомого параметра. Различают два вида оценок – точечные и интервальные. Точечными называют такие оценки, которые характеризуются одним числом. При малых объемах выборки точечные оценки могут значительно отличаться от истинных значений параметров, поэтому их применяют при большом объеме выборки. Интервальные оценки задаются двумя числами, определяющими вероятный диапазон возможного значения параметра. Эти оценки применяются для малых и для больших выборок. Рассмотрим вначале точечные оценки.

Применительно к каждому оцениваемому параметру закона распределения генеральной совокупности существует множество функций, позволяющих вычислить искомые значения. Например, оценку математического ожидания можно вычислить, взяв среднее арифметическое выборочных значений, половину суммы крайних членов вариационного ряда, средний член выборки и т.д. Указанные функции отличаются качеством оценок и трудоемкостью реализации.

Качество оценок характеризуется такими свойствами, как состоятельность, несмещенность, эффективность и достаточность [3, 5, 9].

Состоятельность характеризует сходимость по вероятности оценки 𝜃 к истинному значению параметра T при неограниченном увеличении объема выборки n. Для состоятельности оценки достаточно, но не обязательно, чтобы математическое ожидание квадрата отклонения оценки от параметра M (T – 𝜃)² стремилось к нулю с увеличением объема выборки (здесь и далее символ М означает математическое ожидание). Свойство состоятельности проявляется при неограниченном увеличении n, а при небольших объемах ЭД наличие этого свойства еще недостаточно для применения оценки.

Несмещенность характеризует отсутствие систематических (в среднем) отклонений оценки от параметра при любом конечном, в том числе и малом, объеме выборки, т. е. M (𝜃) = T. Использование статистической оценки, математическое ожидание которой не равно оцениваемому параметру, приводит к систематическим ошибкам. Не всегда наличие смещения плохо. Оно может быть существенно меньше погрешности регистрации значений параметра или давать дополнительную гарантию выполнения требований к значению параметра (если даже при положительном смещении оценка 𝜃 меньше предельно допустимого значения, то несмещенное значение тем более будет отвечать этому условию). В таких ситуациях допустимо применение смещенных оценок, если они вычисляются проще, чем несмещенные. Но даже несмещенная оценка может быть удалена от истинного значения.

Эффективность характеризует разброс случайных значений оценки около истинного значения параметра. Среди всех оценок следует выбрать ту, значения которой теснее сконцентрированы около оцениваемого параметра. Для многих применяемых способов оценивания выборочные распределения параметров асимптотически нормальны, поэтому часто мерой эффективности служит дисперсия оценки. В таком понимании эффективная оценка – это оценка с минимальной дисперсией. При неограниченном увеличении n эффективная оценка является и состоятельной. В случае оценивания одного параметра дисперсия несмещенной оценки отвечает условию Рао – Крамера

,

где f (x,T)– плотность распределения варианты; п – количество наблюдений. Сравнительная эффективность оценки с дисперсией D_k (θ) измеряется коэффициентом эффективности ε = D (θ)/ D_k (θ), который не превышает единицы. Чем ближе коэффициент ε к единице, тем эффективнее оценка. Отмеченное ограничение применимо и к дискретным распределениям, если вместо плотности распределения подставить в него функцию вероятности.

Достаточность характеризует полноту использования информации, содержащейся в выборке. Другими словами, оценка θ будет достаточной, если все другие независимые оценки на основе данной выборки не дают дополнительной информации об оцениваемом параметре. Эффективная оценка обязательно является и достаточной. Рассмотренные свойства применимы также и к ЭД, которые характеризуются многомерными распределениями вероятностей.

Подходы к формированию оценок разработаны в теории несмещенных оценок, предложенной А. Н. Колмогоровым и С. Рао. В данной теории предполагается известным с точностью до параметра T вид функции плотности распределения наблюдаемой величины f (x, Т). Вид распределения устанавливается исходя из априорных соображений, например, на основе общепринятых суждений о характере безотказной работы технических средств. Тогда задача сводится к нахождению такой функции от результатов наблюдений, которая дает несмещенную и эффективную оценку.