Первичная статистическая обработка данных

Лабораторная работа №3. Статистическая обработка данных в системе MatLab

 

Общая постановка задачи

Основной целью выполнения лабораторной работы является ознакомление с основами работы со статистической обработкой данных в среде MatLAB.

Теоретическая часть

Первичная статистическая обработка данных

Статистическая обработка данных основывается на первичных и вторичных количественных методах. Цель первичной обработки статистических данных является структурирование полученных сведений, подразумевающее группировку данных в сводные таблицы по различным параметрам. Первичные данных должны быть представлены в таком формате, чтобы человек смог провести приближенную оценку полученной совокупности данных и выявить информацию о распределении данных полученной выборки данных, например, однородность или компактность данных. После первичного анализа данных применяются методы вторичной статистической обработки данных, на основании которых определяются статистические закономерности в имеющемся наборе данных.

Проведение первичного статистического анализа над массивом данных позволяет получить знания о следующем:

- Какое значение наиболее характерно для выборки? Для ответа на данный вопрос определяются меры центральной тенденции.

- Велик ли разброс данных относительно этого характерного значения, т. е. какова «размытость» данных? В данном случае определяются меры изменчивости.

Стоит отметить тот факт, что статистические показатели меры центральной тенденции и изменчивостиопределяются только на количественных данных.

Меры центральной тенденции – группа величин, вокруг которых группируются остальные данные.Таким образом, меры центральной тенденции обобщают массив данных, что делает возможным формирование умозаключений как о выборке в целом, так и проведение сравнительного анализа разных выборок друг с другом.

Допустим имеется выборка данных , тогда меры центральной тенденции оцениваются следующими показателями:

1. Выборочное среднее – это результат деления суммы всех значений выборки на их количество.Определяется по формуле (3.1).

(3.1)

где - i -й элемент выборки;

n – количество элементов выборки.

Выборочное среднее позволяет получить наибольшую точность в процессе оценки центральной тенденции.

Допустим имеется выборка из 20 человек. Элементами выборки являются сведения о среднем ежемесячном доходе каждого человека. Предположим, что 19 человек имеют средний ежемесячный доход в 20 т.р. и 1 человек с доходом в 300 т.р. Суммарный ежемесячный доход всей выборки составляет 680 т.р. Выборочное среднее в данном случае S=34.

2. Медиана – формирует значение, выше и ниже которого количество отличающихся значений одинаково, т. е. это центральное значение в последовательном ряду данных. Определяется в зависимости четности/нечетности количества элементов выборке по формулам (3.2) или (3.3).Алгоритм оценки медианы для выборки данных :

- Первым делом данные ранжируются (упорядочиваются) по убыванию/возрастанию .

- Если в упорядоченной выборке нечетное число элементов, то медиана совпадает с центральным значением.

(3.2)

где n - количество элементов выборки.

- В случае четного числа элементов медиана определяется как как среднее арифметическое двух центральных значений.

(3.3)

где - средний элемент упорядоченной выборки;

- элемент упорядоченной выборки следующий за ;

- количество элементов выборки.

-В том случае, если все элементы выборки различны, то ровно половина элементов выборки больше медианы, а другая половина меньше. Например, для выборки {1, 5, 9, 15, 16} медиана совпадает с элементом 9.

В статистическом анализе данных медиана позволяет определить элементы выборки, которые сильно влияют на значение выборочного среднего.

Допустим имеется выборка из 20 человек. Элементами выборки являются сведения о среднем ежемесячном доходе каждого человека. Предположим, что 19 человек имеют средний ежемесячный доход в 20 т.р. и 1 человек с доходом в 300 т.р. Суммарный ежемесячный доход всей выборки составляет 680 т.р. Медиана, после упорядочивания выборки, определяется как среднеарифметическое десятого и одиннадцатого элементов выборки) и равняется Ме=20 т.р. Данный результат интерпретируется следующим образом: медиана делит выборку на две группу, таким образом, что можно сделать заключение о том, что в первой группе у каждого человека средний ежемесячный доход не более 20 т.р., а во второй группе не менее 20 т.р. В данном примере можно говорить о том, что медиана характеризуется тем, сколько зарабатывает «средний» человек. В то время как значение выборочного среднего значительно превышено S=34, что указывает на неприемлемость данной характеристики при оценке среднего заработка.

Таким образом, чем больше различие между медианой и выборочным средним, тем больший разброс данных выборки (в рассмотренном примере, человек с заработком в 300 т.р. явно отличается от среднестатистических людей конкретной выборки и оказывает существенное влияние на оценку среднего дохода). Что делать с подобными элементами решается в каждом индивидуальном случае. Но в общем случае для обеспечения достоверности выборки они изымаются, так как оказывают сильное влияние на оценку статистических показателей.

3. Мода (Мо) – формирует значение, наиболее часто встречающееся в выборке, т. е. значение с наибольшей частотой.Алгоритм оценки моды:

-В том случае, когда выборка содержит элементы, встречающиеся одинаково часто, то говорят, что мода в подобной выборке отсутствует.

- Если два соседних элемента выборки имеют одинаковую частоту, являющуюся больше частоты остальных элементов выборки, то мода определяется как среднее этих двух значений.

- Если два элемента выборки имеют одинаковую частоту, являющуюся больше частоты остальных элементов выборки, и при этом данные элементы не являются соседними, то говорят, что в данной выборке две моды.

Мода в статистическом анализе используется в ситуациях, когда необходимо проведение быстрой оценки меры центральной тенденции и не требуется высокая точность. Например, моду (по показателю размер либо бренд) удобно применять для определения одежды и обуви, которая пользуется наибольшим спросом у покупателей.

 

Меры разброса (изменчивости) – группа статистических показателей, характеризующих различия между отдельными значениями выборки. Основываясь на показателях мер разброса можно оценивать степень однородности и компактности элементов выборки. Меры разброса, характеризуются следующим набором показателей:

1. Размах - это интервал между максимальным и минимальным значениями результатов наблюдений (элементов выборки). Показатель размаха указывает на разброс значений в совокупности данных. Если размах большой, то значения в совокупности сильно разбросаны, в противном случае (размах небольшой) говорится о том, что значения в совокупности лежат близко друг к другу. Размах определяется по формуле (3.4).

(3.4)

Где - максимальный элемент выборки;

- минимальный элемент выборки.

2. Среднее отклонение – среднеарифметическая разница (по абсолютной величине) между каждым значением в выборке и ее выборочным средним. Среднее отклонение определяется по формуле (3.5).

(3.5)

где - i -й элемент выборки;

- значение выборочного среднего, рассчитанное по формуле (3.1);

- количество элементов выборки.

Модуль необходим в связи с тем, что отклонения от среднего по каждому конкретному элементу могут быть как положительными так и отрицательными. Следовательно, если не взять модуль, то сумма всех отклонений будет близка к нулю и невозможно будет судить о степени изменчивости данных (скученности данных вокруг выборочного среднего). При проведении статистического анализа могут быть взяты мода и медиана вместо выборочного среднего.

3. Дисперсия — мера рассеяния, описывающая сравнительное отклонение между значениями данных и средней величиной. Вычисляется как сумма квадратов отклонений каждого элемента выборки от средней величины. В зависимости от размера выборки дисперсия оценивается разными способами:

- для больших выборок (n>30) по формуле (3.6)

(3.6)

- для малых выборок (n<30) по формуле (3.7)

(3.7)

где X_i— i-й элемент выборки;

S – среднее значение выборки;

- количество элементов выборки;

(X_i – S) — отклонение от средней величины для каждого значения набора данных.

4. Стандартное отклонение —мера того, насколько широко разбросаны точки данных относительно их среднего.

Процесс возведения в квадрат отдельных отклоненийпри вычислении дисперсии усиливает степень отклонения полученной величины отклонения от первоначальных отклонений, что в свою очередь вносит дополнительные погрешности. Таким образом, с целью приближения оценки разброса точек данных относительно их среднего к значению среднего отклонения, из дисперсии извлекают квадратный корень. Извлеченный корень из дисперсии характеризует меру изменчивости, именуемую среднеквадратическим или стандартным отклонением (3.8).

(3.8)

 

Допустим вы руководитель проекта по разработке программного обеспечения. У вас в подчинении пять программистов. Управляя процессом выполнения проекта, вы распределяете задания между программистами. Для простоты примера будем исходить из того факта, что задания равнозначны по сложности и времени выполнения. Вы решили проанализировать работу каждого программиста (число выполненных заданий в течении недели) за последние 10 недель, в результате чего вами получены следующие выборки:

Неделя ФИО

 

Проведя оценку среднего числа выполненных задач, вы получили следующий результат:

Неделя ФИО											S
											22,3
											22,4
											22,2
											22,1
											22,5

 

Исходя из показателя S все программисты в среднем работают с одинаковой эффективностью (около 22 заданий в неделю). Однако, показатель вариабельности (размах) очень высок (от 5 заданий четвертого программиста до 24 заданий у пятого).

Неделя ФИО											S	P
											22,3
											22,4
											22,2
											22,1
											22,5

 

Оценим стандартное отклонение, показывающее как распределены значения в выборках относительно среднего, а именно в нашем случае оценить на сколько велик разброс выполнения заданий от недели к неделе.

Неделя ФИО											S	P	SO
											22,3		1,56
											22,4		1,8
											22,2		2,84
											22,1		1,3
											22,5		5,3

 

Полученная оценка стандартного отклонения говорит о следующем (оценим два крайних случая 4 и 5 программисты):

- Каждое значение в выборке 4 программиста в среднем отклоняется на 1,3 задания от среднего значения.

- Каждое значение в выборке 5 программиста в среднем отклоняется на 5,3 задания от среднего значения.

Чем ближе стандартное отклонение к 0, тем надежнее среднее, так как это указывает на то, что каждое значение выборки практически равно среднему (в нашем примере это 22,5 задания). Следовательно, 4 программист наиболее последователен в отличии от 5-го. Вариабельность выполнения заданий от недели к неделе 5-го программиста составляет 5,3 задания, что говорит о значительном разбросе. В случае с 5-м программистом нельзя доверять среднему, а, следовательно,трудно спрогнозировать число выполненных заданий на следующую неделю, что в свою очередь затрудняет процедуру планирования и соблюдения графиков выполнения работ. Какое управленческое решение вы примете в данном курсе неважно. Важно, что вы получили оценку, на основании которой можно принять соответствующие управленческие решения.

Таким образом, можно сделатьобщий вывод, говорящий о том, что среднее значение не всегда правильно оценивает данные. Об корректности оценки среднего можно судить по значению стандартного отклонения.