Формирование экспертной группы

Одним из наиболее важных вопросов, которые приходится решать в процессе экспертной оценки качества продукции, является подбор экспертов. Так же как в метрологии точность результата измерения зависит от точности прибора, которым производится это измерение, так и объективность экспертной оценки, ее точность зависят в основном от квалификации эксперта, его способности к аналитическому мышлению, синтетическому обобщению, от его кругозора, эрудиции, психофизиологических способностей и т.д.

В настоящее время на практике для количественной оценки качества экспертов используются следующие методы: эвристические, статические, тестовые, документальные, комбинированные.

Наиболее обоснованными в настоящее время являются статистические методы оценки качества экспертов, поэтому рассмотрим их более подробно.

К методам статической оценки относят оценку по отклонению от среднего мнения экспертной группы Кос и оценку воспроизводимости результата Квр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формировании экспертной группы.

В основе первого метода лежит посылка, что истинным значением определяемой экспертами величины (свойства), является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной экспертом, от групповой средней оценки, тем выше качество этого эксперта, которое может быть учтено путем присвоения в результате каждому эксперту соответствующего «веса» или весового коэффициента.

В том случае, когда эксперт определяет численные значения оцениваемых свойств (в баллах, долях единицы или процентах), предлагается использовать в качестве оценки эксперта расстояние между «средним» рядом значений оценок и значениями оценок назначенными данным экспертом, например:

при этом

где - среднее значение i-той оцениваемой величины (свойства);

- значение i– той величины (свойства), назначенное j–тым экспертом;

 

Задание: Исходя из назначения объекта оценки качества, условия его использования (потребления), а также цели оценки качества, необходимо:произвести формирование экспертной группы для оценивания свойств и весомости свойств заданного объекта экспертным методом.

Исходные данные:

Объект оценки: джинсы женские.

Произведем необходимую статистическую обработку с целью оценки качества каждого эксперта, участвующего в эксперименте.

Будем руководствоваться следующей оценочной шкалой:

Оценка	Число баллов
Качество очень высокое	7
Качество высокое	6
Качество выше среднего	5
Качество среднее	4
Качество ниже среднего	3
Качество низкое	2
Качество очень низкое	1

Оцениваемые свойства:

1 качество материала;

2 прочность;

3 устойчивость к внешним воздействиям (влагостойкость);

4 удобство носки;

5 оригинальность;

6 цветовой колорит;

7 внешнее оформление;

8 соответствие моде.

Результаты выполнения представим в виде таблицы 3.

 

Таблица 3

	1	2	3	4	5	6	7	8	Число совпавших оценок	Максимальное отклонение	Кос
1	5	4	4	5	5	4	4,5	5	15	1,2	9,4
2	5	5	4	5,5	4	4	4,5	5	14	1,2	9,6
3	6	5	4	5	3	4	4	3	18	0,8	9,6
4	6	6	4	5	3	4	4	3	18	0,8	9,5
5	5	6	4	5	4	4	4	3	19	0,8	9,6
Ср. оценка	5,4	5,2	4,0	5,1	3,8	4,0	4,2	3,8			9,54

 

при этом

где - среднее значение i -той оцениваемой величины (свойства);

- значение i -той величины (свойства), назначенное j -тым экспертом.

=1/2*35.5(0.4+1.2+0+0.1+1.2+0+0.3+1.2)=0.06 =9.4 

=1/2*35.5(0.4+0.2+0+0.4+0.2+0+0.3+1.2)=0.04 =9.6 

=1/2*35.5(0.6+0.2+0+0.1+0.8+0+0.2+0.8)=0.04 =9.6 

=1/2*35.5(0.6+0.8+0+0.1+0.8+0+0.2+0.8)=0.05 =9.5

=1/2*35.5(0.4+0.8+0+0.1+0.2+0+0.2+0.8)=0.04 =9.6 

В основе второго метода лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта в нескольких турах должны быть достаточно близкими. В этом случае можно говорить о стабильности его мнения. Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения.

В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, который вычисляется следующим образом:

где  – сумма рангов, присвоенных m экспертами i -тому фактору;

 – среднее значение сумм рангов;

Величины  и определяются отношениями:

где j – номер эксперта;

i – номер оцениваемого фактора.

Величина определяется из выражения:

где  – число одинаковых рангов i -го вида в оценках j -того эксперта;

 –количество групп факторов с совпавшими рангами в оценках j- того эксперта.

Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при .

Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации.

Определенный уровень значимости коэффициента конкордации дает значение вероятности случайного совпадения мнений экспертов, т.е. достоверность оценок. Если согласованность мнений экспертов высокая и неслучайная, то данная экспертная группа может быть принята за основу для экспертной оценки качества продукции. Если же согласованность мнений недостаточная , то анализируя оценки отдельных экспертов, выделяют эксперта (экспертов), имеющего наиболее отличающиеся оценки от общей совокупности оценок других экспертов и подсчитывают значение коэффициента конкордации опять. Эту операцию повторяют до тех пор, пока не будет достигнута приемлемая согласованность экспертных оценок. При этом рекомендуется, чтобы количество оставшихся экспертов было не менее 2/3 от первоначального состава экспертной группы. В противном случае требуется заново сформировать экспертную группу. Для решения большинства задач по экспертной оценке качества продукции, оптимальными могут считаться экспертные группы, включающие от 7 до 20 экспертов.

Произведем необходимую статистическую обработку полученных данных с целью оценки качества экспертной группы в целом по коэффициенту конкордации, характеризующего согласованность суждений экспертов.

Объект оценки: джинсы женские.

Оцениваемые свойства:

1 качество изготовления куртки

2 надежность

3 эргономичность

4 эстетичность

5 патентно-правовая защищенность

6 экономичность

7 технологичность

8 устойчивость к внешним воздействиям

 

Результаты выполнения задания рекомендуется представить в виде таблицы 4:

Таблица 4

	1	2	3	4	5	6	7	8	S	Tj	Число совпавших оценок	Макс. отклонение	Сумма отклонений
1	1	1	2	3	5	4	4	6	18	12	14	0,8	3,8
2	1	1	3	2	6	4	4	5		12	15	1,2	3,8
3	1	2	3	3	5	4	4	5		18	19	0,6	2,8
4	1	2	3	4	5	4	5	6		12	16	0,8	3,4
5	1	2	3	4	7	6	6	5		6	12	1,6	6,2
Si	5	8	14	16	28	22	23	27		60
Ср.оценка	1	1,6	2,8	3,2	5,6	4,4	4,6	5,4
W	0,52

 

Отклонения

	1	2	3	4	5	6	7	8
1	0	0,6	0,8	0,2	0,6	0,4	0,6	0,6
2	0	0,6	0,2	1,2	0,4	0,4	0,6	0,4
3	0	0,4	0,2	0,2	0,6	0,4	0,6	0,4
4	0	0,4	0,2	0,8	0,6	0,4	0,4	0,6
5	0	0,4	0,2	0,8	1,4	1,6	1,4	0,4

 

 

где W –коэффициент конкордации.

Вывод: по полученному значению коэффициента конкордации с вероятностью  можно говорить о том, что данная экспертная группа является согласованной, т. к. .