Исследование экспертных оценок

Эксперт — это специалист, компетентный в решении данной задачи. Компетентность эксперта в отношении объекта исследования называется профессиональной компетентностью, а в отношении методологии принятия экспертного решения исследуемой задачи — экспертной компетентностью. Эксперт должен быть беспристрастным и объективным при оценке объекта исследования.

Экспертный метод решения задач основан на использовании обобщенного опыта и интуиции специалистов-экспертов. Этот метод используется для определения показателей весомости каждого параметра качества, используемых для последующей оценки его уровня и экономического эффекта.

С целью повышения достоверности, точности, надежности и воспроизводимости экспертных оценок экспертизу осуществляют путем принятия группового решения компетентными людьми. Создается экспертная комиссия, состоящая из экспертной и рабочей групп.

В экспертную группу включаются высококвалифицированные работники в области создания и функционирования оцениваемой продукции: исследователи, конструкторы, технологи, дизайнеры, товароведы, экономисты и т.д. Число экспертов, входящих в группу, за­висит от требуемой точности средних оценок и должно составлять от 7 до 20 человек. При заочном опросе верхний предел количества опрашиваемых экспертов не ограничивается.

Желательно, чтобы для оценок однотипной продукции экспертная комиссия формировалась из постоянных экспертов и членов рабочей группы. Это связано с тем, что в процессе работы постоянной комиссии накапливается опыт работы, происходит обучение ее членов, вырабатываются общие подходы и принципы, что повышает эффективность деятельности экспертной комиссии. Перечень и последовательность основных этапов работы экспертной комиссии состоит в следующем:

• назначение лиц, ответственных за организацию и проведение работ по экспертной оценке качества продукции;

• формирование экспертной и рабочей групп;

• разработка классификации и определение номенклатуры показателей качества оцениваемой продукции;

• подготовка анкет и пояснительных записок для опроса экспертов;

• оценка и опрос экспертов;

• обработка экспертных оценок;

• анализ и оформление результатов экспертной оценки коэффи­циентов весомости.

При экспертном методе оценку уровня качества или показателя того или иного свойства продукции определяют в безразмерных единицах. В случае, если результат оценки (экспертного измерения) ка­чества эксперты представляют в виде ранжированного ряда, го чис­ленное определение оценок экспертов состоит в следующем:

1. Все объекты оценки (изделия, свойства)номеруются произвольно;

2. Эксперты ранжируют объекты в шкале порядка;

3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.

Для оценки степени согласованности мнений экспертов о влиянии различных привлеченных исследователями факторных признаков на величину результативного признака применяется коэффициент конкордации.

Важность того или иного факторного признака устанавливается экспертами независимо друг от друга путем ранжирования факторных признаков.

Наименее важному, по мнению каждого эксперта, факторному признаку присваивается ранг 1, следующему по важности - ранг 2 и т.д.

Если эксперт не может при ранжировании отдать предпочтение какому либо одному из факторных признаков, например, 2 и 3 или 4, 5 и 6, то каждому из них присваивается один и тот же ранг (называемый "связным"), представляющий среднюю из соответствующих рангов:

в первом случае и во втором случае.

Итак, имеем k ранжировок n объектов табл.2.4.

Табл.2.4

Объекты (i)	Ранжировки по факторным признакам (j)	Сумма рангов
R(1)	R(2)	R(3)	...	R(k)
O1	r11	r12	r13	...	r1k	Sr1j
O2	r21	r22	r23	...	r2k	Sr2j
...	...	...	...	...	...	...
On	rn1	rn2	rn3	...	rnk	Srkj

Коэффициент конкордации рассчитывается следующим образом

(2.11)

где:

- сумма квадратов отклонений сумм рангов каждого объекта от средней этих сумм.

- средняя сумм рангов в расчете на один объект;

- сумма рангов по каждому объекту.

Свойства коэффициента конкордации

• Коэффициент конкордации изменяется в пределах ,
• - означает несогласованность ранжировок,
• - означает полная согласованность (связь) ранжировок (когда все k анализируемых упорядочений совпадают);

Значимость K_кон. оценивается по значению рангового дисперсионного анализа (ДА (ANOVA) Фридмана).

(2.12)

Статистика Х² имеет асимптотическое (при k→¥) распределение c² с (n-1) степенями свободы. Для уровня значимости a и числа степеней свободы (n-1) по таблице c²-распределения определяем критическое значение .

Если , то K_кон. – является значимым.

Пример. Рассмотрим пример наиболее распространенного применения коэффициента конкордации Кендала. Пять экспертов провели оценку качества семи видов однородных объектов О₁, О₂,…, О₇ (например, прохладительных напитков), расположив их в ряд по мере снижения качества:

Эксперт 1 – О₅, О₃, О₂, О₁, О₆, О₄, О₇;

Эксперт 2 – О₅, О₃, О₂, О₆, О₄, О₁, О₇;

Эксперт 3 – О₃, О₂, О₅, О₁, О₆, О₄, О₇;

Эксперт 4 – О₅, О₃, О₂, О₁, О₄, О₆, О₇;

Эксперт 5 – О₅, О₃, О₁, О₂, О₆, О₄, О₇;

Целью исследования является: 1)насколько значимы различия между оценками экспертов (между ранжировками) и 2) можно ли доверять экспертам, иными словами, согласованы ли их рейтинги, выставленные объектам.

На основе оценок экспертов выполним ранжирование объектов по снижению качества (табл.6.8).

Табл.6.8.

Объекты	Эксперты (ранжировки)		Ri*-R**	(Ri*-R**)2	Рейтинг R(ед)(ср)	Рейтинг R(ед)(мед)
R(1)	R(2)	R(3)	R(4)	R(5)
О1 О2 О3 О4 О5 О6 О7							-5 -11 -13		4.2 3.0 1.8 5.6 1.4 5.0 7.0
						R**=140:7=20		S=630

Коэффициент конкордации:

Значимость:

, .

На основании полученных данных можно сделать вывод, что различия между ранжировками имеются, эксперты, выставившие оценки, согласованы друг с другом - согласованность высокая равна 0.9.

В предпоследнем и последнем столбцах табл.6.8 приведен рейтинг объектов по качеству. В качестве единого ранга R^(ед) используется среднее R^(ед)(ср) и медиана R^(ед)(мед) рангов каждого объекта, выставленных экспертами. Можно использовать и другие статистики, например, стандартное отклонение рангов. Из таблицы видно, что лучшим качеством обладает изделие О₅, худшим – изделие О₇.

Обобщенные экспертные оценки качества рассматриваемых объектов экспертизы, то есть коэффициенты их весомости, рассчитываются по формуле:

где n — количество экспертов;

m — число оцениваемых показателей;

Qij — коэффициент весомости j-го показателя в рангах (баллах), который дал i-й эксперт.

Расчеты по этой формуле для рассматриваемого примера дают следующие результаты:

Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объекг лучше или хуже других, но и на сколько.

Если же ранжирование объектов по их качеству осуществлять в табличнойформе, то сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.

Во-первых, составляется таблица, по которой каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов. При этом каждый i-й объект сопоставляется с другими j-ми объектами сравнения. Если при попарном сопоставлении i-й объект признается качественнее j-го, то это обозначается цифрой “1”, противоположная оценка обозначается “-1”, а равнокачественные объекты отмечаются в таблице цифрой “0”.

В таком случае сопоставительная таблица оценок одного эксперта, например, шести объектов исследования, будет иметь нижеследующий вид (табл. 1.2).

Из этой таблицы видно, что предпочтительные оценки данного эксперта получили объекты № 5 и № 1. Причем предпочтительнее в данном случае является объект № 5.

Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних объектов над другими, то есть экспертный показатель качества объекта в виде его частоты предпочтений.

Сопоставительная таблица оценок табл.1.2.

Объект j	Объект j	Итого
1	2	3	4	5	6
1	0	1	-1	1	-1	1	1
2	-1	0	-1	0	-1	1	-2
3	1	1	0	-1	-1	-1	-1
4	-1	0	1	0	-1	-1	-2
5	1	1	1	1	0	1	5
6	-1	-1	1	1	-1	0	-1

Частота предпочтения (F_ij) находится как частное от деления всех предпочтений данного объекта на возможное число предпочтений

где N-- число предпочтений экспертов; п - число экспертов.

Весомость показателя для данного случая имеет вид:

где F_ij — частота предпочтения i-ым экспертом j- го объекта экспертизы;

С—общее количество учитываемых оценок, связанное с числом объектов экспертизы m следующей зависимостью:

Пусть, например, число оцениваемых объектов семью экспертами равно 6, N₁= 4, N₂ = 3, N₃ = 5, N₄ = 0, N₅ = 1, N₆ = 2. Тогда частоты предпочтений каждого объекта таковы

Общее число положительных оценок C=15

Следовательно, весомость каждого из шести объектов экспертизы по общему мнению всех семи экспертов будет иметь следующие значения:

Сумма всех показателей весомости качества объектов иссле­дования

Повысить точность экспертных оценок (измерений) показателей качества можно, если произвести двукратное сопоставление и оценку объектов, то есть сначала это сделать в одной последовательности, а потом в противоположной. При этом, естественно, количество учитываемых оценок экспертов удваивается и С = m(m — 1). В остальном методика расчетов показателей качества не изменяется.

При экспертизе качества продукции наиболее часто используют балльные оценки, которые даются непосредственно экспертами или получаются в результате формализации процесса оценки. Эта форма­лизация бывает эвристической или экспериментальной.

Непосредственное назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения