Краткие теоретические сведения

В квалиметрии экспертный метод применяется:

1) для измерения показателей качества;

2) для определения значений весовых коэффициентов. Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине, в искусстве (жюри) и т.д.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

· экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективного;

· в работе экспертной комиссии не должно быть факторов, которые могли бы влиять на искренность суждений экспертов;

· мнения экспертов должны быть независимыми;

· вопросы, поставленные перед экспертами, не должны допускать различного толкования;

· эксперты должны быть компетентны в решаемых вопросах;

· ответы экспертов должно быть однозначными и обеспечивать возможность их математической обработки;

· количество экспертов должно быть оптимальным.

Качественный состав экспертной комиссии – важное условие эффективности экспертного метода. Во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надёжности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества.

Весьма показательной является взаимная оценка экспертами друг друга. Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надёжности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещённой или несмещённой оценкой дисперсии отсчёта. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации

W= ;

где: S – сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов;

n – число экспертов;

m – число объектов экспертизы.

В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример расчёта

Вычисляем среднее арифметическое рангов:

∑_ран=(21+15+9+28+7+25+35)/7=20

Используя результаты промежуточных вычислений, приведённые в таблице 1 определяем сумму квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга:

S = 1+25+121+64+169+25+225 = 630

Вычисляем коэффициент конкордации: