При проведении процедуры оценивания важно сколько и кто является экспертами. Если экспертов недостаточно, то возможно получение субъективных оценок, что может исказить результаты и выводы. Не менее важны и личностные и профессиональные характеристики экспертов. Специалисты с диаметрально противоположными взглядами, вкусами и пр., безусловно, также могут дать не достоверную суммарную оценку. Поэтому разработаны способы расчета оптимального количества необходимых экспертов и методики подбора состава экспертных групп. Другой способ проверки достоверности результатов экспертной группы - определения степени согласованности, использование специальной меры - коэффициента конкордации Кендалла (от лат. concordare - привести в соответствие, упорядочить.) Коэффициент получил имя ученного предложившего данный алгоритм расчетов.
Коэффициент конкордации изменяется в диапазоне 0<W<1, причем 0 – полная несогласованность, 1 - полное единодушие.
Приведем пример определения степени согласованности мнения экспертов.
|
|
В данном примере определяется степень согласованности мнения пяти экспертов по результатам ранжирования семи объектов.
Таблица 7.6.3 Данные для оценки согласованности мнений пяти экспертов
Номер объекта экспертизы | Оценка эксперта | Сумма рангов | Отклонение от среднего | Квадрат отклонения | ||||
-5 | ||||||||
-13 | ||||||||
Оцениваем среднеарифметическое число рангов:
Qср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.
Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:
где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;
n - число экспертов;
m - число объектов экспертизы.
W = 12 * 630 / 25 * (343 - 7) = 0,9.
Следовательно, данной экспертной группе и полученным результатам можно полностью доверять.