Коэффициент конкордации

При проведении процедуры оценивания важно сколько и кто является экспертами. Если экспертов недостаточно, то возможно получение субъективных оценок, что может исказить результаты и выводы. Не менее важны и личностные и профессиональные характеристики экспертов. Специалисты с диаметрально противоположными взглядами, вкусами и пр., безусловно, также могут дать не достоверную суммарную оценку. Поэтому разработаны способы расчета оптимального количества необходимых экспертов и методики подбора состава экспертных групп. Другой способ проверки достоверности результатов экспертной группы - определения степени согласованности, использование специальной меры - коэффициента конкордации Кендалла (от лат. concordare - привести в соответствие, упорядочить.) Коэффициент получил имя ученного предложившего данный алгоритм расчетов.

Коэффициент конкордации изменяется в диапазоне 0<W<1, причем 0 – полная несогласованность, 1 - полное единодушие.

Приведем пример определения степени согласованности мнения экспертов.

В данном примере определяется степень согласованности мнения пяти экспертов по результатам ранжирования семи объектов.

Таблица 7.6.3 Данные для оценки согласованности мнений пяти экспертов

Оцениваем среднеарифметическое число рангов:

Qср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:

где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;

n - число экспертов;

m - число объектов экспертизы.

W = 12 * 630 / 25 * (343 - 7) = 0,9.

Следовательно, данной экспертной группе и полученным результатам можно полностью доверять.