Расчет коэффициента конкордации

Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения.

В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, предложенный Кендаллом:

,

где - количество анализируемых объектов,

- количество экспертов,

- средняя сумма рангов для всех единичных показателей;

- сумма ранговых оценок экспертов по каждому единичному показателю (объекту);

- показатель одинаковости.

Величины и определяются отношениями:

;

,

где - балл (ранг) -го показателя, проставленный -ым экспертом.

Показатель одинаковости:

,

где - количество оценок одинакового ранга -того эксперта;

- количество групп рангов с одинаковыми оценками -того эксперта.

Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при W >0,5.

Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации.

Этот уровень можно определить по функции хи квадратного распределения

.

Коэффициент конкордации W- статистически значащий, если

где - число степеней свободы, ;

- уровень значимости.

Обычно принимают уровень значимости . Тогда доверительная вероятность .

Таблица 8.1 - Значения критерия

	3,84	5,99	7,82	9,49	11,07	12,59	14,07	15,51	16,92	18,31	19,68