Он достаточно эффективно используется тогда, когда необходимо достичь согласия при ранжировании нескольких объектов экспертизы (факторов).
Всеми экспертами составляется таблица оценок факторов.
Величина оценки соответствует номерам (рангам) объектов в порядке их предпочтения (значимости) с позиции каждого эксперта.
Таблица 4.4.
Экспертные оценки факторов.
Объекты Эксперты | |||||
Сумма оценок, поставленных всеми экспертами, составит:
где: n - число оцениваемых объектов (факторов);
m - число экспертов.
Средняя суммарная оценка равна:
Можно вычислить отклонение ∆ i суммы оценок по каждому фактору, данных всеми наблюдателями от величины , т.е.:
и найти сумму квадратов отклонений:
S максимально тогда, когда все эксперты дают одинаковые оценки. Тогда:
Smax=1/12*n*m2*(n2-1)
С учетом этого коэффициент соответствия будет равен:
W=S/Smax
Однако чаще W рассчитывают по следующей формуле:
Это справедливо, если оценки (ранги) эксперта не имелисовпадений по разным факторам.
При W=1 говорят, что существует полная согласованность во мнениях экспертов. Они дали одинаковые оценки и продемонстрировали полное совпадение своих взглядов по обсуждаемой проблеме.
При W=0 никакой согласованности во мнениях экспертов нет (!!!).
Малое значение W указывает на существенные разногласия между экспертами.
Если какой-либо эксперт не смог четко установить различие между несколькими факторами и присвоил им одинаковые оценки (ранги), то пользуются другой формулой расчета коэффициента конкордации:
,
где: ,
а tj – число повторений каждого ранга в j-ом ряду.
Для (n!)m возможных сочетаний оценок объектов экспертизы можно рассчитать распределение частот коэффициента W в предположении, что между экспертами не существует согласия относительно ранжирования объектов по определенному признаку.
Чтобы оценить значимость коэффициента конкордации W при большом числе n, используют распределение χ 2 при v=n-1 степенях свободы:
Для оценки значимости коэффициента конкордации необходимо и достаточно, чтобы найденное χ 2 было больше табличного χ 2 (см. ниже), определяемого числом степеней свободы v и уровнем доверительной вероятности p, равной обычно 0,95 - 0,99.
Таблица 4.5.
Значения χ 2 в зависимости от числа степеней свободы
и доверительной вероятности
Число степеней свободы K=(n-1) | Доверительная вероятность | Число степеней свободы K=(n-1) | Доверительная вероятность | ||||
0,05 | 0,01 | 0,001 | 0,05 | 0,01 | 0,001 | ||
3.84 | 6.63 | 10.83 | 26.30 | 32.00 | 39.25 | ||
5.99 | 9.21 | 13.81 | 27.59 | 33.41 | 40.79 | ||
7.81 | 11.34 | 16.27 | 28.87 | 34.80 | 42.31 | ||
9.49 | 13.28 | 18.46 | 30.14 | 36.19 | 43.82 | ||
11.07 | 15.09 | 20.52 | 31.41 | 37.57 | 45.31 | ||
12.59 | 16.81 | 22.46 | 32.67 | 38.93 | 46.80 | ||
14.07 | 18.47 | 24.32 | 33.92 | 40.29 | 48.27 | ||
15.51 | 20.9 | 26.12 | 35.17 | 41.63 | 49.73 | ||
16.92 | 21.67 | 27.88 | 36.41 | 42.98 | 51.18 | ||
18.31 | 23.21 | 29.59 | 37.65 | 44.31 | 52.62 | ||
19.67 | 24.72 | 31.26 | 38.88 | 45.64 | 54.05 | ||
21.03 | 26.22 | 32.91 | 40.11 | 46.96 | 55.48 | ||
23.37 | 27.69 | 34.53 | 41.34 | 48.28 | 56.89 | ||
23.68 | 29.14 | 36.12 | 42.56 | 49.59 | 58.30 | ||
25.00 | 30.58 | 37.70 | 43.77 | 50.89 | 59.70 |