Определение степени согласия экспертов

Работая в группе, эксперты не должны это делать как «лебедь, рак и щука». Их действия, поведение всегда должны преследовать общую цель – выработать наиболее рациональное решение по поставленной проблеме в условиях относительной неопределенности. А это значит, что на каждом шаге экспертизы информация о позициях, занимаемых каждым членом экспертной группы относительно остальных, должна способствовать повышению степени согласованности мнений экспертов.

Существуют определенные критерии единодушия, которые на основе статистики позволяют экспертам принимать более последовательные решения. С помощью этих критериев их области допустимых отклонений могут быть установлены заранее с любой степенью достоверности. Это критерии:

- надежности;

- точности;

- степени согласия.

Надежность показывает, как часто эксперт составляет

правильный прогноз. Она характеризуется отношением числа правильных ответов к общему числу данных им ответов.

Степень надежности прогноза эксперта определяется частотой случаев, когда он, располагая несколькими возможными гипотезами, приписывает большую вероятность той из них, которая, в конечном счете, оказалась верной (!!!).

Точность определяет отклонение прогноза эксперта от правильного ответа или «наилучшей оценки» измеряемой переменной. Она показывает, насколько предсказания каждого из экспертов отличаются от «истины» (м.б. среднего значения).

Оценка надежности и точности прогнозов эксперта требуется для определения достоверности его экспертизы. Приведем тривиальные примеры:

1. прежде чем воспользоваться услугами гадалки, предсказывающей судьбу «по руке» или с помощью «магического кристалла», любой здравомыслящий человек сначала узнает, можно ли ей доверять, каков процент ее правильных предсказаний?

2. желая поправить свое материальное положение, человек с большим бы желанием и рвением играл в азартные игры, если бы знал, что у него есть пусть не 100% - ые, но достаточно высокие шансы получить большой выигрыш.

Степень согласия отражает величину сходимости, совпадения

мнений экспертов, относительную «тесноту» их оценок или прогнозов. Можно утверждать, что чем выше степень согласия демонстрируют эксперты на каждом этапе экспертизы, тем выше доверие к ним, тем выше результативность экспертизы.

Существуют несколько методов определения степени согласия. На практике хорошо себя зарекомендовали т.н. методы ранговой корреляции. Они разработаны английским ученым М. Дж. Кэндэллом

относительно недавно, в начале 60-ых годов прошлого столетия. Слово «корреляция» означает взаимосвязь, взаимозависимость, соотношение, соответствие величин, явлений, понятий. Рассмотрим наиболее распространенные из этих методов:

1. метод ранговой корреляции с использованием коэффициента соответствия (конкордации);

2. метод парных сравнений (предпочтений ) с использованием коэффициента согласия;

3. метод S – R соответствия с использованием коэффициента соответствия.

Остановимся подробнее на этих методах.