Обработка и оценка согласованности экспертных данных

Обработка собранных мнений (данных) экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы.

При наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу (что нередко бывает при проектировании СК), наряду с количественными методами обработки экспертных данных используются методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определять причины несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов. Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации.

Мера согласованности определяется математико-статистической обработкой всех имеющихся результатов экспертизы. Так, согласованность мнений компетентных экспертов при использовании всех указанных экспертных методов, где определяются ранги объектов, можно определить с помощью коэффициента конкордации (согласия) по формуле:

где С — сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т. е.

где – средняя сумма рангов.

Полная запись формулы имеет следующий вид:

Коэффициент конкордации W может быть в диапазоне 1 ≥ W ≥ 0. При W=0 согласованность мнений экспертов отсутствует, а при W=1 согласованность полная. Обычно считается, что согласованность вполне достаточна, если W ≥ 0,5.

Допустим, по результатам работы компетентных экспертов получены определенные данные ранжирования и по ним требуется рассчитать коэффициент конкордации (табл. 7.5.1).