Оценка достоверности групповых оценок

Определение групповых оценок

Анализ оценок каждого эксперта

Этапы статистической обработки экспертных оценок

Безотносительно к использованному при опросе методу оценки объектов процедура статистической обработки экспертных данных вклю чает три этапа: 1) анализ оценок каждого эксперта; 2) определение груп повых оценок объектов; 3) оценка достоверности групповых оценок.

Целью проведения этого этапа является формальная проверка оценок каждого эксперта.

В некоторых методах на основе анализа оценок эксперта можно их откорректировать без его участия. В других методах произвести такое исправление без эксперта не представляется возможным. Тогда ошибоч ные оценки исключаются из рассмотрения или вводятся коэффициенты, учитывающие количество обнаруженных ошибок в оценках эксперта, которые служат характеристикой компетентности этого эксперта.

Этот этап является основным во всей процедуре обработки эксперт ных оценок. В результате его проведения на основе личных оценок всей совокупности экспертов вычисляются групповые оценки.

Если имеются оценки компетентности экспертов, их необходимо использовать при определении групповых оценок. Процедура их использо вания зависит от конкретного экспертного метода.

Чтобы использовать на практике, вычисленные на втором этапе груп повые оценки, необходимо оценить их достоверность (надежность). Понятие достоверность групповых оценок определяется согласованностью экспертных оценок.Считается, что групповые оценки объектов достоверны, если между оценками экспертов наблюдается большая согласованность. Количественно степень согласованности экспертов определяется коэффициентом согласия (Е), являющимся коэффициентом множественной корреляции. Коэффициент согласия вычисляется по формуле:

,

где т – число экспертов; – коэффициент корреляции оценок i и l экспертов.

Верхний предел коэффициента E равен 1 и соответствует случаю, когда у всех экспертов оценки объектов совпадают: (полное со гласование экспертов). Нижний предел равен нулю.

По величине Е судят о степени согласованности экспертов в про веденной экспертизе.

После вычисления коэффициента согласия он проверяется на значи мость, т.е. проверяется гипотеза о случайности получения вычисленного значения E. Эту гипотезу можно интерпретировать также как независимость оце нок экспертов или случайность проставления экспертами своих оценок. Проверка этой гипотезы осуществляется по процедуре статистической проверки гипотез.