Особенности обработки экспертных оценок

Представление и предварительная обработка оценок экспертов.

В практике используется несколько видов оценок:

• качественные (часто-редко, хуже-лучше, да-нет),

• шкальные оценки (интервалы значений 50—75, 76—90, 91—120 и т.п.),

• балльные из заданного интервала (от 2 до 5, 1 —10), взаимно независимые,

• ранговые (объекты располагаются экспертом в определенном порядке, и каждому приписывается порядковый номер – ранг),

• сравнительные, полученные одним из методов сравнения

• метод последовательных сравнений

• метод попарного сравнения факторов.

На шаге обработки мнений экспертов необходимо оценить степень согласованности этих мнений.

На шаге обработки мнений экспертов необходимо оценить степень согласованности этих мнений.

Оценки, полученные от экспертов, могут рассматриваться как случайная переменная, распределение которой отражает мнения экспертов о вероятности того или иного выбора события (фактора). Поэтому для анализа разброса и согласованности оценок экспертов применяются обобщенные статистические характеристики – средние и меры разброса:

• средняя квадратичная ошибка,

• вариационный размах min – maх,

• коэффициент вариации V=ср.квадр.откл./ средняя арифметическая (подходит для любого типа оценок) V_i = σ_i/ x_iср. Часто используется для случая, когда выбрана балльная шкала оценок.

Для оценки меры сходств а мнений каждой пары экспертов могут быть использованы самые разные методы:

• коэффициенты ассоциации, с помощью которых учитывается число совпадающих и несовпадающих ответов,

• коэффициенты противоречивости мнений экспертов,

• коэффициент ранговой корреляции Спирмена. Коэффициент парной ранговой корреляции Спирмена:

где n – число экспертов,

c_k – разность оценок i-го и j-го экспертов по всем T факторам

Используется для метода парных сравнений.

коэффициент ранговой корреляции Кендалла (коэффициентконкордации) дает общую оценку согласованности мнений всех экспертов по всем факторам, но только для случаев, когда использовались ранговые оценки. Для вычисления коэффициента конкордации используется формула:

где Т_j рассчитывается для каждого эксперта (в том случае, если его оценки повторялись для разных объектов) с учетом повторений по следующим правилам:

где t_j — число групп равных рангов у j-го эксперта, а

h_k — число равных рангов в k-ой группе связанных рангов j-го эксперта.

Рассмотрим пример решения задачи «Построение конкурентного профиля организации» методом экспертных оценок.