Обработка и анализ результатов

Главная задача этого этапа – выделить итоговое мнение группы экспертов и тем самым получить результат экспертизы. В этих целях необходимо свести воедино суждения всех респондентов. Мнения экспертов зачастую имеют некоторое расхождение между собой. Это может быть обусловлено рядом причин, наиболее важными из которых являются сложность и многоплановость исследуемых объектов, разная степень приобщенности экспертов к проблеме, различия в базовом образовании, в социальных и профессиональных установках, а также их индивидуальные особенности.

В результате проведения процедуры опроса организаторы получают некий спектр ответов экспертов, из которого требуется выбрать правильное решение. Обычно групповая оценка определяется методами голосования или усреднения. Выбор метода определяется тем, на какой шкале измерений была основана экспертиза, поскольку именно от шкалы измерений зависят допустимые преобразования исходных данных.

Метод “голосования " основывается на мнении, с которым согласно большинство экспертов в группе. Он может быть применен как в отношении общего результата оценивания, так и в отношении мнений экспертов по каждой из рассматриваемых альтернатив. Особенностью данного метода является игнорирование нетипичных или крайних оценок. Если при разработке процедуры экспертизы исходить из того, что наилучшим решением проблемы является то, которое удовлетворяет большинство экспертов, то применение метода "голосования" может оказаться эффективным, поскольку не требует больших затрат на обработку и может быть использовано для оценок, произведенных по качественным шкалам (номинальной шкале и шкале порядка).

Если при разработке процедуры экспертизы исходить из предположения о том, что существует наилучшее решение имеющейся проблемы, а оценки экспертов находятся в непосредственной близости от него, то применение метода "голосования" может привести к искажению результатов. Как показывает опыт экспертного оценивания, нередко крайние суждения оказываются ближе к истине, чем то, которое разделяет большинство в группе. Игнорирование крайних суждений может отдалить итоговый результат оценивания от истинного.

Для того, чтобы избежать подобных ошибок, при обработке результатов учитывают коэффициент компетентности каждого эксперта, который в этом случае называется весом эксперта. Каждому мнению одного эксперта присваивается значение 1, а затем оно умножается на его вес. В результате получается скорректированное значение индивидуальной оценки, которое подставляют в результаты голосования. Если оказывается, что мнения каких-то экспертов не совпадают с мнением большинства, то организаторы могут попросить их объяснить причины своего выбора для всей группы. После ознакомления всех экспертов с обоснованием крайних оценок, их мнения также могут измениться в ту или иную сторону. Следовательно, необходимо провести повторное оценивание ранее предлагаемых объектов и повторить процедуру обработки.

Описанную процедуру несложно провести, если эксперты производили оценку, относя ее объекты к небольшому числу классов (т.е. оценка осуществлялась по номинальной шкале). В случаях, когда производилось ранжирование объектов по порядковой шкале, для выявления группового мнения подсчитывают сумму рангов для каждого оцениваемого объекта по всем экспертам:

 

 

	n
Si =	å	rij

 

где:

S_i - сумма рангов данных i-тому объекту всеми экспертами;

r_{ij -} ранг, присвоенный i-тому объекту j-тым экспертом;

n - число экспертов.

Исходя из полученных сумм, организаторы экспертизы производят ранжирование объектов и тем самым определяют итоговое мнение группы. В этом случае принято говорить о подсчете результата по правилу большинства.

Иногда для обработки результатов ранжирования определяют средний ранг каждого объекта. Если подходить строго с позиций математической статистики, то такое преобразование при использовании порядковой шкалы недопустимо. Однако оно может быть информативно в случаях, когда ранжированию подвергается не весь список объектов, а определенная его часть, которая выделяется каждым экспертом индивидуально путем классификации. Например, экспертам выдается задание выбрать из списка, насчитывающего 30 объектов, восемь наиболее важных по заданному критерию и проранжировать их по степени важности. В этом случае списки для ранжирования у различных экспертов могут не совпадать между собой. Для обработки результатов организаторы формируют общий список, в который включаются все объекты, указанные экспертами в качестве важных. Для каждого объекта в новом списке подсчитывается сумма рангов, которая зависит в данном случае не только от присвоенного абсолютного ранга одним конкретным экспертом, но и от числа экспертов, включивших этот объект в число важных. Поэтому в данном случае имеет смысл определить средний ранг объекта, как частное от деления суммы рангов на число экспертов, выбравших этот объект. В результате получится скорректированный ранг для каждого объекта, на основе которого производится заключительное ранжирование объектов и выявляется итоговое мнение группы.

Если процедурой предусматривается сбор группы в одном месте для экспертизы, то обоснование оценок производится устно. Организатор должен кратко представить ситуацию экспертам, указать крайние оценки. Далее называется одна самая крайняя оценка и предлагается ее аргументировать тому, кто ее предложил. Допускается короткое обсуждение, неукоснительно соблюдая правила – не высказывать оценочных суждений о персоналиях, а пользоваться только контраргументами. После того, как мнения высказаны, переходят к следующей крайней оценке и процедура повторяется. Иногда в ходе таких обсуждений удается достичь согласованного решения группы по конкретной оценке. В противном случае по окончании обоснования оценок следует предложить экспертам повторно оценить предлагаемые объекты.

Метод усреднения. Выбор группового результата экспертизы методом усреднения предполагает применение более строгого математического аппарата, чем при использовании метода "голосования". Он основывается на вычислении среднего значения оценки. Главное условие использования средних величин состоит в том, что совокупность должна быть в отношении осредняемых признаков качественно однородной. Применение метода усреднения дает существенные преимущества при обработке результатов экспертизы, если оценивание производилось в соответствии с интервальной шкалой, поскольку в этом случае может быть использован математический аппарат выявления группового мнения.

Наиболее часто используются следующие виды средних величин: среднее арифметическое, медиана, мода.

Среднее арифметическое рассчитывается как частное от деления суммы оценок, данных экспертами одному объекту, на число оценивавших

 

 

		n
х =	1 n	å	хij

 

где:

х - среднее арифметическое оценок экспертов;

х_ij - оценка i-того объекта j-тым экспертом,

n - число экспертов.

 

Операция определения среднего арифметического не может быть использована для обработки результатов оценивания, полученных в порядковой шкале. Для оценок, полученных по шкале интервалов, среднее арифметическое может быть использовано для определения сравнительной предпочтительности объектов. Если среднее арифметическое оценок экспертами объекта А больше среднего арифметического оценок объекта В, полученных в шкалах интервалов, то корректно признать объект А более предпочтительным для группы экспертов.

Медиана – это значение одной конкретной оценки, которая расположена в середине ряда частотного распределения оценок. Медиана делит ряд на две равные части. Если в частотном ряду оценок четное число членов, то медиана равна среднему арифметическому срединных значений оценок. Пусть, например, семь учителей оценивали отношение учащегося Х к учебе по пятибалльной шкале от 0 до 4. Их оценки распределились следующим образом:

 

Номер эксперта
Оценка

 

В этом ряду медианное значение равно 2.

Мода – наиболее часто встречаемое значение в дискретном ряду или значение с наибольшей частотой. Там, где может быть произведена только операция классификации объектов по какому-либо качественному признаку, вычисление моды – единственный способ указать некий центр тяжести совокупности. Недостатки моды – невозможность совершать над ней алгебраические действия, зависимость ее величины от интервала группировки, возможность существования в ряду нескольких модальных значений. Приведенном выше примере мода равна 3. Если бы один из экспертов под номерами 5,6,7 дали оценку 2, то в этом случае мода равнялась бы медиане.