Математико-статистические методы обработки экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для их обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Поэтому возникают следующие основные задачи обработки экспертных оценок:

· построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

· построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

· определение коэффициентов весомости объектов;

· определение согласованности мнений экспертов;

· оценка надежности результатов обработки.

В соответствии с поставленными задачами математико-статистические методы обработки экспертных оценок подразделяются на следующие подгруппы методов:ранжирование, непосредственное оценивание, сопоставление (последовательное сопоставление и парные сравнения).

Метод рангов (ранжирования) предусматривает ранжирование (упорядочение) исследуемых объектов в зависимости от их относительной значимости (предпочтительности), осуществляемое экспертом.

Ранжирование применяется в следующих ситуациях:

· когда необходимо упорядочить какие-либо объекты во времени или пространстве;

· когда необходимо упорядочить объекты в соответствии с каким-либо измеримым качеством, но при этом не требуется производить его точное измерение;

· когда какое-либо качество в принципе измеримо, однако в настоящий момент не может быть измерено по причинам практического или теоретического характера.

Сущность процедуры ранжирования заключается в следующем: наиболее предпочтительному объекту присваивают ранг 1, а наименее предпочтительному – последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Результирующие ранги объектов ранжирования по данным опросов определяются как суммы рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний – тому, у которого оказалась наибольшая сумы рангов, т.е. наименее значимому объекту.

Коэффициенты весомости каждого из объектов ранжирования b_{i ранг}(при условии, что сумма всех коэффициентов весомости b_{i ранг} от 1 до n равна единице) рассчитывается по формуле

b_{i ранг} = (n – r_n + 1 )/S_n

где n – число исследуемых объектов; r_n – результирующий ранг исследуемого объекта; S_n – сумма результирующих рангов.

Точность и надежность этого метода в значительной степени зависят от количества объектов. Чем меньше объектов, тем выше их различимость с точки зрения эксперта, а следовательно, тем более надежно можно установить ранг объекта. Количество ранжируемых объектов не должно быть больше 20, а наиболее надежна эта процедура, когда количество ранжируемых объектов меньше 10.

Метод непосредственного оценивания (балльный метод) представляет собой упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Наиболее распространенными диапазонами шкалы оценок являются: от 0 до 1,0; от 0 до 5,0; от 0 до 10,0; от 0 до 100.

Результирующие оценки объектов оценивания по данным опросов определяются как суммы баллов для каждого объекта. Затем по результатам оценок определяется ранг. При этом первый ранг присваивается тому объекту, который получил наибольшую сумму баллов, а последний – тому, у которого оказалась наименьшая сумма баллов, т.е. наименее значимому объекту. Коэффициенты весомости каждого исследуемого объекта определяют по формуле

где В_i – коэффициент весомости оцениваемого объекта (i =1,2,3, …, n), рассчитанный на основании оценок экспертов (j = 1,2,3, …, k); А_ij – оценка в баллах данная i -му объекту j –м экспертом.

Метод сопоставления позволяет осуществлять парное или последовательное сопоставление.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 – объект 2, объект 2 – объект 3 и т.д.) или в форме матрицы (табл. 4.4).

Таблица 4.4. Индивидуальная матрица оценки объектов методом парного сравнения

Название объекта	Номер объекта	Номер объекта	Общее количество предпочтений
		….	Ν
		×		…
			×	…
	….	…	…	…
	Ν			…	×

В результате сравнения эксперт высказывает мнение о важности того либо иного объекта (отдает одному из них предпочтение). Общее количество пар сравнения определяется по формуле

А = N ·(N – 1):2,

где А – количество пар сравнения; N – количество исследуемых объектов.

При записи каждой комбинации эксперт подчеркивает в каждой паре сравниваемых объектов наиболее важный. Результаты заполнения индивидуальных матриц всеми экспертами сводятся в итоговую матрицу (табл. 4.5).

Таблица 4.5. Итоговая матрица результатов парного сравнения объектов

Название объекта	Номер объекта	Номер эксперта	Сумма предпочтений	Весомость (ранг) объекта
		…	k
				…
				…
	….			…
	Ν			…

Весомость каждого объекта сравнения рассчитывается по формуле

где A _i/i'j – количество предпочтений і -го объекта над (і +1)-м объектом, указанное

ј -м экспертом; k – число экспертов.

Метод последовательного сопоставления состоит в следующем:

· эксперт располагает все иследуемые объекты в порядке их важности (как в методе рангов);

· предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до 1 (как в методе непосредственного оценивания), причем самому важному объекту дается балл, равный 1, а всем остальным – в порядке уменьшения их значимости (т.е. от 1 до 0);

· далее эксперт решает вопрос, будет ли важность объекта (v ₁), имеющего ранг 1, больше суммы балльных оценок всех остальных объектов. Если будет, то значение балльной оценки первого объекта увеличивается до соблюдения этого условия, т.е.

Если нет, то эксперт уменьшает это значение так, чтобы оно стало меньше суммы оценок всех остальных объектов, т.е.

· оценки второго, третьего и последующих объектов по важности определяются последовательно, аналогично оценке первого, наиболее важного, объекта.

Математико-статистический анализ мнений экспертов предполагает оценку степени согласованности экспертов по каждому объекту в отдельности и по всему набору объектов в целом. Для оценки согласованности мнений экспертов используются коэффициент вариации (методика расчета описана в

§ 4.4.3) или коэффициент конкордации. Коэффициент вариации применяется в случаях оценки согласованности назначенных экспертами коэффициентов весомости исследуемых объектов. Коэфициент конкордации используется в экспертных методах, с помощью которых определялись ранги объектов. Коэфициент конкордации расчитывается по формуле

где n – количество объектов ранжирования; k – количество экспертов; A_ij – ранг i -го объекта поставленный j -м экспертом.

Коэфициент конкордации может изменяться в диапазоне 1 ≥ W ≥ 0. При W =0 согласованость мнений экспертов отсутствует, а при W =1 – согласованость полная. Обычно считается, что согласованость вполне достаточна, если W ≥ 0,5.

Расчитаное значение коэфициента конкордации следует взвешивать по критерию Пирсона (χ²) с определенным уровнем значимости (В), т.е. с максимальной вероятностью неправильного результата работы экспертов. Обычно значимость задают в пределах 0,005–0,05.

В случае получения расчетной величины χ²_расч больше табличной χ²_табл (с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

Табличные величины χ²_табл (табл. 4.6) зависят от принимаемого уровня значимости и числа степеней свободы, которое определяется по формуле

S = n – 1.

Таблица 4.6. Табличные значения критерия Пирсона при различных степенях свободы

Уровень значимости	S= 1	S= 2	S= 5	S= 7	S= 10	S= 15	S= 20	S= 25	S= 30
0,005	7,8	13,0	17,0	30,5	25,0	33,0	40,0	47,0	54,0
0,025	5,0	9,3	12,7	16,0	20,5	27,5	34,0	40,0	47,0
0,050	3,8	7,8	11,0	14,0	18,5	25,0	31,0	38,0	44,0

Расчетное значение χ²_расч опрделяется по формуле

χ²_расч = W·k·(n -1).

В случае несогласованости мнений экспертов по коэффициенту конкордации и соотвествующей проверке его значимости по критерию Пирсона экспертный опрос следует повторить.

Обработка результатов экспертизы представляет собой трудоемкий процес. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и ЭВМ.