Система критериев для оценки качества экспертного решения

Таблица 6.7

Название	Методика расчета	Диапазон критериальных значений	Экономический смысл
1. Коэффициент согласованности Кендалла (W)	, где S – сумма квадратов откло-нений всех экспертных оценок по каждому показателю от среднего арифметического значения рангов; n – число экспертов; m – число оцениваемых показателей (т. е. объектов экспертизы)	W = 0 – указывает на факт несогласованности мнения экспертов, а также на неадекватность; W = 1 – соответствует полной согласо-ванности; 0,4≥ W ≤0,6 – качество экспертного решения считается удовлетворительным; 0,7≥ W ≤0,9 – высоким	Оценивает согласованность экспертных мнений
2. Коэффициент конкордации (Кк)	Кк i = 1 - КОi; КО i = ; , где КО i – коэффициент разброса мнений; – среднеквадратическое откло-нение от коэффициента значи-мости i -го показателя после группповой оценки; –индии-видуальная экспертная оценка значимости i -гопоказателя; - значимость i- гопоказателя после групповой оценки по формуле средней арифметической; m – число экспертов	Кк = 0 – указывает на факт несогласованности мнения экс-пертов, а также на неадекватность; Кк = 1 – соответствует полной согласованности; 0,7≥Кк ≤0,9 – качество экспертного решения считается удовлетворительным; Кк≥ 0,95– высоким

Окончание табл. 6.7

Название	Методика расчета	Диапазон критериальных значений	Экономический смысл
3. Коэффициент чувствительности(Кчув)	Кчув = ; = ; , где – среднеквадратическое отклонение чувствительности метода; – удельный вес значимости i -гопоказателя в системе; – средний удельный вес значимости одного показателя в системе; n – число показателей в системе	Кчув = 0 – означает отсутствие чувствительности метода; Кчув = 1 – соответствует абсолютной чувствительности метода; 0,7≥ Кчув ≤0,9 – означает удовлетворительную чувствительность метода; Кчув ≥ 0,95– соответствует высокой чувствительности метода	В обобщенном виде показывает диапазон отклонений, полученных оценок значимости в ту или другую сторону от базисного (среднего) уровня значимости объектов
4. Коэффициент точности (Кточ)	Кточ = ; , где – среднеквадратическое отклонение точности метода; – удельный вес значимости i- гопоказателя, определенный методом, который условно принят за эталонный	Кточ = 0 – означает отсутствие точности метода; Кточ = 1 – соответствует абсолютной точности метода; 0,7≥ Кточ ≤0,9 – означает удовлетворительную точность метода; Кточ ≥ 0,95– соответствует высокой точности метода	Характеризуется степенью достоверности процедуры, с которой метод позволяет не только выявить приоритетные отношения объектов, но и соизмерить интервалы различий между ними

Рис. 6.2 Схема методики определения коэффициентов значимости объектов в системе методом расстановки парных приоритетов

– путем определения коэффициентов приоритетов и итеративных вычислений при обработке результатов достигается приближение субъективных индивидуальных оценок к объективному значению групповой экспертной оценки, отражающей предельно «истинную» значимость объекта в системе;

– достаточно высокая степень чувствительности процедуры метода к варьированию влияния частных показателей на комплексный позволяет не только выявить приоритетные отношения объектов, но и соизмерить интервалы различий между ними;

– высокая согласованность экспертов при высказывании суждений.

К индивидуальным методам экспертных оценок, помимо вышеперечисленных также относят следующие психологические (творческие) методы.

Прием аналогии (или метод ассоциации идей и аналогий) представляет собой использование подобного ранее известного решения (т. е. перенос опыта) для ответа на конкретный аналитический вопрос.

Прием инверсии – это применение системы решения «наоборот», т. е. использование метода от противоположного, что дает возможность отказаться от традиционных решений.

Прием контрольных вопросов имеет целью с помощью наводящих вопросов подвести к решению поставленной задачи. В зарубежной практике нашел широкое распространение вопросник А. Осборна, включающий девять групп вопросов (например, что можно в объекте преобразовать, что надо сделать наоборот, на какой объект похож данный объект, что можно скопировать и др.).

Обобщая вышеизложенное, следует отметить, что основная проблема применения экспертного оценивания – это снижение риска субъективности суждений экспертов. Для обеспечения объективности конечного результата возможно использование групповой экспертной оценки, которая позволяют повысить уровень объективности оценок благодаря использованию суждений некоторого числа специалистов с применением при этом определенных процедур приведения индивидуальных мнений к единому.

Наиболее распространенными в практике методами являются: метод среднеарифметической или средневзвешенной величины, метод медианы, правило большинства, сравнительные суждения, последовательные интервалы и т. д. (см. рис. 6.1), а также метод, разработанный американской корпорацией РЭНД и получивший свое название от г. Дельфы, который был известен в Древней Греции своими прорицателями-оракулами – метод Дельфи (или метод мозгового штурма).

Сущность последнего заключается в проведении опроса экспертов в несколько туров. При этом в первом туре эксперты не афишируют свои ответы, а во втором и последующих турах объясняют, почему они изменили или не изменили свое мнение. Между очередными опросами экспертов информируют о результатах предыдущих этапов опроса, сообщая им средние и крайние мнения. В результате этого, а также взаимного обмена информацией, эксперты пересматривают свое мнение, и их ответы носят все более устойчивый характер, что и служит для основания прекращения опроса.При этом при использовании метода Дельфи следует соблюдать несколько следующих правил:

– эксперты должны быть из разных областей знаний,

– между экспертами допускается любая форма должностного подчинения,

– устанавливается регламент на время и количество высказываний,

– обязательное подведение итогов в конце совещания его председателем,

– перерыв между первым и вторым этапом двойной мозговой атаки должен продолжаться не болееодного дня.

Морфологический анализ использует структурные, т. е. морфологические взаимосвязи экономических явлений и процессов. Он основан на систематическом исследовании всех теоретически возможных вариантов, вытекающих из закономерностей строения объекта, его строгих и полных классификаций (примером морфологического анализа может служить таблица химических элементов Д. И. Менделеева). Данный прием предполагает создание дерева целей (матрицы), где будут отражены все показатели, характеризующие объект анализа и причины возможных их изменений. В результате такого исследования разными группами экспертов получают несколько сценариев развития объекта, сравнивая которые, можно получить объективную оценку.

В ходе групповой экспертной оценки необходимо осуществить оценку качества экспертных решений, что осуществляется с помощью ряда критериев, методика расчета которых систематизирована в табл. 6.7.

Пример 6.2 Определить степень согласованности мнения экспертов, используя нижеприведенные результаты их оценок.

Таблица А – Оценка согласованности мнения экспертов

№ объекта экспер-тизы	Оценки в разрезе экспертов	Сумма рангов (оценок)	Отклонение от среднего значения экспертной оценки	Квадрат отклонения
А						6 (1+2+3+4+5)	(20-гр.6)	8 (гр.72)
№ 1
№ 2							-5
№ 3
№ 4

Окончание таблицы А

№ объекта экспер-тизы	Оценки в разрезе экспертов	Сумма рангов (оценок)	Отклоне-ние от среднего значения экспертной оценки	Квад-рат откло-нения
№ 5							-13
№ 6
№ 7
Итого	х	х	х	х	х	х	х

Среднеарифметическое число рангов (оценок экспертов) равно 20: ((21+15+9+28+7+25+35)/7); S = 630. Тогда W = 12·630/(25·(343-7)) = 0,9

Следовательно, полученный результат свидетельствует о том, что мнения экспертов согласованы, а в связи с этим качество экспертных оценок является высоким, что дает основание использовать полученные результаты для решения поставленной аналитической задачи.

[1] Система частных экономических показателей, представленная в табл. 6.1, включает самые основные; в зависимости от условий и специфики деятельности объекта исследования она может быть расширена и детализирована

[2] См.: Шеремет А. Д. Теория экономического анализа: учебник / А. Д. Шеремет. – М.: ИНФРА–М, 2003. – С. 262

[3] Соловьева Н. А. Анализ хозяйственной деятельности торговой организации: учеб. пособие / Н. А. Соловьева, Т. А. Цыркунова; Краснояр. гос. торг.-экон. ин-т. – Красноярск, 2002. – С. 77

[4] См.: Милов А. В. Методы обработки экспертной информации в системах экономико-математической поддержки принятия решений / А. В. Милов, Е. В. Раевнева; ХГЭИ. – Харьков, 1996. – 22 с.: ил.; Экспертные оценки в задачах управления. – М., 1982. – 105 с.; Экспертные оценки в научно-техническом прогнозировании. – М., 1987. – 189 с.

[5] См.: Кендалл М. Ранговые корреляции / М. Кендалл; пер. с англ. – М.: Статистика, 1975 – С. 118

[6] Ермаков М. В. Оптимальное планирование эксперимента / М. В. Ермаков. – М.: Наука, 1978. – 68 с.

[7] См.: Блюмберг В. А. Какое решение лучше? Метод расстановки парных приоритетов / В.А. Блюмберг, В.Ф. Глущенко. – Л.: Лениздат, 1982. – 160 с.

[8] См.: Бдаж К. Теория графов и ее применение / К. Бдаж. – М.: Наука, 1962. – 319 с.