Методы экспертных оценок

Изучению особенностей и возможностей применения экспертных оценок посвящено много работ. В них рассматриваются:

1) проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;

2) формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации сароса (в т. ч. методики анкетирования, мозговая атака, деловые игры и т. п.);

3) подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в т. ч. методы предпочтений, попарных сравнений и др.);

4) методы обработки экспертных оценок;

5) способы определения согласованности мнений экспертов, достоверности экспертных оценок (в т. ч. статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т. п.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса.

В частности, Б.Г.Литвак {2.29] на основе обобщения и исследования видов шкал измерений и отношений рассматривает особенности мер близости разного рода (на неметризованных и векторных отношениях, структурные. Евклидовы); характеризует принципы и методы, основанные на выборе различных способов упорядочения и отношений предпочтения (в т. ч. методы ранжирования и гиперупорядочения, методы попарных сравнений Черчмена-Акофа, Терстоуна, метод "смешанной альтернативы" Неймана-Моргенштерна, принцип отбрасывания альтернатив Эрроу, алгоритмы отыскания медианы Кеменн. метризованные ранжирования, алгоритмы выбора по принципу Парето, методы определения предпочтений на множествах многомерных альтернатив и т. п.).

При обработке индивидуальных экспертных оценок применяется обычно метод согласования оценок (consensus technique), который имеет много вариантов, различающихся способами, при помощи которых из индивидуальных оценок получается обобщенная. При этом используются также различные методы согласования оценок:

отпростейших, путем получения средней вероятности , где п - число участвующих экспертов,

или средневзвешенное значение вероятности , где k; - веса, приписываемые оценке каждого эксперта;

до специальных методов оценки измерения и повышения коэффициентов согласованности (или коэффициентов непротиворечивости) мнений экспертов илиметодов, основанных на отборе экспертной группы с высоким коэффициентом согласованности мнений (например, метод, основанный на преобразовании первых трех рангов дискретной шкалы в непрерывную и нормирования этой новой шкалы, отражающей мнения отобранных экспертов).

В качестве одного из методов повышения согласованности экспертных оценок применяют Делъфи-метод, или метод "дельфийского оракула", подробнее рассматриваемый ниже.

При проведении социологических измерений [6.12]. которые можно рассматривать как разновидность экспертных оценок (особенно в случае организации выборочного социологического исследования), используют обычно качественные шкалы разного рода, которым ставятся в соответствие количественные оценки степени значимости ("очень важно", "важно", "скорее важно, чем нет" и т. д.) или оценивается введенный в вопросе качественный признак (в форме "полностью согласен", "согласен", "не согласен", "категорически не согласен" или "да", "скорее да чем нет", "скорее нет, чем да", "нет" и т. д.).

При этом могут применяться соответствующие методы обработки результатов. Например, при использовании шкалы Лайкерта, в которой задаваемые группе лиц вопросы должны оцениваться по пятибалльной шкале (5 - "полностью согласен", 4 - "согласен", 3 - "нейтрален", 2 - "не согласен", 1 - "полностью не согласен") при обработке рекомендуется применять метод суммарных оценок. Шкалограммный анализ Гуттмана сводится к построению шкал порядкового уровня измерения, представляющих собой одноместные шкалы, формируемые на основе первоначально используемой иерархизированной шкалы путем исключения вопросов или факторов, посторонних по отношению к измеряемой характеристике. При применении метода "семантического" дифференциала (СД), разработанного Ч.Осгудом для измерения смысла понятий и слов и дифференциации эмоциональной стороны значения оцениваемого понятия в качестве промежуточных методов обработки применяется графические, помогающие определить профиль распределения установок.

Выбор подходов и методов зависит от конкретных задач и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые необходимо понимать при проведении любых экспертных опросов. Кратко охарактеризуем их.

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом предполагается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок , (где Р = <р₁, р₂,…р_i,..., р_п> - репрезентативная выборка), получаемых от группы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению.

Например, в [2.4] предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса.

К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип "хорошего измерителя", считая эксперта хранителем большого объема информации, а групповое мнение экспертов - близким к истинному

Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно, экспертов нельзя рассматривать как "хороших измерителей", и необходимо осторожно подходить к обработке результатов экспертного опроса, поскольку в этом случае мнение одного (единичного) эксперта, больше внимания, чем другие, уделяющего исследованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном следует применять качественную обработку результатов. Использование методов усреднения (справедливых для "хороших измерителей") в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. При этом для повышения объективности результатов целесообразно при обработке оценок выявлять противоречивые и "редкие" мнения и подвергать их более тщательному анализу.

Другая особенность, которую нужно иметь в виду при применении экспертных оценок, заключается в следующем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении характеризуемой ниже Дельфи-процедуры и методов повышения согласованности мнений экспертов даже могут усиливаться).

Для более популярного пояснения этой особенности, приняв, что одной из разновидностей экспертного опроса является голосование, приведем мнение одного из героев Ги де Мопассана: "Вы, вероятно, согласитесь со мной, что гениальные люди встречаются редко, не правда ли? Но будем щедры и допустим, что во Франция их имеется человек пять. Прибавим, с такой же щедростью, двести высокоталантливых людей, тысячу других, тоже талантливых, каждый в своей области и десять тысяч человек, так или иначе выдающихся. Вот вам генеральный штаб в одиннадцать тысяч двести пять умов. За ним идет армия посредственностей, за которой следует вся масса дурачья. А так как посредственности и дураки всегда составляют огромное большинство, то немыслимо представить, что они могли бы избрать разумное правительство". И далее, эмоционально усиливая свою точку зрения, Мопассан дает такие оценки ситуации: "... единственная сила, поддающаяся нашему измерению -это именно та, с которой меньше всего следовало бы считаться: бессмысленная сила большинства.... Невежественное большинство всегда будет превалировать над гением, над наукой, над всеми накопленными знаниями..." и предлагает вводить корректировки в систему голосования, основанную на введении своего рода "коэффициентов компетентности" экспертов.

Один из способов устранения недостатков, связанных с рассматриваемой особенностью, - при применении экспертных опросов для принятия решений в организационных системах обращать особое внимание на формирование экспертной группы и на методы обработки результатов опроса, особо выделяя и учитывая редкие и противоречивые мнения; а на получаемые усредненные оценки смотреть как на некоторую "общественную точку зрения", зависящую от уровня научно-технических знаний общества относительно предмета исследования или принятия решения, которая может меняться по мере развития системы и наших представлений о ней. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределенности, должен стать своего рода "механизмом" в сложной системе, т. е. необходимо создавать регулярную систему работы с экспертами.

Есть и еще одна особенность, на которую обратил внимание А.М. Гендин, назвав ее "эффектом Эдипа". Она заключается в том, что эксперт-лидер при организации экспертного опроса в форме Дельфи-процедуры с устным обсуждением результатов оценки между турами опроса может постепенно "увести" группу экспертов в желаемом направлении.

Следует обратить также внимание на то, что использование классического частотного подхода к оценке вероятности при проведении экспертных опросов бывает затруднено, а иногда и невозможно (из-за невозможности доказать представительность выборки). Поэтому в настоящее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории размытых множеств Заде, из представлении об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели (последнее направление развивается на основе информационного подхода, излагаемого в следующей главе; примеры - см. в гл. 6,7).

Рассмотренные особенности экспертных оценок приводят к необходимости разработки методов организации сложных экспертиз, которые помогают, расчленяя большую неопределенность на части, вводя критерии оценки и применяя различные формы опроса, получать более объективные и достоверные оценки.

К таким методам относятся: рассматриваемый ниже метод решающих матриц и его модификации (гл. 6), предложенные в методике ПАТТЕРН методы экспертных оценок значимости составляющих иерархических структур (см. гл. 4); информационные оценки степени влияния нововведений на реализацию целей (гл. 6, 7).

Методы типа "Дельфи".

Метод "Делъфи" или метод "дельфийского оракула" первоначально был предложен Л.Хелмером и его коллегами как итеративная процедура при проведении мозговой атаки, которая способствовала бы снижению влияния психологических факторов при проведении заседаний и повышению объективности результатов. Однако почти одновременно "Дельфи"-процедуры стали средством повышения объективности экспертных опросов с использованием количественных оценок при сравнительном анализе составляющих "деревьев целей" и при разработке "сценариев". Основные средства повышения объективности результатов при применении метода "Дельфи" - использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов.

В конкретных методиках, реализующих процедуру "Дельфи", эта идея используется в разной степени. Так, в упрощенном виде организуется последовательность итеративных циклов мозговой атаки. В более сложном варианте разрабатывается программа последовательных индивидуальных опросов с использованием методов анкетирования, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями друг друга между турами.

В развитых вариантах Дельфи-процедура представляет собой программу последовательных индивидуальных опросов с использованием методов анкетирования. Вопросники от тура к туру уточняются. Экспертам присваиваются весовые коэффициенты значимости их мнений (коэффициенты компетентности), вычисляемые на основе предшествующих опросов, также уточняемые от тура к туру и учитываемые при получении обобщенных результатов опроса. Для снижения таких факторов, как внушение или приспособляемость к мнению большинства, иногда требуется, чтобы эксперты обосновывали свою точку зрения, но это не всегда приводит к желаемому результату, а напротив может усилить эффект приспособляемости или рассматриваемый ниже эффект Эдипа.

С примерами применения метода "Дельфи" можно познакомиться в [10, 1.61 и др.]. В силу трудоемкости обработки результатов и значительных временных затрат первоначально предусматриваемые методики "Дельфи" не всегда удается реализовать на практике.

В последнее время процедура "Дельфи" в той или иной форме обычно сопутствует любым другим методам моделирования систем - методу "дерева целей", морфологическому, сетевому и т. п. В частности, весьма перспективная идея развития методов экспертных оценок, предложенная В.М.Глушкозым, состоит в том, чтобы сочетать целенаправленный многоступенчатый опрос с "разверткой" проблемы во времени, что становится вполне реализуемым при использовании ЭВМ.

Для повышения результативности опросов и активизации экспертов иногда сочетают процедуру "Дельфи" с элементами деловой игры: эксперту предлагается проводить самооценку, ставя себя на место конструктора, которому реально поручено выполнение проекта, или на место работника аппарата управления, руководителя соответствующего подразделения системы организационного управления и т. д.