Организация и эффективность использования экспертных оценок

Экспертные оценки в той или иной форме использовались во все времена. Однако внимание к ним существенно возраста­ло по мере усложнения производственных технологий, а следо­вательно, и процесса разработки решений. Официальным нача­лом их становления и развития считают 50-е - 60-е годы XX ве­ка. К этому времени относится публикация первых работ, по­священных описанию и исследованию технологий экспертного оценивания. Современным руководителям важно знать сущ­ность и назначение данного метода разработки решений, его достоинства, процедуру организации и проведения, типичные ошибки экспертных технологий и направления совершенствова­ния.

Существуют различные определения термина "эксперт". Чаще всего под ним подразумевается высококвалифицирован­ный специалист. В настоящее время известны факты формиро­вания банков данных о специалистах в различных областях, од­нако систематическая оценка качества их деятельности практи­чески отсутствует. Очевидно, наряду с характеристикой экспер­та (его профессиональных знаний и опыта) должна накапли­ваться информация об эффективности его работы.

Формирование экспертной комиссии - ответственное ре­шение, принимаемое руководителем при организации и прове­дении экспертизы. Однако затраченные усилия, как правило, полностью оправдываются. Формирование состава экспертной комиссии определяется особенностями сложившейся ситуации, требующей решения, возможностями участвовать в работе ко­миссий организаторов экспертиз, а также самих специалистов. При отсутствии опыта проведения подобных мероприятий ре­комендуется обращаться к услугам независимых центров экспертиз. Если потребность в экспертных оценках возникает дос­таточно часто, имеет смысл создать для этого специальное под­разделение. Основными направлениями применения эксперт­ных оценок являются:

1. Определение целей.

При принятии важных решений необходимо четко пред­ставлять цели, к достижению которых стремится ЛПР. Для сложных ситуаций разработан и используется метод формиро­вания "дерева целей", позволяющий оценить степень ее дости­жения. Большое значение имеет определение приоритетности целей и механизмов их осуществления. Все эти вопросы могут быть предметом оценки экспертов.

2. Экспертный прогноз.

Особую роль при принятии решений играют проблемы, свя­занные с оценкой развития анализируемых ситуаций, ожидае­мых результатов альтернативных вариантов решений. Традици­онные методы прогнозирования не всегда могут быть примене­ны. Экспертная информация в подобных ситуациях весьма по­лезна, так как содержит не только количественные, но и качест­венные оценки.

3. Сценарии ожидаемого развития ситуации.

Они играют важную роль при принятии управленческих ре­шений. Наиболее распространенным для экспертного оценива­ния альтернативных вариантов сценария является метод "мозговой атаки" в сочетании со специальными методами ис­пользования аналитической информации.

4. Генерирование альтернативных вариантов.

Подобные процедуры могут предусматривать проведение экспертиз с использованием методов типа "мозговой атаки", а также создание в сложных случаях автоматизированных систем генерирования альтернативных вариантов.

5. Определение рейтингов.

В последнее время они весьма популярны, позволяют опре­делить сравнительную надежность банков, страховых компаний, качество различного вида услуг, сравнительную влиятельность политиков и т.д.

6. Оценочные системы.

Оценочная система формируется при индивидуальных и коллективных сравнительных оценках объектов экспертизы для определения степени достижения цели. Большое внимание при этом уделяется оценке сравнительной важности критериев.

7. Принятие коллективных решений.

Это одна из наиболее важных процедур процесса управле­ния. Она предполагает не только расчет коллективной эксперти­зы, но и использование специальных методов открытого обсуж­дения альтернативных вариантов решения, дополнительного обмена информацией между лицами, принимающими непо­средственное участие в процессе принятия решений, согласо­вания, поиска компромисса. Повышение надежности эксперт­ных оценок при разработке важных стратегических и тактиче­ских решений - одна из проблем эффективного управления предприятием. Важное место в экспертных технологиях зани­мают коллективные экспертизы.

Особенности коллективной экспертизы состоят в следую­щем:

1. Более полное представление о ситуации. Опыт проведе­ния экспертиз показывает, что отдельные эксперты нередко представляют достаточно детально различные аспекты анали­зируемой ситуации. Объединение и сопоставление экспертных заключений позволяет получить более полную картину объекта экспертизы.

2. Выявление заведомо неконкурентных вариантов. Сопос­тавление различных точек зрения способствует выявлению аль­тернативных вариантов, использование которых нецелесооб­разно.

3. Выявление верных "еретических" суждений. Правильные решения порой могут предложить высококлассные специалисты, глубоко разбирающиеся в узкой профессиональной области. Мнение таких экспертов может существенно отличаться от мне­ния большинства, но именно оно может оказаться верным.

4. Получение объективных оценок. Мнения отдельных экс­пертов содержат оттенок субъективизма. Поэтому обсуждение экспертных заключений (предусматриваемое рядом экспертных процедур) повышает их объективность. Этому же способствуют процедуры выработки коллективных экспертных суждений и оценок на основании индивидуальных суждений и оценок.

5. Получение оценок повышенной надежности. Экспертные заключения, получаемые в результате коллективных экспертиз, во многих случаях оказываются более взвешенными, устойчи­выми при поступлении дополнительной информации, обосно­ванными и надежными.

Существуют некоторые свойства коллективных решений, которые необходимо учитывать при обработке экспертной ин­формации и выработке экспертных заключений по определению предпочтительности альтернативных вариантов. В их составе такие свойства:

• независимости. Результирующая коллективная эксперт­ная оценка не зависит от добавления новых или исключения части старых рассматриваемых вариантов;
• непредвзятости. В результирующей коллективной оценке принципиально могут быть реализованы все возможные сочета­ния сравнительной предпочтительности вариантов решений;
• монотонности. Если какой-либо из экспертов изменил мнение в сторону коллективного, то результирующая коллектив­ная оценка не изменится;
• ненавязчивости. Всегда можно подобрать такие оценки сравнительной предпочтительности альтернативных вариантов, что в одном случае один альтернативный вариант будет лучше другого, а в другом случае - наоборот;
• отсутствия диктата. Не должно существовать сравнитель­ной оценки альтернативных вариантов, данной одним из экс­пертов, которая принималась бы в качестве результирующей, независимо от сравнительных оценок, данных другими экспер­тами.

В литературе эти свойства, сформулированные строго ма­тематически, называются условиями Эрроу. Практика показы­вает, что одновременное их выполнение для результирующей коллективной оценки невозможно (так называемый парадокс Эрроу).

Важное значение в экспертных оценках имеют методы ор­ганизации и проведения экспертиз. Рассмотрим некоторые из них.

Метод комиссий состоит в открытой дискуссии по обсуж­даемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дис­куссии. Преимущества метода комиссий: возможен рост ин­формированности экспертов за счет обсуждения обоснования экспертных оценок, и обратная связь - под воздействием полу­ченной информации эксперт может изменить первоначальную точку зрения. Однако метод комиссий обладает и недостатками. В частности, отсутствие анонимности, что может приводить к проявлению конформизма; дискуссия нередко приобретает ха­рактер полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентно­стью; публичность высказываний сочетается порой с нежелани­ем некоторых экспертов отступить от ранее высказанного мне­ния, хотя оно в ходе дискуссии может претерпеть изменения.

Экспертиза по методу суда характеризуется некоторой ана­логией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая объявля­ется ее противниками и пытается выявить отрицательные сто­роны. Существует и третья сторона, которая регулирует ход экспертизы и выносит окончательное решение.

Одним из распространенных методов проведения экспер­тиз является метод "мозговой атаки". Основная его направлен­ность - выявление новых идей. Для этой цели организаторы экспертизы создают атмосферу, наиболее благоприятствующую генерированию идей (благожелательности, поддержки), осво­бождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована.

Метод "мозговой атаки" характеризуется открытым выска­зыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться два условия: во-первых, запрещается критика чужих суждений; во-вторых, предлагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или воз­можности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. При этом выяв­ляются рациональные моменты в каждом из высказанных пред­ложений и на основе их обобщения формулируется решение. Достоинством данного метода является возможность принятия решения за сравнительно короткий срок.

В рамках использования данного метода может применять­ся принцип Парето. А именно, после регистрации идей, исходя из соотношения 20:80, отбирается из всей совокупности каждым из присутствующих 20% идей, с их точки зрения наиболее за­служивающих внимания. Данный выбор также фиксируется. Далее в качестве основных идей по решению проблемы отби­раются те из них, которые набрали большее количество очков (чаще отбирались присутствующими). Например, по решению проблемы было высказано 40 идей. Согласно принципу Парето из них следует отобрать 8 (20%), принципиально способствую­щих решению задачи. Каждый специалист делает такой выбор, производя соответствующие отметки. В конечном счете выявля­ется 8 идей, чаще всех попадавших в выборку. Они и берутся за основу для углубленной проработки и решения проблемы. В методе "мозговой атаки" существенная роль принадлежит руко­водителю, проводящему экспертизу. Он знает о конечной цели экспертизы, направляя дискуссию в соответствующее русло. Однако если руководитель стремится выделить лишь перспек­тивные с его точки зрения идеи, результат экспертизы оказыва­ется менее значительным.

Метод Дельфы. Разработанный Хелмером и Делки, он яв­ляется одним из основных в проведении экспертиз и имеет раз­личные модификации. Сегодня этот метод представляет собой по существу группу методов, объединенных общими требова­ниями к организации экспертных процедур и форме получения экспертных оценок. В нем предусматривается создание усло­вий, обеспечивающих наиболее продуктивную работу эксперт­ной комиссии, что достигается анонимностью процедуры, с од­ной стороны, и возможностью пополнить информацию о пред­мете экспертизы, с другой.

Экспертизы по методу Дельфы проводятся в 4 тура. На пер­вом туре экспертам сообщается цель экспертизы и формулиру­ются вопросы, ответы на которые составляют основное содер­жание экспертизы. Во втором туре им предъявляются усреднен­ная оценка экспертной комиссии и обоснования экспертов, вы­сказавших "крайние" точки зрения. Третий и четвертый туры не отличаются от второго. Характерной особенностью метода Дельфы является уменьшающийся от тура к туру разброс оце­нок экспертов, их возрастающая согласованность. Однако иногда наблюдается поляризация различных точек зрения, что мо­жет объясняться наличием среди экспертов представителей различных научных школ, специалистов различных профилей.

Метод прогнозного графа. Качество прогнозов зависит от корректно организованной экспертизы и обработки ее резуль­татов. Известным методом экспертиз сложных систем, исполь­зуемых при прогнозировании, является метод прогнозного гра­фа. Он включает несколько этапов. Центральное место в нем занимает формирование прогнозного графа. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной. Эксперты указывают специалистов, способных оценить возможность реализации ка­ждой из указанных ими промежуточных и конечной целей. На втором туре анализу подвергается уже не конечная, а промежу­точные цели, сформированные экспертами в первом туре. Экс­перты второго тура имеют право корректировать цели, сформу­лированные в первом туре. Последующие туры экспертизы ана­логичны второму. Процедура заканчивается при достижении того уровня целей, при котором не требуется проведения до­полнительных исследований и разработок.

Метод сценариев. Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между действующими факторами, сфор­мировать картину состояний, к которым может прийти ситуация под влиянием тех или иных воздействий. Разработка таких сце­нариев способствует своевременному осознанию потенциаль­ной опасности, с которой сопряжены варианты управленческих воздействий или неблагоприятное развитие событий. Прообра­зом метода сценариев может служить решение М. И. Кутузова об отступлении из Москвы в Отечественной войне 1812 года. Прослушав различные варианты возможных действий, опреде­ляющих различные сценарии развития войны с французами, оценив их сильные и слабые стороны, полководец пришел к не­популярному (как оценили бы теперь), но единственно верному, решению - оставить Москву. Последующее развитие событий подтвердило его правоту, война была выиграна. Использование специальных программ для ЭВМ, а также датчиков случайных чисел, с последующим исключением невозможных ситуаций, расширяет горизонт анализа, альтернативных вариантов сценариев. Перечень возможных вариантов развития событий позво­ляет обнаружить критические ситуации для принятия решений, потенциальные последствия предлагаемых альтернатив и выбор на этой основе наиболее эффективной.

При высокой степени полезности оценки экспертов не все­гда бывают точны. В принципе, оценить точность суждений экс­перта возможно при тестовом характере оцениваемого показа­теля (когда заранее известно его значение). Этим приемом пользуются, например, при подборе состава экспертов для формирования комиссий.

Основными причинами, снижающими точность экспертных оценок, являются:

1. Использование некомпетентных экспертов из-за:

• недостаточно серьезного отношения к проведению экс­пертизы;
• нечеткого понимания целей, характера объекта эксперти­зы и неполной информации о нем;
• наличия ограниченной информации об экспертах и облас­тях их профессиональных знаний и опыта;
• отсутствия организационных механизмов, обеспечиваю­щих возможность привлечения высококвалифицированных спе­циалистов.

2. Недостаточная подготовленность экспертизы. Имеют ме­сто некачественная формулировка целей экспертизы, низкий организационный уровень ее подготовки и проведения, отсутст­вие необходимой квалификации рабочей группы, проводящей экспертизу.

3. Несовершенство используемых технологий.

4. Недостатки используемых методов обработки экспертной информации. При анализе результатов экспертизы следует об­ращать внимание на степень согласованности экспертных оце­нок, получаемых при ее проведении. Согласованность мнений комиссии может отражать тот факт, что к проведению эксперти­зы отнеслись формально, не придавая особого значения ее ре­зультатам, либо что эксперты при вынесении заключений и оце­нок проявили высокую степень конформизма. С другой стороны, несогласованность экспертных суждений может означать разное понимание экспертами цели экспертизы, а также участие в ра­боте комиссии экспертов с противоположными интересами.

Анализ согласованности экспертных суждений необходим, так как выявление по результатам оценок коалиций экспертов-"единомышленников" позволяет иногда сделать важные выводы, вскрыть причину несогласованности, повысить надежность оце­нок.

К типичным ошибкам экспертных оценок относятся также:

• преувеличение возможностей экспертных оценок. Необ­ходимо правильно понимать возможности их использования. Безусловно, далеко не все существующие проблемы могут быть решены с помощью экспертов;
• излишнее увлечение количественными оценками. Немало ошибок связано с требованием организаторов экспертизы да­вать оценки в виде числа, так как не всегда для этого имеются основания;
• конформизм экспертов;
• некорректная интерпретация результатов.

Проблемы совершенствования и развития экспертных тех­нологий связаны с проработкой следующих направлений.

1. Формирование экспертной комиссии. При этом необхо­димо предусмотреть возможность эффективного взаимодейст­вия экспертов с целью получения полной и адекватной оценки объекта экспертизы. В ее составе должны быть высокие про­фессионалы, имеющие опыт эффективной работы эксперта и хорошо знакомые с объектом экспертиз. Информационный об­мен между экспертами необходим, прежде всего, в экспертных процедурах, целью которых является выработка альтернативных вариантов решений в сложных ситуациях. Так, в основе экс­пертных процедур метода "мозговой атаки" лежит активный об­мен информацией с обязательным приведением аргументации как в поддержку высказанной идеи, так и против нее. Без эф­фективной организации такого обмена информацией уровень подготовленности управленческих решений значительно снижа­ется.

2. Организация и проведение экспертиз. Наличие аналити­ческой группы, профессионально владеющей технологией орга­низации и проведения экспертиз, методами получения и анали­за экспертной информации - одно из условий эффективности экспертиз. Совершенствованию методов экспертных оценок посвящен ряд работ. Они касаются систематизации разновидностей метода Дельфы. Дальнейшее развитие получают методы "мозговой атаки", сценариев, ситуационного анализа.

3. Получение достоверной экспертной информации. К числу основных проблем в этой части относятся: представимость экспертной информации, однозначность измерений, адекватность, что весьма важно для определения корректных преобразований экспертной информации.

4. Определение результирующих экспертных оценок.

5. Многокритериальные оценки.

6. Корректная обработка и анализ результатов экспертиз.

7. Компьютерные системы поддержки. Автоматизирован­ные системы включают технологическое сопровождение, необ­ходимое автоматическое и информационное обеспечение про­цесса экспертного оценивания для организации и проведении экспертиз специфического характера.

В управленческой практике последнего времени среди со­временных информационных технологий известна система под­держки принятия решений (СППР). Существуют разные точки зрения относительно определения данной системы. Ее характе­ризуют как:

• универсальную экспертную систему;
• усовершенствованную автоматизированную систему приня­тия решений;
• интерактивную, реализованную на компьютере систему, до­пускающую простой доступ к моделям и информации, исполь­зуемым при разработке решений.

Обобщая приведенные характеристики, можно сделать вы­вод, что СППР предназначена для информационной поддержки менеджеров в процессе разработки управленческих решений. Область применения СППР - это прежде всего слабоструктури­рованные проблемы, для которых характерно наличие неопре­деленности, а следовательно, поиск оптимального решения и имеющихся альтернатив. По некоторым данным СППР широко используются в значительной части коммерческих организаций. Около 50% высших руководителей что-либо знают, либо слыша­ли об СППР в своей области деятельности.

Основными принципами эффективного использования дан­ной системы являются:

• обеспечение в необходимом объеме информацией о ситуации, требующей решения;
• оперативный поиск информации, в частности сбытовых подразделений, постоянных потребителей;
• нахождение системы в постоянном эволюционном развитии, причем последующая ее версия должна качественно сопоставляться с предыдущей;
• каждая последующая версия должна наращивать возмож­ности системы за счет дополнительных резервов по генерирова­нию альтернативных вариантов решений, отчетов по принимае­мым решениям, интегрированию управленческой информации.

СППР представляют собой реализацию управленческих технологий, основанных на широком использовании возможностей современных ЭВМ. Системы должны располагать достаточно мощными базами данных для обеспечения информацион­ной поддержки как при индивидуальном, так и коллективном принятии решений, а также в нестандартных ситуациях. В них предполагается использование опыта и знаний высококвалифи­цированных специалистов, чтобы обеспечить более высокое качество разрабатываемых решений, то есть предусмотрена активная роль человека.

Исходной посылкой обеспечения эффективности решений является четкое определение их целевой направленности.