Исследования на основе применения экспертных оценок

Семинар

Методы экспертных оценок.

С чем была связана необходимость разработки инновационных

Методов экспертных оценок в послевоенный период?

В прикладных политических исследованиях по страновой и международной проблематике экспертные оценки чаще всего используются в ситуациях, когда существует нехватка достоверной информации, необходимой для принятия решений, или, когда эта информация является вероятностной и не верифицируемой традиционными аналитическими средствами.

Вместе с тем идея опоры на индивидуальное мнение, часто возникающее интуитивно и не имеющее рационального обоснования, всегда существенно ограничивала возможности применения экспертных заключений. В этой связи в русле происходившего во второй половине ХХ в. «методологического взрыва» сложилось оригинальное исследовательское направление, которое стремилось внедрить в практику научные процедуры, мобилизующие способности человеческой личности генерировать полезную информацию в сложных обстоятельствах. Опираясь на разработки военных аналитиков и опыт применения системного анализа в гуманитарных исследованиях, некоторые западные и отечественные специалисты разработали внушительный спектр междисциплинарных аналитических приемов, позволявших, во-первых, снизить субъективизм экспертных заключений, во-вторых, агрегировать мнения значительного числа экспертов, в-третьих, уменьшить риск возможных ошибок при формулировании выводов.

Потребность придания научного статуса группе методик, обычно определяемых как «экспертные оценки» оказалась особенно высока в связи с общим усилением прогностической направленности прикладных проектов и включения в проектные задания таких параметров, как вероятность оптимального и реально возможного развития событий.

 Методики экспертных оценок как особый класс научного инструментария активно совершенствовались и были чрезвычайно популярны в 70-80-е годы ХХ в. В этот период на основе их применения было выполнено особенно большое количество прикладных политологических проектов, в том числе и по международной проблематике.

В целом, разнообразные варианты методики экспертных оценок применялись и продолжают применяться главным образом для формулирования прогнозов в отношении тенденций и перспектив развития ситуации, для оценки вероятностных характеристик ситуации на определенном временном этапе будущего, а также для определения желаемого состояния ситуации.

 

Назовите основные этапы прикладного политического

исследования на основе применения экспертных оценок.

Исследование с применением экспертных оценок проводится в три этапа:

1) готовятся информационные материалы и подбираются эксперты;

2) собираются экспертные заключения и обрабатываются результаты;

3)готовится итоговое заключение.

 

1. Подготовка информационных материалов и подбор экспертов

На этапе подготовки программы проекта формируется группа специалистов-аналитиков, в обязанности которой входят подбор экспертов, участвующих в экспертизе; составление специальных опросных листов (анкет); разработка способа и процедуры опроса экспертов; проведение опроса; обработка результатов опроса и их статистический анализ; синтез объективной (статистической) и субъективной (аналитические заключения) информации с целью подготовки итоговых оценок, необходимых для принятия решения.

Качественная оценка эксперта зависит от предварительной проработки организаторами совещания общей системной концепции рассматриваемой ситуации или процесса. Обычно такая проработка производится путем перевода традиционных научных обсуждений в русло моделирования, например, представления рассматриваемых проблем в виде иерархически организованной структуры - проблемного дерева, или в иной терминологии – «дерева целей»). Эта работа производится путем последовательного расчленения основных исследовательских задач на элементы, с тем чтобы создать систему так называемых взвешенных связей («дерево целей»).

Обычно, когда речь идет о формировании объективного мнения, к участию в экспертном совещании привлекают наиболее квалифицированных специалистов из всех организаций, имеющих профессиональное отношение к рассматриваемой проблеме.

К наиболее важным характеристикам эксперта, наличие которых целесообразно учитывать в ходе персонального отбора, относятся: креативность - способность самостоятельно решать творческие задачи; эвристичность - умение видеть или создавать неочевидные «сценарии»; интуиция ­- способность делать заключения об исследуемом объекте без осознания логики (причинно-следственных связей) его формулирования; независимость - умение противопоставлять групповым мнениям собственное; универсальность - способность видеть проблему с различных точек зрения.

2. Сбор экспертных заключении и обработка результатов Составляя анкеты для проведения экспертизы, следует иметь в виду, что при их заполнении определенную роль играет порядок постановки вопросов и их формулировка. Вопросы не должны допускать двойного толкования или побуждать эксперта выразить мнение в малознакомой ему предметной области. Мера конкретизации вопросов должна учитывать реальную возможность специалиста дать правильный ответ. Излишняя детализация создает иллюзию максимальной точности суждения, тогда как на самом деле она может отвлекать от главных вопросов. Практика показывает, что сначала лучше искать ответы на общие вопросы, а затем постепенно переходить к более частным.

Сбор экспертных заключений может проводиться заочно, когда личный контакт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется в рамках беседы с экспертом. Преимущества и недостатки очной или заочной процедуры аналогичны тем, с которыми сталкиваются социологи, проводя опросы общественного мнения. Заочный опрос относительно дешев, однако при нем возможны искажения в случае неправильного заполнения анкет. При личной беседе этот недостаток исключается, но зато требуются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может сознательно или бессознательно влиять на ответы эксперта.

Завершающая часть второго этапа исследования с применением экспертных оценок - обработка результатов экспертизы. Главная задача обработки результатов опроса - представить экспертные заключения в стандартизованном виде. Стандартизация делает возможной процедуру сравнения результатов, полученных разными способами. Но сам статистический анализ начинается с определения согласованности оценок разных экспертов.

Регулярное проведение экспертиз по какому-либо вопросу может довести процедуру получения экспертных оценок до высокой степени стандартизации и воспроизводимости результатов. При этом часто экспертные заключения предоставляются в числовом виде, и тем самым их обработка сводится к процедурам, разработанным в области вычислительной математики и статистики. Статистический анализ и анализ чувствительности полученного массива экспертных данных составляют математическое обеспечение экспертиз, и лучше, если они выполняются соответствующими специалистами.

  Статистическим анализ имеет дело, главным образом, с количественными данными, обусловленными множественностью признаков или факторов. Его применение позволяет определять основные закономерности распределения данных (параметров экспертных оценок) и степень корреляции между отдельными показателями.

Анализ чувствительности вариантов решений обусловлен тем, что веса факторов определяются как случайная величина. Если результат очень чувствителен к изменению исходных данных, то решение может быть принято необоснованно. Кроме того, эксперты могли дать данные с некоторой степенью неточности. Анализ чувствительности может быть проведен и по отношению к составу группы экспертов - изменение в составе группы не должно сильно влиять на результаты.

Одним из главных требований, предъявляемым к процессу обработки экспертных заключений, является исключение негативного эффекта усреднения, разноплановости и цикличности.

3. Подготовка итогового заключения

 На третьем завершающем этапе обработки экспертных данных неизменно возникает задача комплексного анализа характеристик объекта наблюдения, которые были получены на основании применения разных приемов статистической обработки и особенно разных шкал. Для этого необходим переход к одному типу данных - числовому или качественному. Обычно такой анализ осуществляется с помощью сведения всех показателей к количественным. Но при наличии адекватных представлений и исполнительских навыков комплексную обработку информации можно проводить и с помощью сведения числовых показателей к качественному виду. Например, характеристике демографической ситуации в отдельной стране, определяемой как состояние демографического взрыва, могут соответствовать хотя и близкие по величине, но все же разные показатели естественного прироста населения. Нюансы, важные в долгосрочной перспективе, можно в данном случае, в пределах краткосрочной перспективы, не учитывать. Важным, хотя и не абсолютным показателем корректности экспертных заключений является ситуация, когда выводы, полученные на основе «количественной» обработки данных, если и не совпадут с выводами «качественной» обработки то, по крайней мере, не будут им противоречить. Другими словами, применение экспертных оценок при подготовке конкретного решения очень часто служит началом целой серии экспертных совещаний, постепенно снижающих неопределенность ситуации.