Экспертные оценки значимости показателей

Одна из важных методологических проблем построения системы показателей — определение критериев отбора пока­зателей. Среди различных подходов к этой проблеме по значению выделяются логический и исторический. Первый связан с анализом формальной структуры исследуемого объекта, второй — с конкрет­но-историческим контекстом функционирования объекта. После­дний обладает тем преимуществом, что позволяет выдвинуть гипо­тезу методологического характера о том, что эффективным крите­рием отбора социально значимых показателей может служить сте­пень отражения им наиболее актуальных социальных проблем и наиболее важных социальных целей общества. До проведения социальных исследований проблемно-целевых аспектов изучаемого объекта наиболее подходящим способом проверки данной гипотезы представляется использование методов экспертных оценок. При этом социальные проблемы следует рассматривать в единстве с со­циальными целями.

Наиболее важные этапы поискового и нормативного про­гнозов — построение соответственно «дерева проблем» и «де­рева целей». «Дерево целей» не должно строиться чисто умоз­рительно-дедуктивно, в отрыве от реально существующих про­блем, оно не должно строиться и чисто эмпирически-индук­тивно, в отрыве от определенного, теоретически разработан­ного социального идеала. Односторонний подход таит в себе опасность ошибок при постановке целей. Кроме того, при по­строении «дерева проблем» не следует игнорировать теорети­чески разработанные цели во избежание разрыва между тео­рией и практикой. В идеале нижний (наиболее детальный) уро­вень «дерева целей» должен совпадать с нижним уровнем «де­рева проблем», Иначе говоря, ближайшие практические цели должны сводиться к решению наиболее актуальных соци­альных проблем, но иметь четко ориентированную долгосроч­ную перспективу.

С учетом этих особенностей взаимосвязи между «деревом целей» и «деревом проблем» к экспертизе приходится предъяв­лять довольно строгие требования. Эксперты должны быть специалистами по конкретным социальным проблемам и вме­сте с тем иметь представление о всей проблематике исследуе­мого социального явления, о тенденциях развития его каждо­го конкретного аспекта. Предъявлять такого рода требова­ния к какой-то одной группе экспертов в условиях недоста­точно разработанной пока проблематики большинства социальных явлений и процессов было бы нереальным. Поэтому для участия в опросе полезно привлекать различные группы экспертов. Совокуп­ность этих групп призвана обеспечить большую степень репрезента­тивности выборки респондентов в целом.

Для обеспечения надежности результатов желательно ис­пользовать несколько (две-три) методик опроса экспертов. Опросы должны иметь определенную логическую последова­тельность.

Разовый заочный опрос экспертов

Участие экспертов в определении проблем и целей исследуемо­го объекта является весьма эффективным приемом. Специалисты по экспертизе считают, что по существу ни один иной метод про­гнозирования не является столь эффективным. Это объясняется не столько достоинствами самого метода, сколько ограничениями, воз­никающими при использовании более точных и сложных методов, прежде всего недостаточностью исходной информации и необходи­мостью трудоемких подготовительных процедур. Что же касается экспертных оценок, то они достаточно экономичны и эффективны при сравнительно незначительной потере точности.

В методическом отношении цель разовой заочной экспертизы сводится к выработке элементов типовой методики заочного экс­пертного опроса, способной обеспечить эффективное использова­ние экспертов при построении систем социальных показателей.

В содержательном отношении целью такого опроса является определение степени социальной значимости перспективных проблем (и соответствующих им показателей) исследуемого объекта.

Успех экспертизы во многом определяется составом и компетентностью опрашиваемой группы. Выбор экспертов, а также членов параллельной контрольной группы — один из важных вопросов этого этапа исследования. Полезно составить группу экспертов из специ­алистов-практиков, имеющих опыт работы в различных отраслях народного хозяйства. Контрольная же группа может быть представ­лена теоретиками ¾ научными сотрудниками, исследующими различ­ные аспекты избранной проблемы.

На первом этапе работы по проведению экспертизы составляют исходный перечень основных проблем изучаемого объекта, обоб­щают и уточняют его путем контент-анализа. Панельный очный оп­рос экспертов из параллельной контрольной группы «методом ко­миссии» позволяет обобщить формулировки проблем, устранить дублирующие друг друга или носящие специфический, частный характер, относящиеся не ко всему объекту в целом, а к его отдель­ным деталям. В итоге будет получен перечень, который станет осно­вой материала экспертизы — окончательного варианта «Анкеты эк­сперта». Цель экспертизы — упорядочить выделенные социальные проблемы и соответствующие им показатели, первые — по степени их актуальности в общественной жизни, вторые — по степени эффективности отражения связанных с ними проблем. Проблемы и показатели могут оцениваться при помощи двух независимых мето­дик: ранжирования и непосредственно балльных оценок. Обработка результатов экспертизы проводится традиционными математико-статистическими методами.

Панельный опрос экспертов

Следующую задачу — определение значимости социальных це­лей исследуемого объекта следует рассматривать в плане решения социальных проблем. Последние ранжируют по степени важности и актуальности, но теперь уже в диалектической взаимосвязи с целя­ми. Для решения этой задачи используют технику деструктивной отнесенной оценки, касающуюся группы экспертных интуитивных методов, коллективное обсуждение мнений и генерацию новых идей. Метод основан на хорошо известных правилах проведения одной экспертизы и принадлежит к классу управляемых экспертных опро­сов, но с такой степенью свободы высказываний экспертов, которая позволяет рассчитывать как на конструктивную критику даваемых оценок, так и на получение оригинальных, нетривиальных оценок.

Сущность этой техники получения экспертных оценок заключа­ется в стимулировании творческого потенциала экспертов с помо­щью критики (деструкции) предложенных оценок и выработки (от­несения) новых известными приемами «мозговой атаки». Стимули­рующий эффект создается, во-первых, за счет искусственной эли­минации ограничений при высказывании критических экспертных суждений на первом (деструктивном) этапе работы, во-вторых, за счет «расковывания» творческого потенциала экспертов при выска­зывании оригинальных конструктивных суждений на втором этапе работы (отнесение оценок), в-третьих, за счет нового, неожиданно­го «видения» экспертом проблемы глазами своих коллег по ходу дискуссии с ними. Все это позволяет рассчитывать на высокую эф­фективность применения данной техники при экспертизе сложных социальных явлений.

Наиболее эффективна эта техника при вынесении оценок, предполагающих ряд альтернативных вариантов, один из ко­торых может быть расценен как оптимальный по заранее за­данным критериям. При таком подходе цель экспертизы сво­дится к определению набора альтернатив. Кроме того, метод доста­точно конструктивен при оценках, связанных с выявлением факто­ров, влияющих на характер альтернатив.

Процедуры метода деструктивной отнесенной оценки включа­ют следующие этапы:

1. Составление проблемной записки (материала для обсуж­дения), включающей описание процедуры опроса и формули­ровку предмета обсуждения. Она начинается с постановки про­блемы и перечня задач опроса. Здесь очень важна четкость формулировки, поэтому сложные объекты обычно расчленя­ются на более простые элементы.

2. Формирование экспертной группы. Оптимальная численность ее найдена эмпирическим путем: один человек — при рассмотре­нии сравнительно простых вопросов, несколько больше — при слож­ных. Желательно, чтобы в группу включались эксперты с сильно развитыми критическими наклонностями (модераторы), обладаю­щие конструктивным мышлением (генераторы), хорошо знакомые с одним из аспектов рассматриваемой проблемы или со всей про­блемой в целом. Желательно также, чтобы в группе были представ­лены специалисты из разных областей знания с высоким уровнем общей эрудиции.

3. Генерация идей на основе обсуждения проблемной записки по правилам «мозговой атаки». Она начинается с того, что веду­щий ставит проблему обсуждения, т.е. раскрывает основное со­держание проблемной записки, которая раздается экспертам за несколько дней до опроса (им предоставляется возможность осве­жить ее в памяти непосредственно перед началом опроса), отвеча­ет на вопросы, возникшие у экспертов при ознакомлении с запис­кой, формулирует подлежащие обсуждению положения и концен­трирует внимание участников на правилах проведения «мозговой атаки»:

— высказывания экспертов должны быть четкими и сжатыми (регламент: не более 1—2 минут);

— скептические замечания и критика предыдущих выступ­лений не допускаются;

— каждый эксперт имеет право выступать несколько раз;

— не разрешается зачитывать ответы, приготовленные за­ранее;

— слово предоставляется в первую очередь желающему выска­заться в связи с предыдущим выступлением;

— ведущий поощряет экспертов за оригинальный подход к рассматриваемым вопросам;

— создается по возможности самая непринужденная обстанов­ка собеседования, «расковывающая» инициативу и творческие по­тенции экспертов, активизирующая обмен мнениями.

4. Систематизация идей, высказанных на предыдущем этапе. Ее осуществляет специальная аналитическая группа организаторов опроса;

— составляется перечень всех высказанных идей;

— каждая идея формулируется в общепринятых терминах, стандартных для данного исследования;

— выявляются дублирующие или взаимодополняющие друг друга идеи, которые сводятся в комплексы;

— идеи классифицируются по группам, и создается пере­чень групп с перечислением составляющих их идей в логичес­ком порядке значимости;

— составляется записка (доклад), представляющая собой тезисы-вопросы для последующего этапа (деструкции). Опыт показывает, что если представить экспертам для деструкции просто развернутую записку (доклад), то повышается риск отвлечения их внимания в сторону от обсуждаемых вопро­сов.

5. Деструкция идей и выдвижение контр идей (желательно на одном и том же задании группы). Обсуждение проводится так же, как и на этапе «мозговой атаки», с той лишь разницей, что при деструкции от экспертов требуется возможно более смелая, последовательная и исчерпывающая критика поочередно каждого выдвинутого положения (в порядке очередности выдвигаемых по­ложений, а не выступающих). При выработке новых оценок проце­дура «мозговой атаки» повторяется полностью. Результатом данно­го этапа являются материалы для дальнейшего уточнения содержа­ния проблемной записки.

6. Подведение итогов экспертизы: составляется систематический перечень всех критических замечаний, полученных на этапе дест­рукции, сводный список идей и контридей, не опровергнутых крити­ческими замечаниями.

Использование этого метода позволяет уточнить и систе­матизировать экспертные оценки социальных целей исследу­емого объекта, необходимые для разработки проблемно-целевой модели, которая может выступать в роли исходной (базовой) моде­ли прогноза социального явления.

Экспертные оценки значимости возможных показателей исследуемого объекта

Предыдущие типы опроса экспертов ставили задачу апробиро­вать различные методические подходы к использованию экспер­тизы с целью совершенствования систем показателей сложных со­циальных явлений. Особое внимание при этом уделялось вопро­сам определения степени компетентности экспертов и структуры экспертных групп. Однако огромный интерес представляют и со­держательные экспертные оценки, дающие возможность развивать и совершенствовать различные направления социальной статис­тики.

Процедуры экспертизы включают следующие этапы:

1. Уточнение исходного набора показателей. Для этого про­водится специальный очный опрос экспертов, осуществляемый одним из методов, имеющихся в распоряжении исследовате­лей. В роли экспертов выступают специалисты исследуемой области. Серия таких опросов позволяет существенно уточ­нить исходный набор показателей.

2. Формирование экспертной группы для оценки уточнен­ного набора показателей. Этому вопросу следует уделить осо­бое внимание. Опыт опроса экспертов в заранее формализованных группах (отдел или сектор научно-исследовательского учреждения, группа ведущих практических работников и т.п.) наряду с очевидны­ми достоинствами имеет и недочеты: чрезмерная однородность эк­спертной группы по уровню и профилю компетентности порожда­ет односторонние оценки, даваемые почти под одним и тем же углом зрения без учета иных точек зрения.

Возникает проблема поисков оптимума в сочетании экспертов разного уровня и профиля компетентности, способных дать слож­ному социальному явлению основательную, разностороннюю оценку.

В этом плане наиболее предпочтителен метод так называемого «снежного кома»: проводится серия экспертных опросов, где каж­дому эксперту предлагается назвать одного или несколько специа­листов, наиболее подходящих, по его мнению, для включения в свод­ную экспертную группу.

Можно прибегнуть к другим методам, например к использова­нию авторского библиографического указателя по исследуемой проблеме, а также к приемам отбора из первоначального списка наиболее компетентных экспертов с помощью документального метода, эксперимента, голосования и самооценки.

Документальный метод позволяет определить компетентность эксперта по формальным данным — ученой степени и званию, должности, стажу работы в соответствующей области и т.д. Экспе­риментальный метод учитывает эффективность работы экспертов в предыдущих опросах. Метод голосования предполагает взаимооцен­ки экспертов при условии достаточно устойчивых научных контак­тов между ними. Метод самооценки позволяет определить компе­тентность эксперта в зависимости от его ответов: занимался ли он рассматриваемой проблемой специально, знаком с ней только по специальной литературе или имеет о ней лишь самое общее представление.

Используя эти методы, следует помнить, что по эксперт­ным оценкам не всегда можно с достаточной точностью выя­вить различие между научным статусом эксперта, фиксируе­мым документально, и степенью его действительной компе­тентности, а также связи между действительной компетентно­стью и самооценкой. Данные, приводящиеся в специальной литературе по экспертным оценкам, свидетельствуют, что наи­более эффективным показателем компетентности эксперта является самооценка (разумеется, подкрепленная данными, полу­ченными другими методами).

Что касается достижения оптимальности в структуре экс­пертной группы (соотношение специалистов различных обла­стей знания), для того чтобы быть уверенным, что выявлен­ная система показателей отражает все стороны исследуемого объекта на одинаково высоком уровне, в экспертной группе должны быть более или менее равномерно представлены специалисты всех профилей исследуемой области. Оптимальное же соотношение специалистов широкого и узкого профиля — величина непостоянная и требует специального расчета для каждого конкретного исследования.

Оптимальная численность экспертной группы как величи­на формальных способов определения не имеет. Очевидно, что минимальный предел должен обеспечивать возможность при­менения статистических процедур и известную гарантию про­тив односторонности подбора экспертов, а максимальный диктуется реальными возможностями подготовки, проведения и обработки результатов экспертизы.

3. Проведение собственно экспертизы одним из известных ме­тодов. Методические сложности этого этапа состоят в необходи­мости сосредоточить внимание на таких аспектах, как заинтересо­ванность экспертов в точности их оценок, выборе адекватных ме­тодов групповой оценки, согласованности мнений и ряда других моментов.