Факторы валидности экспертных оценок

Валидность — доверие, которое заслуживают суждения экс­пертов. Естественным образом зависит от компетентности экс­пертов и трудности решаемой задачи. Существует много причин, по которым эксперт может оказаться не в состоянии реализо­вать свой интеллектуальный и творческий потенциал. Отметим некоторые из них и дадим рекомендации по их устранению.

1. Идентификация суждения с его источником — естествен­ный компонент восприятия человека человеком. Значительно снимается при отсутствии непосредственного контакта экспер­тов. Если же группа работает в режиме очного взаимодействия, следует составлять ее так, чтобы в нее не попадали люди, хо­рошо знающие друг друга, начальники и подчиненные. Включе­ние в группу «громких имен» целесообразно лишь тогда, когда вся она состоит из специалистов высокого ранга.

2. Центростремительное давление возникает из-за свойст­венного большинству людей смещения своих суждений в сторо­ну нейтральной середины. Установлено: чем выше самооценка компетентности эксперта, тем выше устойчивость высказывае­мых суждений. Переход к заочному взаимодействию экспертов сам по себе не исключает возникновения центростремительного давления, однако некоторые процедуры сбора информации (про­цедуры с качественной обратной связью, с индивидуальной об­ратной связью) позволяют справиться с этой сложностью.

3. Стремление к доминированию может возникать у членов экспертной группы, не являющихся признанными лидерами, это потенциальный источник конфликтов. Следует избегать включе­ния экспертов с повышенной тягой к лидерству в опросы с ре­жимом непосредственного воздействия.

4. Неустойчивость формирующегося мнения характерна для большинства экспертов на этапе знакомства с объектом и пер­вичного обдумывания оценок. Высказанное в этот момент не­зрелое суждение может быть воспринято остальными как же­ланная подсказка. На первом этапе необходимо поддерживать информационную изоляцию экспертов.

Ошибки и трудности в применении экспертного опроса

1. Нечеткость в определении целей экспертизы. Их несоот­ветствие возможностям экспертов, используемой технике прове­дения экспертизы. Опрос экспертов проводится без специально разработанной программы.

2. Неэффективное использование экспертов. Экспертиза предназначена для получения информации, которая могла быть собрана другими, менее сложными методами.

3. Недостаточно тщательный подбор экспертов. Оценка ком­петентности кандидатов в эксперты имеет односторонний ха­рактер (или вообще отсутствует), что приводит к появлению в группе экспертов случайных людей.

4. Привлеченные к опросу эксперты не проявляют интереса к экспертизе. Часть экспертов заинтересована в искажении ин­формации.

5. Инструментарий экспертизы не был заранее апробирован. Недостаточно точно сформулированы вопросы, не ясен их ос­новной смысл. Значительно число не ответов на поставленные вопросы.

6. Эксперты испытывают трудности в применении техники экспертизы.

7. Возникли трудности интерпретации данных из-за значи­тельного разброса ответов, их неоднородности, трудности сопо­ставления данных в разнородных группах экспертов.

8. В ходе экспертизы получено много количественных оце­нок, но не было уделено внимание их аргументации. Возникли трудности объяснения полученных данных. Средние значения ответов оказываются далекими от верных.

9. Стремление ускорить опрос привело к поверхностному анализу проблем экспертами.

10. Излишний оптимизм в оценке результатов опроса. Данные экспертизы не подтверждены другими объективными данными.

ЛИТЕРАТУРА

1.Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. М., 1980.

2.Как провести социологическое исследование: в помощь идеологическому активу/Под ред. М. К. Горшкова и Ф. Э. Шереги. М., 1990.

3. Краткий словарь по социологии. М., 1988.

4.Панкова Л. А., Петровский А. М., Шнейдерман М. В. Орга­низация экспертизы и анализ экспертной информации. М., 1984.

5.Прогнозирование в социологических исследованиях. Методологические про­блемы. М., 1978.

6.Рабочая книга по прогнозированию. М., 1982.

7.Чередниченко В. В. Применение экспертных оценок в социологиче­ских исследованиях//Социол. исследования. 1981. № 3.