Метод экспертных оценок

Экспертные оценки применяются в анализе и решении плохо формализуемых задач, в которых взаимосвязи причин и следствий не вполне ясны, а значение и качество интересующих исследователя параметров не поддаются непосредственному измерению. Кроме того, экспертные оценки и вообще экспертиза незаменимы в задачах прогнозирования, решение которых обычно опирается на примерные, оценочные данные.

Организация экспертизы предполагает осуществление следующих основных этапов:

• отбор специалистов на роль экспертов;

• разработка анкеты-вопросника, нормализующей процедуру оценки и облегчающей последующую обработку результатов;

• проведение коллективного опроса и согласование полученных результатов.

Экспертиза опирается на привлечение высококвалифицированных специалистов по проблемам, изложенным в текстах документов. Основание для признания тех или иных материалов ценными являются представления экспертов о полезности документов в научно-практической деятельности. В качестве базы для сравнения, т.е. эталонов оценки, выступают профессиональные знания, кругозор экспертов, их представления о путях развития определенных отраслей и направлений науки и техники.

Центральное понятие в экспертных оценках — это экспертиза, т.е. собственно процесс опроса экспертов, сбор и первичный анализ экспертной информации. Есть прямая экспертиза, при которой интересующие вопросы задаются экспертам непосредственно «в лоб» и косвенная, при которой ответы на такие вопросы определяются в результате обработки других ответов.

К косвенным методам оценки отнесены те, в которых показателями ценности выступают элементы библиографического описания документов, а также количество цитируемых источников, приведенных чертежей, формул и т.д. При прямой оценке значимости документа изучают его содержание и на этой основе устанавливают его ранг, уровень. Сущность данного метода состоит в установлении связи между содержательной стороной документа, т.е. заключенной в нем информации, и его формальными признаками.

В зависимости от типа задаваемых вопросов выделяют экспертизу оценочную и ситуационную. Цель первой — получить оценочное значение параметра или критерия, измеренного в какой-либо шкале. При ситуационной экспертизе участвующим предлагают рассмотреть некоторые ситуации, т.е. совокупность фактов, утверждений и данных, характеризующих состояние объекта, оценить причинно-следственные связи между отдельными. фактами, дать прогноз развития объекта в разных ситуациях.

В экспертной оценке можно выделить индивидуальную и коллективную экспертизу. В первом случае эталоном оценки выступают опыт, знания, кругозор и интуиция опытного конкретного эксперта. Пример подобных оценок — активно применяемое в редакционно-издательской практике рецензирование рукописей. Когда эталоном оценки выступают коллективные

знания, опыт специально подобранной группы экспертов, можно говорить о коллективной экспертной оценке.

Представляется правомерным выделить также методы экспертизы, основаниями оценок в которых выступает потенциальная полезность, а эталоном — профессиональные знания, опыт и интуиция субъектов оценки, и методы экспертизы, основаниями оценок в которых выступает установленная полезность, а эталоном — специально создаваемые шкалы и ранжированные перечни признаков, указывающие на значимость документов (тип, вид документа, его объем, тираж и т.д.).

Установление потенциальной полезности требует привлечения в роли субъектов оценки лиц, обладающих соответствующими знаниями и опытом, т.е. высококвалифицировант ных специалистов, специализирующихся в данной области (их принято называть экспертами). Требования к экспертам: они должны обладать необходимым запасом профессиональных знаний, быть способными решать новые задачи, осознавать очевидные проблемы и предсказывать будущее рассматриваемых объектов или явлений, уметь противопоставлять предубеждениями собственное мнение, видеть проблему с разных точек зрения, иметь опыт проведения экспертизы.

Но для того, чтобы результаты оценки и сравнения условий во всех случаях были достаточно обоснованными и надежными, опыта и интуиции отдельных экспертов недостаточно, нужна стандартная методика анализа и оценки. Создание такой методики базируется на:

• выборе из множества существующих и возможных характеристик наибольшего количества важнейших, наиболее информативных;

• определении сравнительной весомости, значимости выбранных характеристик, их ранжировании по степени влияния на процессы и результаты.

Необходима опора на систему критериев и показателей. Используя вопросы анкет, эксперты определяют свойства информации, содержащейся в документах, — новизну, полноту, актуальность, достоверность и т.д. Кроме этого, экспертиза осуществляется на основе общих критериев оценки происхождения, содержания, внешних особенностей документа.

Критериями оценки происхождения являются роль и место организации, деятелей науки, культуры, политики в системе государственного управления, экономики, политики, социальной жизни общества, значимость деятельности, время и место образования документов.

Критериями оценки содержания можно назвать значимость событий, явлений, предметов и фактов, отражаемых в документах, значение зафиксированной в документах информации, ее повторяемость в других документах, целевое назначение, разновидности конкретного документа.

К критериям оценки внешних особенностей документа относятся особенности передачи текста, материальной основы носителя информации, его физического состояния, способа передачи информации. Кроме того, для каждой группы документов существуют и собственные специфические критерии их оценки: значимость информации для развития науки, техники, производства, новизна поставленных задач и предложенных решений, приоритетность авторства, экономическая эффективность, социальная значимость, комплектность и полнота изложения и др.