Отбор специалистов для участия в экспертизе начинается с составления списка компетентных в соответствующих областях лиц. Этот список служит основой для выбора экспертов с помощью специальных методов оценки их качеств. Известны четыре группы таких методов: самооценки, оценки группой каждого специалиста, оценки специалиста на основе результатов его прошлой экспертной деятельности, методы определения компетентности.
При методе самооценок специалисты оценивают по предлагаемой анкете свои способности (зрительную память, настойчивость, способность к аналитическому мышлению, сообразительность, внимание, активность, эрудицию и многое другое) по пятибалльной шкале. Организаторы экспертизы рассчитывают средние значения по каждой характеристике, для группы экспертов в целом. В зависимости от их значений состав группы может меняться. Практический опыт показывает, что группы с высокой самооценкой ошибаются в своих экспертных суждениях меньше других: средняя групповая ошибка уменьшается с ростом средней самооценки. С помощью самооценок определяют компетентность эксперта, оценивая аргументы, с помощью которых он обосновывал свои ответы, а также степень его знакомства с исследуемой проблемой.
|
|
В тех случаях, когда эксперты знают друг друга, наряду с самооценкой используют метод коллективной оценки каждого из них остальными членами группы. Коллективные оценки обычно менее точны, чем самооценки. Поэтому, как правило, используются оба метода: организаторы экспертизы предлагают каждому из кандидатов заполнить опросные листы на себя и на других участников опроса.
Более объективными оказываются методы, основанные на использовании результатов прошлой экспертной деятельности специалиста. Они применяются, когда имеются данные о результатах участия специалиста в экспертизах в прошлом. Одним из таких методов является определение степени надежности эксперта, которое представляет собой частное от деления правильных оценок к общему числу оценок эксперта.
Определить оптимальную численность экспертной группы довольно трудно. Наиболее простой способ — установление ее минимальной численности. Минимальное количество специалистов должно соответствовать количеству рассматриваемых проблем. Верхняя оценка численности экспертной группы определяется как потенциально возможное и достаточное число экспертов.