2015-02-24
2091
Эксперт — специалист (профессионал), оценки и суждения которого менеджер считает полезным учитывать при принятии решений.
Однако уровень знаний и квалификации у различных экспертов различен. Соответственно степень значимости мнения того или иного эксперта различна.
При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в конкретном случае. Они подразделяются на три основные группы: априорные, апостериорные, тестовые.
Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах.
Апостериорными называются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах.
Тестовыми являются методы оценки качеств эксперта, предполагающие проведение специального испытания.
Априорные методы оценки эксперта. К этой группе относятся прежде всего наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:
1) самооценка по одной из балльных шкал (3-, 5-, 10- или 100-балльной);
2) самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;
3) самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;
4) самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качесва, используя два основных частных критерия: а) характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.)и б) характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретного предприятия, знакомство с образцами продукции и т.д.). В этом случае комплексная самооценка эксперта рассчитывается по формуле:
Кк=(Ки+аКз)/2
где Кк — комплексная самооценка эксперта, Ки— коэффициент информированности (в долях единицы); К3 — коэффициент знакомства с проблемой; а — весовой коээфициент.
К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенный из них — метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта — отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.
К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный, или анкетный, метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверждение, например, такими, как стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что основываясь только на этих объективных факторах, невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы.
Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества, как конформизм, конъюнктурность, компетентность эксперта.
В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки, и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительнее второго, второй предпочтительнее третьего, но в то же время третий объект оказывается предпочтительнее первого, т.е. возникает очевидное противоречие.
В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность.
Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности — относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.
При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.
Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Этот метод основан на расчете коэффициента отклонения Kоi.
где Koi — коэффициент отклонения суждений i-го эксперта;
Doj — отклонение индивидуальной оценки i-го эксперта от результирующей оценки;
Dmax – максимально возможное отклонение оценки эксперта от результирующей оценки.
Тестовые методы оценки качеств эксперта. Их суть — выполнение испытуемым экспертом некоторого заранее подготовленного задания. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии.
Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил:
• тест должен быть разработан специально под конкретные объекты экспертной оценки;
• истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но не известны испытуемому эксперту;
• должна быть разработана шкала для определения точности оценок, даваемых экспертом;
• вероятность случайного угадывания истинной оценки должна быть очень мала.
Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта, как воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают между собой полученные оценки.
Более стабильные (воспроизводимые) оценки эксперта свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.
