Методы оценки качества экспертов

Высокое качество работы экспертов, участвующих в опросе, оказывает решающие влияние на получение точных и надежных результатов.

Качество экспертов определяется следующими группами свойств: компетентностью, заинтересованностью в результатах экспертизы, деловитостью и объективностью (беспристрастностью).

Компетентность эксперта должна распространяться на объект экспертизы (профессиональная компетентность) и методологию оценки (квалиметрическая компетентность).

Профессиональная компетентность включает знание технологических этапов производства продукции, значения показателей качества различных ее видов, перспектив развития продукции. требований потребителей, условий и характера потребления.

Квалиметрическая компетентность обеспечивает четкое понимание экспертом подхода к оценке качества продукции как к мере удовлетворения ею потребностей потребителей; знание методов оценки качества, особенно экспертных методов; умение пользоваться различными квалиметрическими шкалами, отличающихся большим числом градаций.

Заинтересованность эксперта в результатах экспертизы зависит от многих факторов: степени загруженности основной работой, с которой, как правило, совмещается экспертиза; возможности использования полученных результатов; целей экспертизы; характера выводов, которые могут быть сделаны по результатам экспертизы; индивидуальных особенностей эксперта.

Деловитость эксперта включает собранность, подвижность и эластичность внимания, позволяющие быстро переключаться с оценки одного показателя качества на оценку другого; контактность, т.е. умение работать с людьми при решении задач в конфликтной ситуации; мотивированность выносимых оценок.

Объективность (беспристрасность) - способность учитывать только ту информацию, которая определяет удовлетворение потребности данной продукции. Необъективность эксперта заключается в завышении или занижении оценок объекта экспертизы по причинам, не имеющим отношения к качеству, например, из-за неспособности противостоять мнению большинства других экспертов вследствие неуверенности в своей правоте (проявление конформизма).

Методы оценки качества экспертов подразделяются на пять групп:

· эвристические (субъективные);

· статистические;

· тестовые;

· документальные;

· комбинированные.

Каждая из указанных групп делится на виды (частные оценки) и методы их получения.

Эвристические (субъективные) оценки – оценки, назначаемые человеком и основанные на предположении правильности отражения качества эксперта через оценку окружающих или самооценку.

Различают следующие виды эвристических оценок:

· самооценка;

· взаимооценка;

· оценка аргументированности и знакомства с объектом экспертизы;

· оценка эксперта рабочей группой.

Самооценка – вид и метод эвристической оценки компетентности самим экспертом. Установлено, что достоверность усредненной экспертной оценки тем выше, чем больше среднее значение самооценки членов группы. В то же время следует иметь в виду, что самооценка отличается значительной субъективностью, а это влечет за собой определенные недостатки ее. Самооценка зависит от психологических особенностей экспертов (наличия высокой или заниженной самооценки, иногда и необоснованно), степени удовлетворенности собой, понимания оценочной шкалы. Этим объясняется несовпадение результатов самооценки и взаимооценки.

Для снижения субъективности самооценку проводят дифференцированно, что повышает точность результатов. Для этого показатель самооценки определяется как функция двух коэффициентов: знакомства и аргументированности. Для экспертной оценки товаров самооценку эксперта рекомендуется определять с учетом его информированности и знакомства с оцениваемой продукцией путем заполнения «Анкеты самооценки». Эксперт отмечает регулярность чтения перечисленных в анкете источников информации и степень знакомства с оцениваемой продукцией.

Самооценка (K _{caм j}) рассчитывается по формуле

K _{caм j} = Σ M _i · K _ij,

где M _i – весомость показателей информированности и знакомства; K _ij – оценка, зависящая от степени информированности и знакомства.

Поскольку Σ M _i = 1,00, а 0 ≤ K _ij ≤ 10, то 0 ≤ K_{caм j} ≤ 10.

С учетом специфики оцениваемой продукции весомость отдельных показателей (M _i) может корректироваться экспертной группой.

Взаимооценка — вид и метод эвристической оценки, определяемой как средняя из оценок, назначаемых другими экспертами. Данная оценка предназначена для уменьшения субъективности оценки компетентности каждого эксперта. Установлено, что существует тесная связь между компетентностью эксперта и его усредненной оценкой, полученной от коллег. Сущность этого вида оценки заключается в том, что каждый эксперт дает оценку всем остальным экспертам, а затем рассчитывается усредненный результат.

В зависимости от количества экспертов в группе применяются две разные процедуры:

· при численности экспертов в группе менее 15 человек каждый эксперт оценивает всех остальных;

· при численности экспертов 15 человек и выше заполняется специальная анкета, в которой эксперты по квалификации поделены на три группы – выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6 – 8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 – самый квалифицированный эксперт, 2 – следующий по квалификации и т. д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершенно неквалифицированный) с точностью до 0,5 балла.

Недостатки взаимооценки заключаются в следующем:

· эксперты могут недостаточно знать друг друга;

· на результаты оценки могут влиять взаимные симпатии или антипатии;

· эксперты, как правило, стремятся избегать сверхвысоких и сверхнизких оценок;

· неоднозначность восприятия понятия «качество эксперта».

Для уменьшения указанных недостатков рекомендуется:

· применять взаимооценку только в тех группах, в которых большинство экспертов хорошо знают друг друга. Если некоторые из оцениваемых экспертов незнакомы, то рекомендуется ставить прочерк в соответствующей графе;

· проводить анонимное анкетирование;

· разъяснять, что результаты анкеты будут использованы только для корректировки оценок товара;

· знакомить экспертов со структурной схемой свойств и их частных оценок.

Оценка аргументированности и знакомства с объектом экспертизы – вид и метод эвристической оценки степени специализации эксперта и факторов, влияющих на его компетентность. Эвристическая оценка компетентности, основанная на учете степени специализации и знакомства, обладает высокой эффективностью и достоверностью при условии тщательной проработки методов количественной оценки каждого из этих факторов в виде оценочных анкет. В данном случае оцениваются только те факторы, которые могут характеризоваться лишь субъективно в форме самооценки; эксперт количественно оценивает степень своей специализации по данному виду продукции и форму знакомства с ней. Затем с помощью специальной анкеты (похожей на анкету самооценки) определяет коэффициент аргументированности своих знаний и дает оценку степени своего знакомства с исследуемой проблемой. Коэффициент компетентности вычисляется как среднее арифметическое из коэффициентов аргументированности и знакомства.

К экспертизе качества продукции рекомендуется допускать такую экспертную группу, средний уровень компетентности которой, определенный по шкале 0 – 1, равен или превышает 0,6.

Оценка эксперта рабочей группой – вид и метод эвристической оценки, предназначенной для количественной характеристики заинтересованности эксперта в экспертной оценке и его внимательности в ходе опроса. Оценка дается специалистами-аналитиками, проводящими опрос экспертов. При этом они оценивают отношение экспертов к проводимой экспертизе и их активность при обсуждении оценок. Оценки рабочей группы целесообразно выносить по 10-балльной шкале.

Статистические оценки – оценки, полученные в результате обработки суждений экспертов об объекте оценки.

Эти оценки применяются с целью уменьшения по мере возможности погрешностей, возникающих при экспертных оценках. Необходимость их обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных величин с известными, при экспертных методах часто отсутствует известная величина (или образец, или эталон товара), значение которой принимается за действительное, т. е. максимально приближенное к истинному.

На точность результата могут оказать влияние организация и методика проведения оценки; качество построения структурной схемы показателей качества, число показателей качества, способы определения оценок, характер взаимоотношений между экспертами и т.д.

Таким образом, на точность экспертной оценки влияет множество объективных (зависящих от методики оценки) и субъективных (зависящих от эксперта) факторов, вследствие чего возникают погрешности оценки, имеющие систематическую и случайную составляющие.

Систематическая погрешность – постоянно повторяемая часть погрешности. Основной причиной возникновения ее является недостаточная или неправильная информированность экспертов. Снизить ее можно путем ознакомления эксперта с необходимой информацией перед началом экспертизы или путем проведения инструктажа, а также обсуждения, в ходе которого эксперт получает дополнительную информацию от специалистов-аналитиков или других экспертов. Кроме того, поскольку систематическая погрешность эксперта является случайной для группы экспертов, то усреднение оценок группы позволяет повысить точность оценки качества. Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы.

Случайная погрешность зависит от психолого-физиологических особенностей эксперта (собранности, уверенности в правоте, внимательности, других личных качеств) и снижается при многократных повторениях оценок. Установить ее величину можно по воспроизводимости результатов.

Различают следующие виды статистических оценок:

· оценка по отклонению от среднего мнения экспертной группы;

· оценка объективности эксперта.

Оценка по отклонению от среднего мнения экспертной группы – оценка, основанная на предпосылке, что действительным значением групповой экспертной оценки является средняя оценка экспертной группы. Поэтому чем меньше отклонение индивидуальной экспертной оценки от групповой, тем более высоким признается качество эксперта давшего эту оценку.

Индивидуальные экспертные оценки могут быть двух типов:

· ранжирование экспертом оцениваемых величин (в порядке убывания или возрастания);

· определение экспертом числовых значений оцениваемых величин (например, при определении коэффициентов весомости показателей качества каждому коэффициенту эксперты присваивают определенные числовые значения).

Оценка по отклонению от среднего мнения экспертной группы может быть выражена через совокупность абсолютных отклонений (Д _і), рассчитываемых как разница между средней групповой оценкой (Х _с.г) и индивидуальной оценкой (Х_і):

Д _і = Х _c.г – Х_і._.

Чем больше Д_і, тем выше отклонение индивидуального мнения эксперта от среднего мнения экспертной группы.

Оценка объективности (беспристрастности) эксперта – оценка соблюдения экспертом принципа объективности, его способности к беспристрастной оценке конкретных образцов товаров. Эта очень важная характеристика качества эксперта существенно влияет на точность результатов групповой экспертной оценки. Статистические методы непосредственной оценки объективности экспертов не разработаны, поэтому на практике довольствуются косвенной оценкой по отклонению от среднего мнения экспертов.

Тестовые оценки – оценки с помощью тестирования психолого-физиологических особенностей экспертов. Данные оценки предназначены для оценивания объективности, квалиметрической и профессиональной компетентности эксперта. Достоинством этих оценок является возможность оценить личные качества эксперта, для чего другие методы и виды оценок неприемлемы. Недостаток их заключается в том, что полученные при тестировании результаты невозможно сравнить с данными, полученными каким-либо объективным методом.

При проведении тестовых оценок к тестам предъявляются следующие требования:

· понимание испытуемым экспертом постановки тестовой задачи и условий, которым должно отвечать ее решение;

· вероятность случайного угадывания решения задачи должна быть близка к нулю;

· тестовая задача должна иметь точное решение;

· обоснование близости тестовой задачи и тех реальных задач, которые приходится решать эксперту при оценке качества продукции.

Разновидностями тестовых оценок являются:

· оценка воспроизводимости результатов;

· квалиметрической компетентности эксперта;

· объективности корректирования своих оценок.

Оценка воспроизводимости результата – оценка степени близости индивидуальных оценок эксперта, проведенных через определенные промежутки времени. Обычно применяется в случаях, когда качество экспертов оценивается в несколько туров, при этом сравниваются оценки одного и того же автора в разных турах. Наиболее часто оценка воспроизводимости результатов применяется при органолептическом анализе пищевых продуктов.

Следует учесть, что промежуток времени между турами должен быть невелик, чтобы исключить влияние возможной новой информации, изменяющей его суждения, но в то же время достаточен, чтобы эксперт забыл данные оценки в предыдущем туре.

Если проводится ранжировка показателей качества, то оценка воспроизводимости результатов рассчитывается по формуле

,

где – коэффициент воспроизводимости результатов j -го эксперта; R_j – коэффициентов ранговой корреляции для j -го эксперта, определяется по формуле

где d_ij – разность между рангами, присвоенными i- му показателю качества j -м экспертом в первом и втором турах опроса; n – количество объектов ранжирования.

Если же эксперты вычисляют численные значения коэффициентов весомости, то оценка воспроизводимости результатов рассчитывается по формуле

,

где – коэффициент воспроизводимости результатов j -го эксперта; ρ_j – расстояние от среднего мнения группы для j -го эксперта, рассчитывается по формуле

,

где M _ij ^* и M _ij ^** – значения i -го коэффициента весомости назначенные j -м экспертом соответственно в первом и втором турах.

Коэффициент воспроизводимости результатов эксперта может изменяться в интервале от 0 до 10. К экспертизе качества продукции рекомендуется допускать экспертов с воспроизводимостью результатов 6 и выше.

Оценка квалиметрической компетентности эксперта – оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может проводиться путем устного или письменного контроля знаний с использованием тестов в определенной области знаний. Несколько сложнее обстоит дело с проверкой умения, которое подразделяют на три типа:

· умение использовать разные типы оценочных шкал;

· умение определять субъективные вероятности;

· умение различать достаточное число градаций оцениваемого свойства.

Умение использовать разные типы оценочных шкал. Шкала – это упорядоченный ряд отметок, соответствующий соотношению последовательных значений измеряемых величин. В квалиметрии шкала является средством адекватного сопоставления и определения численных значений отдельных свойств и качеств различных объектов. Практически используют следующие виды квалиметрических шкал: шкалу наименований, шкалу порядка, шкалу интервалов, шкалу отношений и шкалу абсолютных значений.

Шкала наименований используется в случаях, когда несколько неизвестных размеров необходимо сопоставить с одним и определить, какие из них равны размеру, выбранному за базу для сравнения, а какие нет. По шкале наименований классифицируют размеры по признаку эквивалентности, тождества, равенства. Такое измерение является наиболее простым, но наименее информативным. При этом не определяется, какой из неодинаковых размеров больше или меньше размера, принятого за базовый, т.е. порядок возрастания или уменьшения размеров не устанавливается. Измерение заключается только в определении одинаковости (равенства) или отличия (неравенства) того или иного размера от заранее определенного значения. Следовательно, определяющие отношения между измеряемыми размерами таковы: равны или не равны, т.е. в символах = или ≠.

Математическое выражение сущности измерений по шкале наименований можно записать так:

Р_i = Р_j или Р_i ≠ Р_j,

где Р _i – размер, с которым сравнивают (базовый размер); Р _j – j -й размер из сравниваемых размеров (j = 1,2,3, …, n); n – число сравниваемых размеров.

При сопоставлении и измерении размеров по шкале наименований осуществляется, например, контроль и оценка качества чего-либо по альтернативному принципу: годен – не годен; подходит – не подходит; соответствует – не соответствует и т.п.

Шкала порядка – это последовательный ряд значений, дающий систематизированное представление о простейших соотношениях величин сопоставляемых размеров свойств, признаков или качеств в целом оцениваемых объектов.

При попарном сопоставлении всех измеряемых размеров устанавливают, какой размер больше или меньше другого, какой лучше или хуже другого. Если имеются одинаковые размеры, то это соотношение также определяется. Далее установленные соотношения размеров ранжируются в порядке возрастания и/или убывания (уменьшения) их величин. Сами величины при этом остаются неопределенными. Полученный в результате ранжирования ряд значений является шкалой порядка возрастающей или убывающей последовательности.

По шкалам порядка значения размеров могут быть классифицированы (оценены) не только по критерию «одинаковы или нет», но и по соотношению, что «больше или меньше» другого или «что лучше, а что хуже» другого.

Математическим выражением соотношений попарно сопоставляемых размеров является:

Р _i = Р _j или Р _i ≠ Р _j или Р _i > Р _j или Р _i < Р_j.

В результате сопоставления размеров Р _i и Р _j определяют, какой размер больше или меньше другого, а также какие размеры имеют одинаковые значения, т.е. по шкале порядка определяют следующие соотношения: равно (=), не равно (≠), больше (>), меньше (<).

Недостатком измерений по шкалам порядка можно считать то, что получаемые результаты в виде ранжированного ряда наименее информативны. В частности, при таком измерении нет возможности определить, на сколько один размер больше или меньше другого, лучше или хуже другого. Однако главным преимуществом измерений с использованием шкал порядка является то, что и их помощью инструментально неизмеряемые величины все же можно оценить (измерить) количественно. К измеряемым по шкалам порядка относятся такие свойства объектов, как вкус, запах, привлекательность, эстетичность, комфортабельность и др. По шкале порядка часто производят и общие экспертные оценки качества нескольких сопоставляемых объектов.

Шкала интервалов используется в случаях, когда нет возможности измерить сами размеры наблюдаемых величин, но возможно (или имеется необходимость) измерить только отличия (разницы) между познаваемыми сопоставлением размерами.

На измерительной шкале интервалов фиксируются отличия сопоставляемых размеров. Эта форма отображения величин измеряемого является более совершенной, так как на шкале интервалов имеются условные, но вполне определенные единицы измерений, что позволяет количественно (численно) охарактеризовать соотношение исследуемых размеров.

Математическая запись сравнения между собой двух однородных размеров по их разнице имеет вид:

ΔР _i,j = Р _i – Р _{j .}

По шкале интервалов определяют такие соотношения размеров, как равно (=), не равно (≠), больше (>), меньше (<), сумма (+), разница (–).

Классическим примером измерений по шкале интервалов является измерение температур по шкале Цельсия. По шкале интервалов невозможно определить, во сколько раз один размер больше или меньше другого.

Шкала отношений – это измерительная шкала, на которой отсчитывается (определяется) численное значение величины q_i как математического отношения измеряемого размера Р _i к другому известному размеру, принимаемому за единицу измерений [Р].

Любое измерение по шкале отношений предполагает сравнение неизвестного размера с известным и выражение первого через второй в кратном или дольном отношении.

Математическая запись измерения по шкале отношений имеет вид:

где i = 1, 2, 3, …, n – это номер измеряемого размера.

Шкала отношений – это шкала интервалов, в которой определен нулевой элемент – начало отсчета, а также размер (масштаб) единицы измерений [Р].

По шкале отношений определяются такие значения измеряемых размеров, как: равно (=), не равно (≠), больше (>), меньше (<), сумма (+), разница (–), умножение (×), деление (:). Следовательно, с относительными величинами измеряемых размеров можно проводить многие логические и все арифметические действия.

Шкала отношений наиболее приемлема для измерений большинства показателей качества, особенно для таких численных характеристик, как геометрические размеры объектов, их плотность, сила, напряжение и прочих.

Шкала абсолютных величин используется в случаях, когда величина измеряется напрямую. Например, непосредственно подсчитывается число дефектов в изделии. Количество единиц производственной продукции и т.п. При таких измерениях на измерительной шкале отмечаются абсолютные количественные значения измеряемого. Такая шкала абсолютных значений обладает теми же свойствами, что и шкала отношений, с той лишь разницей, что величины, обозначенные на этой шкале, имеют абсолютные, а не относительные значения.

Результаты измерений по шкале абсолютных величин имеют наибольшую достоверность, информативность и чувствительность к неточным измерениям.

Шкалы интервалов, отношений и абсолютных величин называются метрическими, так как при их построении используются меры, т.е. размеры, принятые в качестве единиц измерений.

Характеристики, параметры или характеристики свойств объектов, измеряемые по шкале наименований или по шкале порядка, являются не количественными, а качественными, т.е. неопределенными по их истинной величине и по величине различий между ними. Размер, определенный по любой из метрических шкал, является количественной величиной, и сами эти шкалы являются количественными.

Квалиметрические шкалы, их определяющие отношения, измеряемые ими типы характеристик качества, а также некоторые примеры измеряемого приведены в табл. 4.1.

Каждая из квалиметрических шкал имеет свое значение и свою область применения, и поэтому они чаще всего не взаимозаменяемы при решении той или иной экспертной задачи. Умение определять субъективные вероятности – способность эксперта оценивать вероятность наступления определенных событий. Эксперты, которые не обладают такой способностью, не должны привлекаться к экспертизам, связанным с прогнозированием.

Умение определять субъективные вероятности при вынесении некоторых видов оценок. Например, при определении коэффициентов весомости некоторых событий эксперту иногда приходится использовать понятие субъективности вероятности их наступления. Зачастую прибегают к специальным тестам, с помощью которых можно оценить умение кандидата в эксперты точно определять субъективные вероятности.

Умение различать достаточное число градаций оцениваемого свойства – способность эксперта улавливать различия в интенсивности проявления каждого свойства. Эта способность в значительной мере обусловлена чувствительностью эксперта к самым незначительным изменениям свойств и показателей объектов экспертизы. Например, при органолептическом анализе испытателей проверяют на умение выявлять разницу во вкусах, запахах, оттенка цвета и др. От способности эксперта различать градации оцениваемого свойства зависит также точность индивидуальных и групповой экспертных оценок, поэтому тестовые испытания по выявлению указанной способности должны помочь отобрать в экспертную группу специалистов высокого качества.

Таблица 4.1. Виды квалиметрических шкал

Характеристика	Шкала наименований	Шкала порядка	Шкала интервалов	Шкалы отношений и абсолютных величин
Типы характеристик, измеряемых по шкалам	Качественные характеристики	Количественные характеристики
Определяемые отношения	= ≠	= ≠ > <	= ≠ > < + –	= ≠ > < + – ×:
Примеры	Различные объекты, размеры одежды и т.п.	Оценки успеваемости, сорта продуктов и т. д.	Температура [0С], температура [0F], календарные. даты и др.	Температура [0К], возраст, время, физические величины и др.
Характеристика	Шкала наименований	Шкала порядка	Шкала интервалов	Шкалы отношений и абсолютных величин
Информативность результатов измерения	Низкая	Средняя	Высокая	Наивысшая
Чувствительность к погрешностям измерения	Низкая	Средняя	Высокая	Наивысшая

Оценка объективности корректирования своих оценок – способность экспертов оценивать испытуемый объект независимо от оценок других экспертов. Данная разновидность тестовых оценок необходима для выявления отсутствия у эксперта конформизма (лат. сопfогmis – подобный, сходный), т.е. такой черты, как приспособленчество, пассивное принятие существующего порядка, мнения большинства, отсутствие собственной позиции, некритическое следование общим мнениям, тенденциям, авторитетам.

При экспертной оценке конформизм играет отрицательную роль, поэтому качество эксперта определяется также отсутствием у него этого свойства. Для проверки применяют метод подставной группы, в задачи которой входит вынесение заведомо ложных (неверных) суждений об испытуемом объекте. Например, члены подставной группы при опробовании дистиллированной воды всеми членами экспертной группы утверждают, что она обладает слегка горьким вкусом. После чего проверяется оценка испытуемых экспертов.

Степень приближения оценки испытуемого эксперта к оценке подставной группы характеризует степень его конформизма. При этом важным условием применяемого метода подставной группы является то, что испытуемый эксперт не должен подозревать о заведомо ложной оценке этой группы. Данный метод в связи с определенными этическими проблемами применяется нечасто. Однако у него имеются и достоинства, например его обучающий характер – испытуемому эксперту после доведения результатов оценки объясняют, что была смоделирована ситуация, когда определенная часть экспертов в группе могла в силу даже объективных причин высказывать ошибочное мнение. В результате этого эксперт подготавливается психологически к такой ситуации.

Документальная оценка – оценка эксперта, основанная на документальном подтверждении соответствия его установленным требованиям (компетентность, независимость, практический опыт и т.д.).

Документальное подтверждение этих требований может быть представлено в анкете эксперта, копии трудовой книжки, дипломе о профессиональном образовании, аттестате или свидетельстве установленного образца о прохождении специальной подготовки и т.д.

В необходимых случаях может быть представлен список научных работ эксперта, отмечены участие его в конференциях, симпозиумах, совещаниях разного уровня, а также состояние здоровья, отражающееся на работоспособности эксперта, и др.

Документальные оценки лишь дополняют другие группы оценок качества эксперта и не играют самостоятельной роли. Это обусловлено тем, что часть информации, содержащейся в документах, по сути дела дублирует самооценку, взаимооценки и др. Кроме того, документальная оценка в значительной мере определяется областью работы эксперта и не всегда напрямую коррелирует с его компетентностью.

Комбинированные оценки – оценки, основанные на совместном использовании разных методов оценки качества экспертов.

Рассмотренные ранее методы и виды оценки качества экспертов обладают определенными достоинствами и недостатками. Совместное использование их позволяет усилить достоинства и смягчить недостатки отдельных методов.

Необходимость применения комплексных оценок качества экспертов объясняется разнообразием предъявляемых книмтребований, каждое из которых может быть объективно оценено одним или несколькими методами. Однако не каждый применяемый метод позволяет дать количественную характеристику отдельных свойств эксперта. К тому же степень разработки и применимости предлагаемых методов неодинакова. Для сведения частных оценок в комплексную (К_э) используют формулу

,

где М – коэффициенты весомости частных оценок: эвр – эвристических; стат – статистических; тест – тестовых; докум – документальных; К – значение соответствующих частных оценок.

Весомость частных оценок может быть определена рабочей группой.

Анализ частных оценок, полученных экспертом, может характеризовать его качество. Так, сочетание высокой самооценки с низкой оценкой рабочей группы свидетельствует о недостаточно серьезном отношении к работе, чрезмерной самоуверенности. Высокие оценки рабочей группы, воспроизводимости результатов с низкой оценкой отклонений от средней означают неправильную информированность эксперта.

При комбинированной оценке в зависимости от ее целей могут быть использованы не все, а лишь отдельные частные оценки.

Количество экспертов. Точность групповой экспертной оценки во многом зависит от числа экспертов в группе. Казалось бы, чем больше экспертов, тем выше точность и достоверность оценки. Однако с увеличением количества экспертов возрастают затраты на проведение экспертизы, появляются сложности в выявлении согласованного мнения экспертов.

Рациональное количество экспертов в группах может колебаться от 5 до 15 человек в зависимости от вида экспертизы.

Кроме точности и достоверности экспертных оценок на численность групп экспертов влияет еще ряд факторов:

· допустимая трудоемкость опроса – увеличение числа экспертов повышает общую трудоемкость экспертизы, особенно если методикой опроса предусмотрено коллективное обсуждение выносимых оценок;

· возможность управления экспертной группой – при значительном числе экспертов падает эффективность коллективного обсуждения. Это вызвано тем обстоятельством, что возможности выступления каждого эксперта за время, отведенное на тур обсуждения, уменьшаются, что приводит к пассивности экспертов;

· возможности организации, в которой формируется экспертная группа.

Разработаны расчетные формулы численности экспертов, но они довольно трудоемки, основаны на значительных допусках и предположении, что качество всех экспертов в группе одинаково.

Один из распространенных расчетных методов основан на определении экономической эффективности экспертизы. При этом проводится сравнение экономического эффекта от повышения точности экспертной оценки с дополнительными затратами, вызванными увеличением числа экспертов.

Другой способ определения численности экспертной группы основан на способе выявления корреляционной зависимости между численностью экспертной группы и средней групповой ошибкой. С помощью этой зависимости можно выбрать минимально допустимое количество экспертов. Однако эта зависимость не имеет универсального характера и для каждой конкретной экспертизы характерны специфические особенности.

На практике указанные способы определения численности экспертов применяются довольно редко, а ограничиваются численностью групп 5 – 15 человек. Также зачастую не учитывается и качество экспертов при формировании экспертных групп, хотя и существуют рекомендации о подборе их с учетом компетентности. Группа не должна состоять из представителей узкой специальности, так как их мнение может быть тенденциозным.

Необходимо также обращать внимание на степень сложности объекта экспертизы и на наличие у экспертов необходимой квалификации, опыта работы. Должны учитываться и личностные отношения между экспертами.

При отборе экспертов большое значение имеет их предыдущий опыт участия в аналогичных экспертизах, а также наличие соответствующей тренировки и обучения в кандидаты эксперта.

Необходимо выявить возможные противоречия между целями экспертизы и экспертов, чтобы предотвратить смещение групповой оценки в направлении, желательном для одного или нескольких либо всей группы экспертов.

При любом методе формирования экспертных групп отсутствует полная гарантия высокой достоверности получаемой от экспертов информации. Основная цель формирования экспертных групп – обеспечение процедуры отбора экспертов, минимизирующей искажения информации, возникающие вследствие некомпетентности отобранных специалистов или их нежелания давать достоверную и надежную информацию.