Формирование экспертной группы. Алгоритм расчета числа экспертов из условия полноты выявления представляемых ими данных

В ходе решения различных квалиметрических задач на практике широко используются экспертные методы оценки, которые в совокупности с измерительными методами позволяют получить наиболее полный объём информации об объекте исследования.

В связи с этим на начальном этапе любой экспертизы основной задачей квалиметролога является грамотное формирование экспертной группы, в ходе которого определяется оптимальное количество экспертов, необходимое для проведения экспертизы, а также проводится количественная оценка качества экспертной группы различными методами.Расчёт числа экспертов, необходимого для выявления наиболее полного количества данных, сводится к нахождению такого их числа m, при котором вероятность появления содержательно нового предложения с привлечением (m + 1) - го эксперта становится меньше заранее принятого значения a.

Для решения поставленной задачи используют следующий алгоритм:

1. Проводят опрос экспертов с целью получения совокупности сведений, касающихся объекта экспертизы.

2. Все предложения экспертов разделяют на четыре группы:

1) очевидные – выдвинутые всеми экспертами; 2) известные – выдвинутые большинством экспертов, но не всеми; 3) неочевидные – выдвинутыеменьшинством; 4) особые – выдвинутые одним экспертом. Интерес представляют только неочевидные и особые предложения, базирующиеся на личном опыте экспертов, их способностях, интуиции.

3. Из группы в m экспертов образуют всевозможные подгруппы по

(m – 1) экспертов и для каждой из них подсчитывают число особых

предложений.

4. Рассчитывают вероятность Pm -1 появления особых предложений

по всем подгруппам и коэффициент l уменьшения вероятности появления особых предложений с переходом от (m – 1) экспертов к m экспертам

5. При условии, что значение l сохраняется с увеличением числа экспертов (хотя, как правило, оно при этом уменьшается), оценки вероятности появления особых предложений с привлечением (m + 1)-го, (m + 2)-го…(m + k)-го экспертов будут соответственно равны:

Pm +1 = Pm l ; (1.4)

 

Pm +2 = Pm l ²; (1.5)

…

Pm + k = Pm l в степ к.

Следует отметить, что все допущения рассмотренного способа решения ориентированы на расчёт «с запасом». То есть, считая всех экспертов одинаково продуктивными, мы заведомо шли на завышение требуемого количества экспертов. В действительности (при правильно проведённом отборе экспертов) вначале в экспертную группу попадают наиболее сведущие специалисты, которые представляют максимальную информацию. Привлекаемые далее эксперты менее продуктивны уже потому, что область этих профессиональных интересов удаляется от цели проведения экспертизы. Это приводит к уменьшению l.Так как рассмотренный вариант решения даёт завышенный объём экспертной группы, превышать рассчитанное количество экспертов не целесообразно. Главное – подробно опросить каждого эксперта, выявить наиболее полно его суждения и рационально организовать обмен мнениями.

 

Определение качественного состава экспертной группы

Одним из этапов формирования экспертной группы является количественная оценка качества экспертной группы.

Так же как в метрологии точность результата измерения зависит от точности прибора, которым производится это измерение, так и объективность экспертной оценки, её точность зависят в основном от качества экспертной группы: квалификации каждого её эксперта, его способности к аналитическому мышлению, синтетическому обобщению, от его кругозора, эрудиции, психофизиологических способностей и т.д.

В настоящее время на практике для количественной оценки качества экспертов используются следующие методы:

1. Эвристические, при которых значение оценок определяются человеком; методы эвристической оценки основаны на том, что представление, сложившееся о данном эксперте у окружающих (или у него самого), достаточно правильно отражает его истинное качество; эвристические оценки включают: самооценку, взаимооценку, оценку эксперта членами рабочей группы.

2. Статические, при которых значение оценок получаются в результате обработки суждения экспертов об оцениваемой продукции.

3. Тестовые, при которых значения оценок получаются в результате

специальных испытаний, основанных на решении специально подобранных тестовых задач.

4. Документальные, при которых значения оценок получаются на

основе анализа документальных данных об экспертах.

5. Комбинированные, при которых значения оценок получаются с

помощью любой совокупности перечисленных выше методов.

Наиболее обоснованными в настоящее время являются статистические методы оценки качества экспертов, которые позволяют оценить согласованность экспертных мнений, полученных после обработки результатов специальных опросов.

В основе методов лежит посылка, что истинным значением определяемой экспертами величины (свойства), является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной экспертом, от групповой средней оценки, тем выше качество этого эксперта, которое может быть учтено путём присвоения в результате каждому эксперту соответствующего «веса» или весового кээффициента.