Этапы организации экспертных опросов

1. Формирование экспертных групп (требования к экспертам, размер группы, тренировка экспертов, оценка их компетентности)

2. Выбор формы экспертного опроса (анкетирование, интервью, смешанные формы опроса) и методики организации опроса (методика анкетирования, мозговая атака, деловые игры и т. п.)

3. Выбор подхода к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.)

4. Проведение экспертного опроса

5. Выбор метода обработки экспертных оценок

6. Оценка согласованности мнений экспертов, достоверности экспертных оценок и определение способа повышения согласованности оценок

7. Интерпретация результатов

Какие методы относятся к методам экспертных оценок?

 

1. ранжирование;

2. парные сравнения;

3. множественные сравнения;

4. непосредственная оценка;

5. метод Черчмена-Акоффа;

6. метод Терстоуна;

7. метод фон Неймана-Моргенштерна.

Если оправданы лишь качественные оценки объектов по некоторым признакам, то используются методы (1-3).

Если целесообразно получить количественные оценки объектов, то можно использовать какой-либо метод численной оценки (4-7).

Ранжирование - Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в определенном порядке, руководствуясь для сравнения одним или несколькими показателями.

В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам.

Такие ранги называют связанными рангами

Достоинство ранжирования как метода экспертного измерения - простота осуществления процедур, не требующая трудоемкого обучения экспертов.

Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов.

Метод парных сравнений - представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей.

В результате сравнения пары объектов аi и аj эксперт делает выбор: либо аi предпочтительнее аj, либо аj предпочтительнее аi, либо ai и аj равнозначны.

Метод множественных сравнений отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки и т.д. объектов.

Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы.

Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием.

С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов.

С другой стороны, при ранжировании объектов их может оказаться слишком много, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы.

Непосредственная оценка - заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом эквивалентным объектам приписывают одинаковые числа.

Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов.

Эти условия на практике встречаются редко, поэтому часто для измерения применяют балльную оценку. Эксперт, приписывая объекту балл, тем самым оценивает его с точностью до определенного отрезка числовой оси. Чаще всего применяют 5-, 10- и 100-балльные шкалы.

Как оценивают согласованность мнений экспертов?

Групповые экспертные оценки должны отражать согласованное мнение экспертов.

С помощью рангового коэффициента корреляции устанавливается теснота связи между двумя ранжированными рядами, интерпретируемая как согласованность мнений двух экспертов.

С помощью рангового коэффициента корреляции нельзя установить согласованность между всеми экспертными оценками. Но с их помощью удается описать структуру согласованности индивидуальных оценок. Это описание может быть представлено в виде корреляционной матрицы.

Коэффициент Спирмена применяется если ранжировки двух экспертов не содержат связных рангов, т.е. когда нет повторяющихся рангов, и мы имеем строгое упорядочивание объектов. Коэффициент Спирмена = [-1,1]. равен 1, если ранжировки полностью совпадают, и равен (-1), если ранжировки имеют противоположный порядок.

Коэффициент конкордации Кендалла, представляет усредненную ранговую корреляцию

В чем состоят особенности метода Черчмена-Акоффа?

Этот метод предполагает последовательную корректировку оценок, указанных экспертами. Согласно методу Черчмена-Акоффа альтернативы а₁, а₂, …, a_N ранжируются по предпочтительности. Эксперт указывает предварительные численные оценки ф (а_i) для каждой из альтернатив. Если альтернатива аi оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив а₂, а₃,..., a_N-1 и т.д.

После того как альтернатива а₁ оказывается предпочтительнее суммы альтернатив а₂, …, ak (к ≥ 2), она исключается из рассмотрения, а вместо оценки альтернативы а1 рассматривается и корректируется оценка альтернативы а2.

Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.