Экспертиза как метод получения информации в задачах принятия решений

Во многих задачах системного анализа непосредственное измерение или расчет по формулам показателей для характеристики альтернатив невозможно пли крайне затруднителен. Это, например, характерно для задач анализа, управления или совершенствования сложных организационно-экономических систем. Часто сам характер показателя такой, что предполагает не просто измерение, а выражение некоторого мнения специалиста. Например, сравнивая двух изготовителей продукции, из которых выбирается возможный поставщик, можно ввести общий показатель надежности поставщика. Оценку этому показателю может дать опытный специалист, хорошо знающий работу данного изготовителя. Высказывая свое мнение, этот специалист может использовать известные нам шкалы измерений (относительную, балльную, ранговую), а ЛПР, сравнивая полученные оценки, может сделать обоснованный выбор поставщика по критерию его надежности.

В задачах принятия решений (ЗПР) для оценки (измерение) показателей при выборе альтернатив ключевой фигурой является эксперт.

Рассмотрим этапы и типовые задачи экспертного оценивания:

1. Оценка значения некоторого показателя f(x) альтернативы Х;

2. Оценка коэффициентов значимости показателей αi в критерии взвешенного суммирования;

3. Упорядочение (ранжирование) показателей по важности;

4. Упорядочение (ранжирование) альтернатив по некоторому признаку, например, по их полезности для ЛПР;

5. Формирование множества показателей, по которым будет оцениваться альтернатива;

6. Формирование исходного множества альтернатив, из которых будет осуществляться выбор.

При решении задач экспертного оценивания, чтобы субъективные мнения экспертов были приближены к объективным оценкам, привлекаются, как правило, несколько экспертов. Далее, мы увидим, что мнения разных экспертов также могут иметь разный вес. Это обусловлено, возможно, различной квалификацией экспертов в данной области проблем.

Рис. 1. Общая схема организации и проведения экспертизы

Оценка значимости (веса) мнения эксперта может быть дана самостоятельно на основе специальной шкалы или в группе, когда один эксперт оценивает веса других.

Для самооценки (оценке в группе) эксперту можно предложить проставить себе балл (балл другому эксперту), используя следующую балльную шкалу:

· 10 баллов - эксперт специализируется по данному вопросу, имеет по нему успешно завершенные и используемые на практике разработки и практический опыт,

· 8 баллов - в решении проблем по данному вопросу эксперт не участвует, но этот вопрос входит в сферу его узкой специализации;

· 5 баллов - вопрос входит в сферу, тесно связанную с узкой специализацией эксперта, но в работе по данному вопросу он не участвует;

· 3 балла - вопрос не входит в сферу, тесно связанную с узкой специализацией эксперта.

Рассмотрим способы решения некоторых задач.

Задача экспертного оценивания значения показателя. Пусть известен некоторый предлагаемый вариант действия - альтернатива X и известен показатель F, по которому требуется оценить альтернативу. Например, как и ранее это может быть оценка надежности предполагаемого поставщика. Пусть N экспертов дают собственные оценки надежности F(X)j по балльной шкале (например, по 10 балльной шкале). Требуется определить комбинированную экспертную оценку. Для вычисления комбинированной оценки используется следующая формула:

где qi - весовой коэффициент i-гo эксперта.

Задача ранжирования показателей (альтернатив). Пусть есть М показателей, необходимо упорядочить их по важности. Аналогично: есть множество альтернатив, необходимо упорядочить их по привлекательности для принятия решения. Решение задачи иллюстрируется с помощью таблицы 1:

Здесь выбрано показателей М=7, количество экспертов N = 5. Каждый эксперт проставляет свой ранг показателю (альтернативе), где ранг равный 1 означает наибольший приоритет показателя (альтернативы) – прямая ранговая шкала.

Сумма рангов уже позволяет упорядочить объекты экспертизы - так по данным таблицы можно получить следующую упорядоченную последовательность объектов (показателей, альтернатив):

5-3-2-1-6-4-7,

где 7-й объект оказался последним в списке, т.к. все эксперты единодушно присудили ему наивысший ранг.

При необходимости, можно вычислить итоговый ранг, который рассчитывается как среднее арифметическое частных оценок.

В данном примере не учитываются весовые коэффициенты экспертов.

Важной характеристикой является согласованность мнений экспертов.

Согласованность проверяется по величине коэффициента конкордатции Кендалла:

W=12* S/[N2 *(М3-М)],

где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего арифметического (табл. 1);

N - число экспертов;

М - число объектов экспертизы.

Коэффициент конкордатции измеряется в диапазоне от 0 до 1, причем 0 соответствует полной несогласованности мнений, а 1 - полной согласованности.

Если значение W превышает 0.4 - 0.5, то качество оценки считается удовлетворительной; если W > 0.7 - 0.8 -качество оценки считается высоким.

Определим степень согласованности мнений экспертов по данным табл. Среднее арифметическое число рангов

Rcp = (21 + 15 + 9 + 28 + 7 + 25 + 35) = 20.

Затем оценим сумму квадратов отклонений от среднего: S = 621. Далее определим величину коэффициента конкордации:

W = 12* 621/(25* (343-7))= 0.88.

Полученный результат свидетельствует о том, что мнения экспертов очень хорошо согласованны.

Задача формирования исходного множества альтернатив выбора и показателей для оценки альтернатив

Общий алгоритм формирования экспертным путем множества альтернатив следующий:

1) на первом шаге каждый i-й эксперт предлагает свое множество альтернатив Хi;

2) далее строится объединенное множество альтернатив

3) строится матрица R = (rij), где rij = 1, если j-я альтернатива i-го эксперта вошла в множество , т.е., если i-й эксперт предложил j-ю альтернативу, в противному случае rij = 0.

5) множество х преобразуется в искомое множество альтернатив X. В искомое множество X включаются те альтернативы, для которых р. не меньше, чем некоторый установленный порог Рпор.

Для примера рассмотрим следующую задачу. Имеется фирма занимающаяся внедрением корпоративных информационных систем на предприятиях Работа эта достаточно сложная, трудоемкая и требует больших временных и финансовых затрат.

Одним из первых этапов работ является проведение экспресс обследования и формирование общего представления о дальнейших этапах работы, на основе чего формируется техническое задание и заключается договор с предприятием - заказчиком. В крайнем случае, по результатам экспресс обследования может быть принято решения и об отказе дальнейшего сотрудничества с предприятием.

Задачей экспертов является формирование множества тех показателей, по которым далее будет оценено предприятие и принято решения о дальнейших планах взаимодействия (следовательно, и вариантов технических заданий) или об отказе от работ. Пусть опрашиваются 3 эксперта.

Предположим, что первый предложил включить в число следующих показателей:

- наличие на предприятии опыта использования автоматизированных систем управления, обозначим этот показатель как f1;

- наличие руководителя высокого ранга, активно заинтересованного во внедрении корпоративной системы, - f2;

- платежеспособность предприятия - f3.

Пусть второй эксперт кроме перечисленных показателей предложил включить в искомое множество также такой, как наличие на предприятии специалистов, имеющих опыт организации и администрирования компьютерных сетей - f4. Третий эксперт предложил рассматривать показатель f4 а также следующие показатели:

- удаленность предприятия от места жительства – f5;

- наличие симпатичного главного бухгалтера, который сможет войти в команду разработчиков в качестве консультанта – f6.

В табл. 2 приведены результаты опроса экспертов и результаты обработки экспертных мнений с помощью приведенного выше алгоритма.

Пусть установлен порог Рпор. = 2/3 (т.е. проходным является то мнение, с которым согласны две трети экспертов).

Таблица 2. Результаты формирования множества показателей

Тогда в искомое множество показателей, по которым будет оцениваться потенциальный заказчик войдут показатели f1, f2, f3.