Реализация и анализ результатов ЭИП

При анализе вариантов УР возникает необходимость реализации ЭИП практически во всех шкалах. Использование каждой из шкал имеет свою специфику.

Одна из проблем применения рассмотренных в предыдущем разделе ме­тодов состоит в том, что участ­вующие в них в качестве источников инфор­мации специалисты (ЛПР, эксперты, консультанты, советники) разных пред­метных областей могут использовать принятую в этих областях терми­ноло­гию, в значительной степени не совпадающую. Это относится и к случаям использования виртуальных экспертов в виде всевозможных ли­тературных источников. Поэтому возникает не­обходимость определить, явля­ются ли то­ждествен­ными те или иные используемые термины. Эта задача представляет собой пример задачи измерения в номинальной шкале. Другие примеры – классификация работников, поставщиков, изделий и т.п. по некоторой сово­купности свойств или признаков.

Пусть имеется множество A =(a ₁,…, a_j,…,a_m) некоторых терминов (обозна­че­ний, наимено­ваний и т.п.) и некоторое множество объектов S = (s ₁,…, s_i,…,s_n) способов дей­ст­вий, техниче­ских средств, методов алгоритмов и т.п. задача состоит в том, чтобы каждому объекту s_i Î S поставить в соответ­ствие конкретный термин a_j Î A. Далее пусть существует группа экспертов (ГЭ), каждый участник которой, ориентируясь на свои знания, может объек­там множества A (не обязательно всем) поставить в соответствие термины из множества A. Формальным результатом работы t -го участника ГЭ является оценка отношения r^t_ij, с некоторой вероятностью p определяющая истинное отношение r_ij. Из-за возможных ошибок участников процедуры их оценки в общем случае могут не совпадать с r_ij. Цель рассматриваемой ЭИП состоит в таком агрегиро­вании полученных оценок, чтобы минимизировать вероят­ность не­совпадения агрегированной оценки R_ij с истинным значением r_ij. Как и следовало ожидать, это ус­ловие выполняется, если агрегированная оценка совпадает с не менее чем половиной используемых оценок и процент этих оценок превосходит ожидаемую среднюю веро­ятность ошибки участников процедуры.

Возможность индивидуальных ошибок в оценках участников ЭИП вызы­вает необходи­мость анализа их согласованности, которая, в свою очередь, является мерой достоверности используемых оценок. ЭИП в номинальной шкале является разновидностью операции ранжирования, отличающейся тем, что число ранжируемых объектов равно единице. Поэтому для анализа со­гласованности используемых оценок можно применить критерий, из­вестный в теории порядковых статистик как коэффициент согласия, с проверкой ста­тистиче­ской значимости получаемых результатов. Подробнее эти методы рассматриваются далее.

Таким образом, рассмотренная ЭИП включает в себя получение первич­ной измеритель­ной информации (оценок значений r^t_ij) от членов ГЭ, анализ согласованности этих оценок и построение агрегированной оценки R_ij. При этом лишь первая операция является эвристиче­ской, анализ согласованности и построение агрегированной оценки осуществляются алгоритмически и могут быть реализованы соответствующими средствами СППР.

 Очень часто при анализе УР используются ЭИП в порядковой шкале. Их применяют для упорядочения каких–либо объектов (вариантов, свойств, показателей, шансов и т.д.) по различным признакам. В терминах порядковой шкалы, например, в баллах, как уже отмеча­лось, можно оценить значения различных показателей. Порядковая шкала является весьма привычной, и поэтому представляется достаточно легкой для применения. Однако ее не­правильное использование может привести к значительным искажениям информации для принятия УР.

Итак, пусть A =(a ₁,…, a_d,…, a_q,…, a_m) – подлежащие упорядочению объекты, S =(s ₁,…, s_i,…,s_j,…,s_n) – множество упорядоченных чисел, которые будем называть рангами. Задача рассматриваемой ЭИП заключается в том, чтобы каждому объекту a_q Î A приписать ранг s_i Î S, соответствующий месту данного объекта на множестве A по степени выраженно­сти некоторого общего для всех этих объектов свойства (или совокупности таких свойств).

Как уже отмечалось, ЭИП состоит из трех частей – получения первичной эвристической измерительной информации, ее формализации и оценки точ­ности и достоверности.

Для получения первичной измерительной информации об отношениях от членов ГЭ ис­пользуются, в основном, два метода – непосредственное упорядочение или парные сравнения, рассмотренные в 3.3. Задача каждого члена ГЭ состоит в определении для каждого объ­екта его места (ранга) в упорядочении на основе предоставленной информа­ции и тех ин­дивидуальных знаний об объектах и требованиях к ним, которые у него имеются.

Оценка точности и достоверности результатов ранжирования, как и всех остальных ЭИП, вытекает из предположения о том, что согласованное мне­ние высококвалифицирован­ных специалистов с высокой вероятностью является правильным. Так как действительное значение оцениваемых с помощью ЭИП показателей неизвестно, нельзя получить какие-либо оценки точности. Поэтому при использовании ЭИП используются оценки согласованности мнения участников процедуры, и, если она достаточно высока, результаты признаются правильными. В рассматриваемой процедуре ранжирования согласованность мнений членов ГЭ характеризуется значением коэффици­ента конкордации

где x_ij ранг j -го объекта в ранжировании i -го члена ГЭ, t_ij -число повторений j -го ранга у i -го члена ГЭ

При одинаковом ранжировании всеми членами ГЭ W =1, а при полной не­согласованности W =0. Так как коэффициент конкордации является случайной величиной, далее стандартными методами математической стати­стики может быть определена его значимость.

При недостаточной согласованности можно, поочередно исключая полу­ченные от каж­дого из членов ГЭ оценки, найти те, которые являются причи­ной этой несогласованности. Получив от члена ГЭ, давшего эти оценки, содержательную аргументацию и доведя ее до ос­тальных участников проце­дуры, проводят следующий тур ЭИП.

Один из распространенных вариантов реализации ЭИП в порядковой шкале – использо­вание балльных оценок для выражения интенсивности выраженности ранжирующего свойства. Основная особенность порядковой балльной шкалы состоит в том, что в ней интервалы между баллами не явля­ются фиксированными. Операция сложения баллов в этой шкале формально не определена, поэтому некорректно использование таких оценок, как сред­нее арифметическое и дисперсия. Для оценки средней величины можно ис­пользовать значение медианы Me, вычисление которой основано на опера­циях, разрешенных порядковой шкале. В качестве меры рассеяния по тем же причинам следует использовать полуинтерквар­тильный размах Q распреде­ления оценок. Напомним, что медиана распределения оценок от­мечает на порядковой шкале точку, ниже которой находится 50% оценок. Поэтому, если по­лученные балльные оценки расположить в порядке не убывания, то при нечетном их числе медиане будет соответствовать балл, находящийся в середине такой последовательности, а при четном числе оценок – балл с номером 0.5 n +1. Полуинтерквартильный размах характери­зует не отклоне­ние от какой-либо средней величины, как дисперсия, а общую величину рас­сеяния, и вычисляется по формуле

Q =(Q ₃ – Q ₁)/2,

где Q ₁ – первый квартиль, т.е. точка на шкале, ниже которой расположено 25% оценок, а Q ₃ – третья квартиль, т.е. точка, ниже которой расположено 75% оценок.

Основной характеристикой балльной шкалы является ее диапазон (балль­ность)  - число градаций, которое содержит шкала, т.е. число оценочных точек. Диапазон шкалы не всегда совпадает с числом баллов, так как в про­цессе оценивания могут использоваться доли балла (например, школьные оценки «4 с плюсом» или «5 с минусом») или не все баллы (баллы 20, 40, 60, 80 и 100 в 100-балльной шкале). Шкала с максимальной оценкой 5 баллов с градацией через 0.5 балла имеет тот же диапазон, что и 10-ти балльная шкала с градацией через 1 балл или шкала с максимальной оценкой 100 баллов с градацией через 10 баллов. Все эти шкалы, при исключении оценки 0, явля­ются 10-балльными.

Выбор числа градаций шкалы определяется характером конкретной за­дачи оценивания и возможностями членов ГЭ, но учитывая «магическое число Миллера" 7 плюс-минус 2. Желательно использовать шкалы с нечетным числом градаций, в которых наряду с верхним и нижним есть средний (удовлетворительный) уровень выражен­ности ранжирующего свойства.

Результаты ЭИП удобно представлять в виде таблицы, число строк кото­рой равно числу ранжируемых объектов, а число столбцов – количеству баллов применяемой шкалы. Элемент ij этой таблицы равен числу членов, приписавших i -му объекту j -ю оценку. На основе такой таблицы вычисля­ются медиана и полуинтерквартильный размах оценок каждого объекта.

Отметим, что оценки в баллах часто используются и в ЭИП, реализуемых в интервальной шкале. Это возможно, если интервалы между баллами одина­ковы.

ЭИП в интервальных шкалах используются при анализе вариантов УР очень широко. Однако достаточно часто для получения первичной эвристи­ческой информации применяют операции, не учитывающие возможности человека как измерительного прибора – а именно в таком качестве высту­пают участники ЭИП. Как показывают результаты психологических ис­сле­дований, при разработке ЭИП следует ориентироваться на две операции эвристического оценивания – упорядочение и назначение вероятного диапа­зона значений показателя. Первая из этих операций рассмотрена выше. Сформируем основной принцип, реализуемый далее при осуществлении второй операции.

Оцениваемые значения тех или иных показателей, характеризующих ка­чество принимае­мых УР, представляют собой случайные величины, исчер­пывающей характеристикой которых являются законы распределения. Кон­кретный вид закона распределения определя­ется физическими, экономиче­скими или другими объективными закономерностями, а параметры обычно оцениваются на основе статистических данных. В рассматриваемой задаче вследствие большого разнообразия ситуаций принятия УР и свойств, степень выраженности которых требуется оценить, могут встречаться различные законы распределения. Выбор кон­кретного закона – задача, решаемая в каж­дом конкретном случае специалистами. Вместо необходимых для оценки параметров этих законов статистических данных можно использо­вать эври­стическую информацию. В этом и состоит особенность ЭИП в интервальных шкалах.

Информация о значениях показателей, заменяющая отсутствующую ста­тистику, может быть получена от членов ГЭ и обработана различными мето­дами. Наиболее простой и потому, наверное, часто применяемый, заключа­ется в том, что членов ГЭ просят оценить ожидаемое значение показателя в единицах его измерения. Пусть n членов ГЭ оценивают значение показателя x, определяющего последствия принятия УР. Поскольку значение этого пока­зателя является случайной величиной, полученные оценки x ₁, x _2,…, x_i,…, x_n можно рассматривать как отдельные независимые реализации этой случай­ной величины. Используя известные методы математической статистики, на основе полученной информации можно получить такие характеристики, как выборочное среднее, среднеквадратическое отклонение и др. Такой подход, при всей его простоте, имеет два недостатка: требует привлечения доста­точно большого числа экспертов и вызывает трудности сам процесс получе­ния оценок. Обычно специалисты с большой неохотой дают «точечные» оценки значений показателей, предпочитая оценивать некий «доверительный интервал», вероятность попадания в который искомого значения показателя, по их мнению, достаточно велика. При обработке таких интервальных оце­нок можно исходить из различных предположений о законе распределения прогнозируемой величины. Чаще всего предполагаются равномерное и нор­мальное распределения, что позволяет использовать достаточно простой и хорошо известный математический аппарат для получения оценок средней величины и погрешности. Вместе с тем, желательно иметь некоторую обоб­щенную типовую модель распределения, которую можно использовать в большом числе случаев.

При выборе формы типового распределения необходимо учитывать сле­дующие сообра­жения, вытекающие из особенностей УР:

- значения показателей ограничены сверху и снизу, и, если рассматри­вать их как слу­чайные величины, имеют ограниченную по абсциссе непре­рывную, одномодальную функцию распределения;

- значение показателя зависит от различных случайных факторов, каж­дый из которых в отдельности оказывает на него несущественное влияние. Вместе с тем, имеются факторы, число которых невелико, а влияние сущест­венно. Именно эти факторы приводят к различию значений одноименных показателей в разных случаях принятия УР, и их влияние приводит к асим­метрии распределения.

Таким образом, типовое распределение должно быть непрерывным, од­номодальным, асимметричным и ограниченным слева и справа по абсциссе. Среди практически применяе­мых распределений такого класса наибольшей гибкостью обладает b-распределение, которое и целесообразно принять в качестве типового. Математическое ожидание и дисперсия случайной вели­чины, управляемой b-распределением, определяются выражениями M [ x ]=(x _min+4 Mo [ x ]+ x _max)/6 и D [ x ]=(x _max- x _min)²/36, в которых x _max, x _min, Mo [ x ] – соответственно максимальное, минимальное и модальное (наиболее вероят­ное) значения прогнозируемого показателя. Таким образом, если члены ГЭ могут указать эти значения оцениваемого показателя, то можно определить его математическое ожидание и дисперсию. Если члены ГЭ затрудняются указать модальное значение, можно использовать для определения среднего значения выражение M [ x ]=0.2(3 x _min+2 x _max) в случаях, когда большее значение показателя соответствует большей выраженности измеряемого им свойства, и выражение M [ x ]=0.2(2 x _min+3 x _max) – в противоположном случае. Для оценки дисперсии в обоих случаях можно использовать выражение D [ x ]=0.04(x _max – x _min)².

Приведенные выражения используются как для обработки информации от каждого члена ГЭ, так и для построения агрегированной оценки показа­теля. В последнем случае возможны два подхода. В одном в качестве указан­ных в формулах граничных и модальных оценок используются соответст­вующие средние значения этих параметров, в другом находят средние значе­ния полученных оценок математического ожидания и дисперсии.

Рассмотренные методы могут быть использованы при реализации ЭИП во всех видах интервальной шкалы, т.е. для прогнозирования значений очень большого числа показателей, отражающих степень выраженности самых разных последствий принимаемых УР или определяющих состояния управ­ляемых процессов.