Оценка полезности свойств и показателей

Для принятия УР используются различные механизмы выбора. Как отмечено в разделе 3, при учете в процессе принятия УР двух и более свойств, харак­теризующих последствия принятия решения, используемые механизмы вы­бора требуют информации об отношениях на множестве этих свойств. В простейшем случае, для использования механизма лексикографического выбора, требуется простое упорядочение свойств или показателей, приме­няемых для измерения их выраженности. Для использования более сложных механизмов выбора требуется оценка этих отношений в терминах балльной порядковой или интервальной шкал. Практически единственным реально работающим инструментарием, позволяющим получить искомые оценки в процессе принятия УР, являются ЭИП.

Для упорядочения разнообразных свойств или показателей, характеризующих качество УР, необходимо ввести некоторое общее понятие, которое являлось бы для них мерой ценности. Таким и является понятие полезности, нашедшее широкое применение в теории принятия решений для оценки результатов действий, не поддающихся непосредственному измерению.

Будем трактовать полезность L_i i -го свойства (или показателя) качества УР как некоторую меру, с помощью которой оценивается влияние этого свойства (показателя) на результат принятия анализируемого УР. Таким образом, полезность представляет собой некоторое виртуальное свойство, что и обуславливает привлечение для его оценки разнообразных ЭИП.

Для упорядочения свойств вариантов УР по их полезности могут быть использованы рассмотренные в предыдущем разделе ЭИП в порядковых шкалах. ЭИП в балльных порядковых шкалах, также рассмотренные в этом разделе, позволяют получить оценку полезности свойств в терминах этой шкалы. Для получения оценок полезности в интервальной шкале результаты упорядочения являются исходной информацией, получаемой от членов ГЭ. Очень часто оценки полезности называют весовыми коэффициентами, так как они характеризуют некий «вес» соответствующего свойства. Для определения значений этих коэффициентов в интервальной шкале могут быть использованы различные методы.

 Если упорядочение n свойств произведено методом непосредственного упорядочения и каждое i -е ранжируемое свойство получило в результате этой процедуры некоторое место (ранг) R_i в итоговом упорядочении, то значение весового коэффициента определяется как m _i =(n-R_i+ 1)/å R_i. Конечно, применяя это выражение, нужно помнить о проблеме суммирования рангов.

При использовании для упорядочения свойств метода парных сравнений весовой коэффициент можно определить по выражению

m _i = ,

в котором x_ij – число в ячейке ij суммарной таблицы парных сравнений.

Рассмотри теперь методы определения полезности изменения значений показателей относительно некоторых исходных значений. В качестве последних часто выступают значения аналогичных показателей конкурирующих товаров или услуг, представленных на рынке, а также значения показателей, заданные в техническом задании при выполнении НИОКР. Создатели новых товаров, особенно сложных образцов техники и высокотехнологичных услуг, не могут обеспечить получение заданных значений всего множества показателей. Поэтому часть из них в результате будет иметь заданные значения, а часть лучше заданных. Улучшение значений показателей относительно заданных вызывает определенные затраты ресурсов, и, естественно, возникает необходимость оценить полезность этих улучшений и затрат.  

Будем трактовать полезность L (p _ij) i -го значения j -го варианта возможного решения как некоторую меру, с помощью которой оценивается влияние на качество УР изменения значения показателя p _i от некоторого исходного уровня p _{i 0} до значения p _ij. Такая трактовка полезности определяется заинтересованностью ЛПР в том, чтобы последствия принимаемого УР были не хуже некоторого желаемого уровня, характеризующегося совокупностью исходных значений показателей. Этот желаемый уровень можно трактовать различным образом. Часто исходят, например, из того, чтобы каждый показатель имел наилучшее значение. Очевидно, представлять желаемое состояние как совокупность наилучших значений всех определяющих его показателей достаточно утопично, а нахождение таких значений является чрезвычайно сложной задачей прогнозирования. Правильно и ответственно определенное желаемое состояние должно учитывать полезность для ЛПР улучшения каждого из показателей в зависимости от значений остальных. Поэтому задание желаемого состояния как совокупности исходных значений показателей представляет собой одну из основных областей использования ЭИП.

Выделим на исходном множестве вариантов множество лучших значений показателей p _{i prev}. Во многих ситуациях принятия УР для оценки полезности конкретного значения показателя качества УР можно использовать выражение L (p _ij)=(p _ij - p _{i 0})/(p _{i prev} - p _{i 0}). При грамотном задании значений p _{i 0} и p _{i prev} разность между ними, а также между p _ij и p _{i 0} должна быть невелика. Поэтому и эффект нелинейности, принципиально существующий во взаимозависимости значений показателей и полезности этих значений, достаточно мал, что и позволяет пользоваться рекомендуемой линейной зависимостью. Заметим, что данное выражение может быть использовано как для показателей с положительным ингредиентом (чем больше значение, тем лучше), так и для показателей с отрицательным ингредиентом (чем меньше значение, тем лучше).

5.5. Точность и достоверность ЭИП

Использование разнообразных эвристических процедур, информации и оценок, получаемых от специалистов, является причиной особого интереса со стороны ЛПР к вопросу точности и достоверности принимаемых на этой основе УР. Специфика как самой эвристической информации, так и рассматриваемой нами области ее использования – принятие решений – требуют уточнения понятий точности и достоверности ЭИП.

В теории измерений под точностью результатов измерений (оценок) понимают относительную или абсолютную величину разности между истинным значением измеряемого показателя и получаемой оценкой этого значения. Оценкой достоверности служит вероятность того, что получаемая оценка попадает в некоторый заданный интервал, включающий в себя истинное значение показателя, или значение интервала, в который с заданной вероятностью попадает полученная оценка значения показателя. Очевидно, при анализе вариантов УР истинные значения показателей, характеризующих последствия принимаемого решения, принципиально не могут быть известны. В связи с этим проблема оценки точности и достоверности ЭИП переводится в другую плоскость, а именно: попытаться минимизировать влияние на результаты ЭИП факторов, уменьшающих их точность и достоверность.

Точность и достоверность ЭИП определяются в основном двумя факторами: типом используемой эвристической информации и методами ее обработки. Эвристическая информация (ЭИ) представляет собой оценки в терминах той или иной шкалы степени выраженности свойств, определяющих состояние управляемого объекта в результате выполнения принимаемого УР. Эти оценки отражают мнение специалистов, основанное на их знаниях, опыте и интуиции, которые различны для каждого участника процедуры. Получение ЭИ мы рассматриваем как специфический вид измерений, в некоторой степени аналогичный хорошо исследованному процессу измерений с помощью нескольких неравноточных приборов.

В отличие от измерительного прибора точность специалиста-эксперта не является стабильной. Это объясняется изменением критериев оценки со временем, разнообразием объектов и задач оценки, а также рядом психологических свойств экспертов. Так, эксперт может завышать оценки показателей работы, продукции, услуг, выполняемых авторитетными для него организациями или специалистами, и соответственно занижать аналогичные оценки применительно к исполнителям с более низкой репутацией или малой известностью (эффект бренда). При недостаточной уверенности в себе эксперты избегают давать крайние оценки, а также одинаково оценивают показатели, являющиеся, по их мнению, логически связанными. Причиной ошибок может служить нечеткая формулировка вопроса к эксперту, неоднозначность терминов, различие в толковании оценок и т.п. Будем называть погрешность, вызванную совокупностью подобных факторов, психологической ошибкой y ЭИ. Отметим, что рассматриваемые в теории измерений так называемые промахи представляют собой ошибки, возникающие в результате низкой квалификации или небрежности лица, проводящего измерения. Такие ошибки распознают по большому отклонению от других результатов измерений и исключают из рассмотрения. Природа психологических ошибок другая, и распознаются они с большим трудом.

Участвующие в ЭИП специалисты являются представителями разных организаций, направлений, научных школ др. На оценки, получаемые от представителей одного направления, могут оказать влияние некоторые общие, характерные для этого направления факторы (в частности, традиции), которые вызывают коррелированную ошибку c. Будем называть эту ошибку систематической, так как она в известной мере аналогична систематической ошибке при приборных измерениях.

Наконец, при использовании ЭИП, как и при приборных измерениях, возможна случайная ошибка e, вызванная ограниченным числом используемых оценок.

Среднюю ошибку оценки при использовании ЭИП можно определить как случайную величину d = M [e] + M [c] + M [y], где M [e], M [c] и M [y] – математические ожидания соответствующих ошибок. Для случайной ошибки e принципиально можно построить функцию распределения и получить любые численные оценки. В частности, задавшись величиной доверительного интервала, можно получить вероятность того, что неизвестное достоверное значение показателя находится внутри этого интервала, или по заданной величине доверительной вероятности найти величину интервала, в котором с этой вероятностью находится истинное значение показателя. Методы решения этих задач хорошо разработаны в математической статистике и теории ошибок. Что же касается систематических и психологических ошибок, то их определение в процессе анализа вариантов УР весьма затруднительно.

Одним из основных показателей достоверности получаемых в результате ЭИП оценок обычно считается их согласованность. При правильном подборе источников информации и квалифицированном проведении операций по ее получению из этих источников высокая согласованность оценок является свидетельством того, что систематическая и психологическая ошибки невелики.

При формировании множества источников эвристической информации (ИЭИ) выделим два основных вопроса: сколько их должно быть и какими конкретно они должны быть.

Исходя из того, что сказано выше о природе ошибок ИИ, источников ИИ должно быть много и они должны быть весьма разнообразны. Однако следует учитывать, что высококвалифицированных специалистов, согласных принять участие в конкретной ЭИП, т.е. в конкретные и не всегда удобные для них сроки, очень мало. Увеличение числа источников ИИ может привести к участию в ЭИП недостаточно компетентных специалистов, а слишком малое число – к увеличению вероятности ошибки. Таким образом, существуют некоторые минимальное и максимальное числа используемых ИИ. Рассмотрим один из методов определения числа ИИ. Будем считать, что достоверность ЭИП определяется как вероятность P получения правильной оценки показателя. Для определения значения этой вероятности можно использовать выражение P = 1 – (1 – p _ии) ^m, в котором p _ии – средняя вероятность правильной оценки одним ИИ, m – число ИИ. При заданной величине P минимальное число ИИ определяется как округленное до ближайшего большего целого числа значение m_min = lg (1 – P)/ lg (1 – p _ии). Конечно, если в ходе ЭИП рассматриваются вопросы, для решения которых необходимо привлечение специалистов различного профиля, то таким образом следует определять число специалистов каждого профиля. Отметим, кстати, что уже при p _ии=0.6 и при m =3, т.е. всего при трех участниках процедуры, получаем P =0.936. Конечно, считать полученные таким образом данные точными и достоверными можно при условии выполнения целого ряда требований относительно компетенции источников информации и согласованности даваемых ими оценок.