Общая характеристика метода. При исследовании сложных систем возникают задачи, которые не могут быть решены исключительно формальными математическими методами

Метод экспертных оценок

При исследовании сложных систем возникают задачи, которые не могут быть решены исключительно формальными математическими методами. В этом случае прибегают к услугам экспертов – лиц, обладающих достаточным опытом в рассматриваемой предметной области и обладающих развитой интуицией.

Основная идея экспертых методов состоит в том, чтобы использовать интеллект людей для решения слабоформализованных задач. Этот процесс состоит из двух этапов: организация работы экспертов и обработка мнений экспертов.

Цели экспертных опосов могут быть двух видов – получить набор мнений и аргументов по какому-либо вопросу или предоставить готовый проект решения.

В первом случае экспертная група должна собрать как можно больше относящейся к делу информации, аргументов «за» и «против», определеных вариантов решений без выработки согласованного проекта решения. Кроме того выявляются наиболее оригинальные, неожиданные оценки и мнения.

Во втором случае группа экспертов должна предложить ЛПР согласованный проект решения. В этом случае нужна обработка мнений экспертов.

Организация работы экспертов включает в себя следующие основные этапы:

- формулировка ЛПР цели экспертного опроса;

- создание рабочей группы для направления и обеспечения работы экспертов;

- разработка технологии (сценария) экспертного опроса, выбор способа обработки мнений экспертов;

- подбор экспертов в соответствии целями опроса;

- сбор экспертной информации;

- обработка экспертной информации;

- интерпретация полученных результатов и подготовка заключения для ЛПР.

При разработке технологии и методов экспертного опроса необходимо учитывать следующие моменты:

- эксперты должны быть освобождены от ответственности за использование полученных результатов поскольку это накладывает психологические ограничения на характер выбора;

- необходимо учитывать факторы межличностных взаимоотношений и фактор личной заинтересованности.

Методы обработки экспертных оценок мы достаточно подробно будем рассматривать на практических занятиях.

Оценка качества КСИБ методом экспертных структурных

вопросников»

В отличие от традиционных методов экспертных оценок метод структурных вопросников предполагает полный отказ от коллективных обсуждений. В данном методе прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Это делается для того, чтобы избежать таких психологических факторов, как следование мнению большинства, присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от своего публично высказанного мнения. Ответы на вопросы анкеты обобщаются и вместе с новой дополнительной информацией снова поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз, до достижения приемлемой сходимости высказанных мнений. Обычно для этого бывает достаточно пяти итераций.

Данный метод впервые был предложен американским ученым О. Хелмером в середине 40-х годов прошлого века как итеративная процедура мозговой атаки, позволяющая снизить влияние психологических факторов и повысить объективность результатов. Тогда же этот метод получил название Дельфи в честь жрецов Дельфийского храма, предсказывающих будущее.

Процедура Дельфи-метода заключается в следующем:

- организуется последовательность циклов «мозговой атаки»;

- разрабатывается программа последовательных индивидуальных опросов с помощью вопросников (анкет), исключающая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга в перерывах между турами и уточнение содержания вопросников от тура к туру;

- в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценивания.

Первое же практическое применение метода Дельфи к решению некоторых задач министерства обороны США показало его высокую эффективность и целесообразность распространения для решения широкого круга задач, связанных с оценкой будущих событий.

Недостатки метода Дельфи:

- значительный расход времени на проведение экспертизы, связанный с неоднократным последовательным повторением оценок;

- необходимость неоднократного пересмотра экспертами своих ответов, вызывающая негативную реакцию, что сказывается на результатах экспертизы.

В 60-е годы ХХ века область практического применения метода Дельфи значительно расширилась, однако присущие ему недостатки привели к возникновению других методов, использующих экспертные оценки. Среди них особое внимание заслуживают методы QUEST и SEER.

Метод QUEST (Qualitative Utility Estimates for Science and Technology – количественные оценки полезности науки и техники) был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада различных отраслей и научных направлений (определяемого методом экспертных оценок) в решение какого-либо круга задач.

Метод SEER (System for Event Evaluation and Review – система оценок и обзора событий) предусматривает всего два тура оценки. В каждом туре привлекается различный состав экспертов. Эксперты первого тура – специалисты промышленности, эксперты второго тура – наиболее квалифицированные специалисты органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов, за исключением тех случаев, когда его ответ выпадает из некоторого интервала, в котором находится большинство оценок (например, интервала, в котором находятся 90% всех оценок).

Задание на самостоятельную работу: Разработать структурный вопросник (анкету) для оценки угроз информационной безопасности выбранного Вами предприятия (учреждения).