Метод экспертных оценок

Основная идея и сущность метода заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки полученных результатов. При этом обобщенное мнение экспертов, основанное на профессиональном, научном или практическом знании, принимается как решение проблемы.

Особенности этого метода:

- научно-обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом этапе;

- применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формально групповой обработке результатов.

Типовые задачи, решаемые с помощью метода экспертных оценок:

· составление перечня возможных событий в различных областях за данный период времени;

· определение наиболее вероятных интервалов времени совершения совокупности событий;

· определение целей и задач управления с упорядочением их по степени важности;

· определение альтернативных вариантов решения задачи с оценкой их предпочтительности;

· альтернативное распределение ресурсов для решения задачи с оценкой их предпочтительности;

· альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Организация процедуры экспертной оценки включает:

· формулирование целей экспертизы;

· разработка анкет опроса экспертов;

· формирование группы специалистов-аналитиков по исследуемой проблеме;

· формирование репрезентативной экспертной группы;

· подготовка и проведение экспертизы;

· статистическая обработка полученных результатов опроса экспертов;

· выработка рекомендаций.

При формировании экспертной группы основной проблемой является количественный и качественный состав группы. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы. После этого составляются списки специалистов, компетентных в данной области. Достоверность экспертной оценки зависит от многих факторов. К ним относят: а) общее количество привлекаемых специалистов; б) удельный вес специалистов разного профиля; в) характеристика специалистов (компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, конструктивизм мышления, коллективизм, самокритичность и т.д.). Оптимальный состав группы, позволяющий получить достоверную оценку, определить сложно. Существует подход в соответствии с которым устанавливается максимальная и минимальная численность группы.

При формировании размеров группы исходят из двух критериев: а) высокого уровня средней компетентности группы, б) стабилизации средней оценки прогнозируемой характеристики.

Группа формируется путем последовательного исключения малокомпетентных экспертов, основываясь на заданной величине допустимого отклонения значения компетентности эксперта от максимального. Компетентность экспертов может определяться путем самооценки экспертов по данной проблеме или на основе опроса специалистов, которые указывают наиболее квалифицированных профессионалов. Качественные характеристики экспертов выявляются на основе подробного статистического анализа экспертных заключений, с тем, чтобы устранить слишком большие расхождения мнений специалистов.

Для оценки степени согласованности мнений экспертов может использоваться дисперсия оценок, среднеквадратичное отклонение оценок, а на этой основе – коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов.

Процедура проведения экспертизы может быть различной. Обычно она включает три этапа. На первом этапе эксперты привлекаются для уточнения формализованной модели объекта прогноза, формулировки вопросов для опроса. Второй этап – осуществление экспертизы. Третий – предварительная обработка полученных результатов, привлечение экспертов для консультаций по недостающей информации и окончательное формирование прогноза и обработка результатов экспертных оценок.

В зависимости от организации экспертизы и формы опроса экспертов различают индивидуальные и коллективные методы экспертных оценок. Независимо от метода экспертизы существуют определенные правила проведения опросов экспертов:

· Независимость экспертов друг от друга при формулировании своих оценок по каждому событию;

· Удобство работы экспертов с анкетами;

· Предоставление каждому эксперту достаточного времени, чтобы обдумать ответ;

· Гарантия анонимности ответа при желании эксперта;

· Транзитивность экспертных оценок;

· Аддитивность экспертных оценок, т.е. возможность осуществлять операции над ними при обработке результатов;

· Предоставление возможности последующего коллективного обсуждения полученных результатов.

Существуют следующие индивидуальные методы экспертных оценок:

МЕТОД ИНТЕРВЬЮ - предполагает беседу прогнозиста с экспертом по заранее подготовленной совокупности вопросов. Преимущества данного метода в возможности максимального использования индивидуальных способностей эксперта. Но успех зависит от способности эксперта давать заключение по предлагаемым вопросам. Недостатком считается ограниченность эксперта в смежных областях знаний, в результате чего данный метод не применим при прогнозировании сложных социально-экономических проблем.

АНАЛИТИЧЕСКИЙ МЕТОД - предполагает логический анализ экспертом какой-либо ситуации. Эксперт самостоятельно работает над анализом тенденций, оценкой состояния проблемы и путей ее развития на основе имеющейся информации. Выводы оформляются в виде докладной записки. Данный метод в наибольшей степени использует индивидуальные способности эксперта, глубокое осмысление изучаемой проблемы, но имеет сложность в применении для прогноза сложных систем из-за ограниченности знаний одного эксперта.

МЕТОД НАПИСАНИЯ СЦЕНАРИЯ - основан на определении логики процесса или явления при различных условиях. Это метод, с помощью которого эксперт пытается установить логическую последовательность событий на основе имеющейся информации о прогнозируемом объекте, чтобы показать, как, исходя из существующей ситуации, может развертываться будущее состояние. В сценарии отражаются возможные варианты развития событий, необходимая последовательность решения задач, возможные препятствия и проблемы. При написании сценария может принимать участие группа специалистов. Сценарий в готовом виде может подвергаться анализу.

Коллективные методы экспертных оценок основываются на выявлении коллективного мнения экспертов о перспективах развития объекта прогнозирования. Эта группа методов основана на том, что при коллективном мышлении выше точность результатов и возможно появление новых подходов к решению проблемы (групповое обсуждение дает на 70% больше новых идей, чем сумма индивидуальных мышлений).

Выделяют следующие коллективные методы:

МЕТОД КОМИССИИ - обсуждение проблемы за «круглым столом». При использовании данного метода следует придерживаться следующих правил: а) формулировать проблему в основных терминах, выделив единственный центральный пункт; б) расчленять сложную проблему на четко выраженные узкие задачи; в) не объявлять ложной и не прекращать исследовать ни одну идею; г) предоставлять слово прежде всего тем, у кого идея возникла по ассоциации с предыдущим высказыванием; д) не оценивать заранее значение идей, подхватывать идею любого рода, даже если ее существование кажется в данное время сомнительной; е) оказывать поддержку и поощрение всем, чтобы освободить участников от скованности.

МЕТОД КОЛЛЕКТИВНОЙ ГЕНЕРАЦИИ ИДЕЙ (МОЗГОВОЙ АТАКИ) – предложен в 1939 г. Осборном в США и состоит в использовании специалистов при решении проблемной ситуации, реализующей вначале генерацию идеи, а затем деструктурирование (разрушение) этих идей с формированием контридей и выработки согласованной точки зрения. Метод предполагает ряд этапов: а) формирование группы экспертов в 10-15 человек; б) составление проблемной записки; в) генерация идей (рекомендуемая продолжительность от 20 минут до 1 часа), в течение которой запрещается критика любой предложенной идеи; г) систематизация идей; д) деструктурирование идей; е) оценка критических замечаний и составление списка практически реализуемых идей.

МЕТОД «635» - это одна из разновидностей метода мозговой атаки. Цифры 6,3,5 означают, что принимает участие 6 экспертов, каждый из которых должен выдвинуть 3 идеи в течение 5 минут. Лист, на котором каждый эксперт записывает идеи, движется по кругу. В результате этого каждый эксперт запишет 18 идей на шести листах в течение тридцати минут. В общей сложности получается 108 идей (18*6), которые затем обобщаются и рассматриваются с целью выбора практически реализуемых предложений.

Недостатками данных методов является возможность в ходе обсуждения дезинформации; давления на группу активного меньшинства, ведущего или авторитета; достижения согласия в группе; заинтересованности в определенном результате; предубеждения.

Чтобы устранить эти недостатки используется МЕТОД ДЕЛЬФИ, при котором делается попытка устранить вмешательство психологических факторов, способных снизить ценность обсуждения. Особенностями данного метода являются:

· Анонимность экспертов, так как существует полный отказ от личных контактов экспертов и коллективных обсуждений;

· Многотуровая процедура опроса экспертов;

· Обеспечение экспертов информацией, включая обмен информацией после каждого тура опроса при сохранении анонимности оценок, аргументации и критики;

· эксперты должны обосновать свои оценки и суждения, отличающиеся от мнения большинства;

· Обоснование ответов экспертов по запросу организаторов исследования.

Данный метод был разработан американской корпорацией «РЭНД корп.» в 1964 г. при исследовании перспектив НТП. На первом этапе 82 ученых попросили в письменной форме определить изобретения, которые представляются наиболее необходимыми в ближайшие 50 лет. В результате был составлен перечень из 49 наименований.

На втором этапе ученым предложили в письменной форме оценить вероятность реализации каждого из 49 важнейших изобретений в один из периодов времени, на которые были разбиты 50 лет. Эти оценки были скомбинированы и представлены в виде квартилей (чисел, которые по величине оценок отделяют внутреннюю половину числа участников от внешних четвертей) и медиан (такого числа, оценки которого одной половины группы были больше этого числа, а другой половины – меньше). По 10 изобретениям из 49 было достигнуто определенное согласие.

На третьем этапе в письмах, направленных ученым, известили о достигнутом значительном согласии по 10 изобретениям. «Инакомыслящих» попросили изложить свою точку зрения по данному вопросу. Одновременно ученым предложили повторно рассмотреть 17 изобретений из оставшихся 39, по которым не было достигнуто значительного согласия, и попросили обосновать причины широких расхождений в оценках времени реализации. На основании полученных ответов было достигнуто определенное согласие по части изобретений.

На четвертом этапе была повторена процедура третьего этапа. В результате в итоговый перечень было включено 31 изобретение, по которым удалось достигнуть известного согласия.

В настоящее время данный метод применяется по широкому спектру проблем: сбор текущей и прошлой информации, которой вообще нет или она крайне недостоверна; проверка существенности событий прошлого; оценка возможных вариантов распределения бюджетных средств; принятие решений в сфере городского и регионального планирования; формирование структуры моделей и т.д.