Экспертная группа

Технические работники

Эксперт

Представители организаций

Эксперт

Консультант- эксперт

Эксперт

Рис. 1.7.1. Типовой состав экспертной комиссии

Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие техни­ческие работы по подготовке материалов к работе экспертов, отра­ботку результатов работы экспертов и т.п.

В экспертную ipvnuv входят эксперты - специалисты по решае­мым проблемам. Формирование этой группы осуществляет руково­дитель (организатор) рабочей группы. При этом ему следует выпол­нить р я д последовательных м е р о п р и я г и й:

• постановку проблемы и определение области деятельности группы;

• составление предварительного списка экспертов - специали­стов в рассматриваемой области деятельности;

. анализ качественного состава предварительного списка экспер­тов и уточнение списка:

• получение согласия эксперта на участие в работе;

• составлениеокончательного списка экспертной группы.

Число экспертов в экспертной группе зависит от множества фак­торов и условий: в частности от важности решаемой проблемы, рас­полагаемых возможностей и т.п. В большинстве случаев определяет­ся минимально необходимое количество экспертов, что часто стано­вится важнейшим условием установления числа приглашаемых экс­пертов.

Минимальное число экспертов может определяться по следую­щей формуле:

,V_ml„ = 0,5 • О/а 1-5), (1.7.2)

где я _ возможная ошибка результатов экспертизы (0 < а <!).

Подбор конкретных экспертов проводится на основе анализа ка­чества каждого из предлагаемых экспертов. Для этой цели использу­ются разнообразные с п о с о б ы:

• оценка кандидатов в эксперты на основестатметического анали­
за результатов прошлой деятельности в качестве экспертов по
проблемам управления качеством;

. коллективная оценка кандидата в эксперты как специалиста в данной области;

• самооценка кандидата в эксперты;

• аналитическое определение компетентности кандидатов в экс­перты.

Однако всем этим методам присущи определенные н е д о с ­та т к и, среди которых следует отметить:

. отсутствие единой общепризнанной методики опенки;

• высокая трудоемкость оценки;

. возникновение проблем этического характера при использова­нии субъективных методов оценки.

Очень часто применяют одновременно несколько способов. Например, способы самооценки и коллективной опенки качеств предлагаемого эксперта. Такой подход позволяет достаточно обос­нованно подобрать экспертов с необходимыми качествами. Однако

следует признать, что способ оценок прошлой деятельности пред­ставляется более объективным, чем способы самооценок и коллек­тивной оценки.

В общем случае формирование экспертной группы может осуществ­ляться следующим образом:

• выявляется и формулируется проблема;

• определяется цель и область деятельности группы;

• составляется предварительный список экспертов;

• проводится анализ и отбор экспертов (на основе использования одного или нескольких способов отбора их);

• уточняется список экспертов;

• получается согласие эксперта на участие в работе экспертной группы;

• определяется окончательный репрезентативный список экспертов.

Всех потенциальных экспертов можно классифицировать, в за­висимости от их уровня качества и компетенции, на семь классов (табл. 1.7.1).

Таблица /. 7. / Пример градации уровня качества и компетентности экспертов

Класс эксперта	Качество и компетентность эксперта
1-й	Очень высокое
2-й	Высокое
3-й	Выше среднего
4-й	Среднее
5-й	Нижесреднего
6-й	Низкое
7-й	Очень низкое

Выбор числа классов качества экспертов в данном случае обу­словлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

Такая градация позволяет отобрать требуемых экспертов для ра­боты в экспертной группе. Для получения достаточно объективных результатов исследования системы управления отбор желательно осуществлять из числа экспертов, относящихся к 1-4-му классам качества. Кандидатов в эксперты более низких классов качества при­влекать к экспертизам нецелесообразно.

Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях следующим тре­бованиям:

• профессиональная компетентность и наличие практического и исследовательского опыта в области управления;

• креативность (умение решать творческие задачи);

• научная интуиция;

• заинтересованность в объективных результатах экспертной ра­боты;

• независимость суждений:

• деловитость (собранность, умение переключаться с одного вида деятельности на другой, коммуникативность, независимость су­ждений, мотивированность действий);

• объективность;

• нонконформизм;

• высокая общая эрудиция.

В настоящее время с развитием сертификационных работ, свя­занных с СМ К и продукцией, в рамках различных систем обяза­тельной и добровольной сертификации разработаны и использу­ются специальные комплексы процедур аттестации экспертов.

Проведение сбора мнений экспертов предполагает решение сле­дующих вопросов:

• определение места и времени сбора мнений;

• определение формы и методики сбора мнений;

• определениеколичества туров сбора мнений;

• определение состава и содержательной части документации;

• определение порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экс­пертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные, т.е. указанные формы различаются прежде всего по фактору участия экс­пертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

• анкетирование;

• интервьюирование;

• дискуссия;

• мозговой штурм;

• совещание;

• деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях эти разновидности используются совместно, что дает нередко больший эффект и объективность. Такой подход к сбору мнений экспертов, т.е. подход, использующий смешанную форму, применяется в случаях некоторой неясности проблемы, при разно­гласиях индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

Вместе с тем, наиболее часто в практике управления качеством используется анкетирование, которое позволяет е меньшими трудоза­тратами экспертов собрать их мнение, но сбор мнений при использо­вании этого вида занимает более продолжительный период времени.

Обычно процесс разработки анкеты включает:

• определение формы и содержания обращения к эксперту;

• выбор типа вопросов;

• формулирование вопросов;

• изложение необходимой для эксперта информации;

• разработку формы анкеты.

Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали так назы­ваемые веерный, закрытый и открытый типы {веерный - предполага­ет один ответ из представленного заранее в анкете ряда ответов; за­крытый - «да», «нет», «не знаю»; открытый - ответ на вопрос может быть дан в произвольной форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сфор­мулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.

Для ответов на вопросы, т.е. для принятия решения каждым экс­пертом, проводятся объективные и/или субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъектив­ном измерении эксперты, как правило, применяют один из указанных ранее наиболее употребляемых при этом методов (рангов, непосред­ственного оценивания, сопоставлений).

В общем случае экспертные работы должны осуществляться в со­ответствии с определенными правилами, которые следует использовать в зависимости от целей проведения этих работ. Среди таких правил необходимо отметить следующие:

• применение системного подхода при проведении экспертных работ;

• обеспечение преемственности использования обратной связи с экспертами; в проведении экспертных работ;

• использование обратной связи с экспертами;

• регулярное привлечение к работе экспертов;

• обеспечение рационального баланса гласности и конфиденци­альности экспертных работ и результатов экспертизы;

• создание условий для персонификации суждений экспертов;

• обеспечение условий для соблюдения экспертами полной неза­висимости при выражении своих суждений;

• создание условий для демократического проведения экспертных работ и ответственности субъектов экспертизы;

• однократность проведения экспертизы.

1.7.2. Метод рангов и непосредственного оценивания

• Метод рангов предусматривает ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от

их относительной значимости (предпочтительности), осуществляе­мое экспертом. При этом обычно наиболее предпочтительному объ­екту присваивают ранг 1, а наименее предпочтительному - послед­ний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при мень­шем количестве объектов исследования, и наоборот.

При предпочтительной (по рангам) расстановке объектов экспер­тизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов Н, начиная с единицы,

Результирующие ранги объектов ранжирования по данным опро­сов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний - тому, у которого оказа­лась наибольшая сумма рангов, т.е. наименее значимому объекту. (Пример определения результирующего ранга грех объектов семью экспертами приведен в табл. 1.7.2.)

Таблица!.7.2 Определение результирующего ранга объектов ранжирования

Объект ранжиро­вания	Эксперт	Сумма рангов объектов	Результирующий ранг объекта
1 -й	2-й	3-й	4-й	5-й	6-й	7-й
1-й						I			?
2-й							I		!
3-й	3	з

Таким образом, этот метод позволяет определить место исследуе­мого объекта среди других объектов системы управления. Д о с т о ­и н с т в о м метода рангов является его простота.

Недостатками являются:

• невозможность с достаточной точностью ранжировать объекты, количество которых превышает 15-20;

• не отвечает на вопрос, как далеко по значимости находятся ис­следуемые объекты друг от друга.

Очень часто требуется после нахождения рангов определить ко­эффициенты весомости каждого из объектов ранжирования b_i[r._m, ко­торые при использовании данного экспертного метода можно рас­считать, в частности, по следующей формуле:

*„«,„, = (n -r„+ \) /S„, (1.7.3)

при условии, что сумма всех коэффициентов весомости £,,,„„ от 1 до я равна единице, где п - число исследуемых объектов; /•„ - ранг иссле­дуемого объекта по результатам экспертизы; S„ - сумма всех чисел от 1 до л; S„ = [(а, +a„)a„]/2.

Например, для девяти объектов исследования:

Ь,_Р,,„ = (9-1 + 0/45 =9/45,

К.™, =8/45,

*•,,„„„- =7/45,

*4_1И„1 =6/45,

<S,_W„, = I/⁴⁵-

Таким образом, сумма всех коэффициентов весомости Ь,............. от 1

до 9 равна единице: 9/45 + 8/45 + 6/45 +... + 1/45 = 1.

Расчетная формула для определения коэффициентов Л „,. осно­ванная на положениях теории информации, имеет следующий вид:

(1.7.4)

При учете предпочтений по каждому объекту исследования всеми экспертами коэффициенты весомости объектов ранжирования могут рассчитываться подругой формуле:

(1.7.5)

где Э - число экспертов.

При использовании экспертных методов очевидно, что чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышаю! стоимость проведения оценок качества. Можно существенно умень­шить трудоемкость работ экспертов, используя самый малотрудоем­кий метод - метод рангов, который предусматривает только ранжи­рование показателей, а не их численное определение экспертами.

Тем не менее данный метод применяется в практике исследова­ния систем управления, несмотря на свою простоту и малую трудо­емкость, сравнительно нечасто, что связано, как правило, с большим числом ранжируемых объектов исследования.

• Метод непосредственного оценивания (балльный метод) пред­ставляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зави-

си мости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оцен­ка) наибольшее количество баллов по принятой шкале. Наиболее распространенные диапазоны шкалы оценок: от 0 до 1,0; от 0 до 5,0; от 0 до 10,0; от 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. На­пример. «очень важный», «важный», «маловажный» и т.п., что тоже в ряде случаен для большего удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Непосредственное оценивание следует применять при уверенности полной профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и ве­сомость (значимость) каждого исследуемого объекта (пример оценива­ния трех объектов по 10-балльной шкале приведен в табл. 1.7.3).

Таблица I. 7.3 Определение результатов непосредетвенного оценивания объектов

Объ­ект оцени­вания	Эксперт (А = 7)	Сумма баллов объекта	Результирующий ранг объекта	Весо­мость объекта
1-й	2-й 3-й	4-й	5-й	6-й	7-й
2-й 3-Й	7 9 4	6 10 1	5 8 2	6 7 4	4 5 3	7 8 5	8 10	43 57 21	2 1 3	0,36 0,47 0,17

По результатам оценок экспертов место любого объекта можно определить по формуле:

X Л

/■ - 1

где В, - значимость /-го объекта (/ = 1, 2,..., я), рассчитанная на ос­новании оценок экспертов (/ = 1, 2,..., к);А_п- оценка (в баллах), данная /-му объектуу-м экспертом.

Аналогично можно оценить экспертным методом (например, балльным методом исходя из 5-балльной градации) какие-либо аль­тернативные проекты (табл. 1.7.4).

Таблица 1.7.4