Метод экспертной оценки

(особое мнение)

Для меня слово мудреца ценнее золота.

Демокрит

Анкетирование, интервьюирование, почтовый и телефонный опрос предназначены прежде всего для массовых опросов. Цель массового опроса заключается в том, чтобы при помощи соответствующего инструментария получить достоверные сведения о предмете и объекте исследования. Источником информации, дающей оценку тем или иным сторонам объекта исследования, выступают представители этого же объекта.

Однако в архитектурной практике могут возникнуть ситуации, когда для оценки какого-либо явления либо вообще невозможно выделить объект-носитель проблемы, тем более использовать его в качестве источника информации. Например, при попытке прогнозировать изменение того или иного социального или архитектурного объекта или явления (процесса); при необходимости представить состояние какого-то объекта (например, парка) через несколько лет; при необходимости дать оценку складывающимся в проектной практике тенденциям, которые по самооценке проектировщиков могут быть искаженными либо неоптимальными.

Подобная информация может исходить только от компетентных лиц – экспертов, имеющих глубокие знания о предмете или объекте исследования.

Как сформировать группу экспертов? На первом этапе в качестве критериев целесообразно использовать 2 признака:

– род занятий,

– стаж работы по интересующему нас профилю.

При необходимости учитываются уровень образования, возраст, личные интересы. Вначале круг экспертов может быть широким, однако в дальнейшем его надо «сузить». Главный среди всех критериев отбора – компетентность. Для ее определения применимы два метода:

– самооценка экспертов;

– коллективная оценка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». При этом первой позиции приписывается балл «1», второй – «0,5», третьей – «0». В таком случае совокупный индекс – коэффициент уровня компетентности эксперта вычисляется по формуле:

,

где К₁ – числовое значение самооценки экспертом уровня своих теоретических знаний,

К₂ – числовое значение самооценки практического опыта,

К₃ – числовое значение самооценки способности к прогнозу.

Обычно К колеблется от 1 (полная компетентность) до 0 (полная некомпетентность).

В группу экспертов принято включать тех, у кого индекс компетентности не ниже среднего (от 0,5 до 1,0). Получение первичных числовых значений самооценки (К₁, К₂, К₃) для расчета индекса компетентности экспертов производится с помощью табл. 5.

Таблица 5

Самооценка экспертов

Критерии «приобщенности»	Высокий	Средний 0,5	Низкий
Уровень теоретического знания проблемы (К1)	+
Практический опыт (К2)		+
Способность предвидеть логику событий (К3)		+

Отсюда ,

т.е. уровень компетентности эксперта по исследуемому вопросу в данном случае выше среднего.

При отборе экспертов методом самооценки возникает проблема ее завышения. Однако, как показывает отечественный и зарубежный опыт, группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других.

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они знают друг друга как специалисты. Такая ситуация чаще всего характерна для ученых и педагогов. Оценка ведется в табличной форме (табл. 6).

Таблица 6

Взаимные оценки экспертов

Кого назвали	Кто назвал	Сколько раз назвали
		–	–				–		–
					–
	–			–		–	–	–	–	–
			–		–	–			–
Продолжение таблицы 6
								–		–
	–	–		–						–
								–
	–	–	–		–	–	–		–
	–			–				–
		–	–	–	–	–	–
Итого

Примечания: 1. Таблица строится на основании ответов экспертов.

2. «1» – означает выбор,

«–» – отсутствие выбора,

«0» - означает, что никто сам себя не назвал.

3. Последняя графа – это сумма голосов, которые получил соответствующий эксперт.

Этими числами (последняя графа) потом заменяются «единицы» в таблице (по столбцам), в результате чего получится ранжированный ряд оценок уровня компетентности всех десяти экспертов (табл. 7).

Таблица 7

Уточненные взаимные оценки экспертов

Кого назвали

Кто назвал

Сум-марная оценка

Ранговая оценка компетентности

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

Таким образом, если мы хотим сформировать группу из пяти наиболее компетентных экспертов, то, судя по оценкам в последнем столбце и соотнеся их с номерами экспертов в первом столбце, мы зачислим в эту группу экспертов под номерами 7, 5, 2, 9 и 4.

Опросы компетентных лиц именуются экспертными, а результаты опросов – экспертными оценками.

Метод экспертной оценки чаще всего используется в 3-х ситуациях:

– прогноз тенденций развития различных тенденций и процессов действительности;

– оценка степени достоверности данных массовых опросов;

– аттестация коллектива или его членов по различным параметрам (готовность к эксперименту, творческая активность и пр.).

Основной инструментарий экспертных опросов – анкета или бланк-интервью, разработанный по специальной программе. В соответствии с этим процедура опроса может заключаться либо в неанонимном анкетировании, либо в интервьюировании экспертов.

В отличие от массового опроса (чаще всего анонимного), программа опроса экспертов не столь детализуется и носит преимущественно концептуальный характер.

Одна из наиболее простых форм экспертного прогноза – обмен мнениями.

При оценке степени достоверности данных массовых опросов в случае большого рассеивания ответов респондентов можно использовать экспертную оценку по форме (табл. 8).

Таблица 8

Оценка достоверности собранной информации

Суть методики	Методика эффективна	Методика малоэффективна	Методика неэффективна
Методика позволяет выявить креативность проекта
Методика частично позволяет выявить креативность
Методика не позволяет выявить креативность проекта

Для экспертной оценки иногда используются и неспециалисты. Например, магистрант Т.А. Шамардина изучала проблему ландшафтного дизайна заповедной части Таганрога в сентябре-октябре 2010 года. В качестве экспертов (хотя и не узких специалистов по дизайну) были привлечены различные социальные группы, ведь речь шла о родном городе (а Таганрог ведь не случайно называют городом влюбленных… Влюбленных в свой город): работники предприятия «Зеленый город», работники металлургического и электроремонтного заводов, педагоги СШ № 24, подростки-ученики в возрасте 14-17 лет, пенсионеры.

Выявлено, что 67,4% горожан устраивает ассортимент деревьев и кустарников на улицах и скверах, 23,3% – не устраивает по разным причинам. Лишь 9,3% таганрожцев не имеют своего мнения о зеленом наряде города.

В предложениях по улучшению ландшафтного дизайна города 21,3% горожан предлагают каждому кварталу или улице дать свой тип озеленения; 87,3% – при озеленении улиц учитывать степень загазованности выхлопными газами автомобилей; 64,7% – необходимо учитывать наличие в кварталах памятников истории и архитектуры; 8% – на месте сносимых малоценных зданий в исторической части города не возводить силикатные «шедевры», а устраивать курдоньеры, т.е. зеленые уголки для отдыха разных возрастных групп;

В предпочтениях, отдаваемых тем или иным древесным породам, тоже выявилась большая пестрота:

40% горожан хотели бы видеть на улицах акацию белую,

24% – тополь пирамидальный или туркестанский,

9% – каштан конский.

Клен остролистный по популярности превзошел все породы: он нравится 89% таганрожцев.

Магистрант О.Н. Теперик, пользуясь той же методикой, установила не менее важный в социальном плане факт: 40% жителей Таганрога желают участвовать в мероприятиях по озеленению города на общественных началах.

Отсюда можно формировать стратегию по совершенствованию ландшафтного дизайна среднестатистического города России.