2015-04-01
735
Рассмотрим основные подходы к формированию экспертной группы.
Экспертные группы могут быть:
-Элитарными. Такая группа формируется из специалистов высшей квалификации, профессиональной элиты в данной области; отличается высоким уровнем профессиональных знаний, способна в короткий срок приходить к определенному мнению по предмету экспертизы. Результаты такой экспертной оценки видимо будут являться наиболее валидными, но сложность практического формирования подобной группы часто заставляет исследователя отказаться от того, чтобы это делать;
-Институциональными. Условием формирования такой группы является заинтересованность в получении данных от специалистов одной и той же организации, научной школы. Группа экспертов может включать в себя или всех сотрудников данной организации или репрезентативную выборку таких работников. Институциональная экспертная группа позволяет получить экспертную оценку специалистов, уже имеющих опыт работы с подобными объектами;
|
|
|
- Псевдоинституциональными. К их числу относят группы, образованные из лиц, откликнувшихся на призыв об участии в экспертизе, специалистов, менее других загруженных работой, добрых знакомых организаторов экспертизы. По мнению Д. Кэмпбелла (1980), такие добровольцы не могут служить источником валидных экспертных данных.
Необходимо отметить, что группа экспертов может состоять из лиц более или менее одного профессионального профиля – и тогда мы имеем дело с профессионально однородной группой. И может включать в себя специалистов, работающих в разных областях, - такую группу экспертов называют составной. При формировании составной группы во внимание принимается лишь перечень аспектов рассматриваемой проблемы. В эту же группу могут быть привлечены специалисты одной и той же профессии, но нескольких противостоящих друг другу школ. Составная группа обычно формируется при работе с элитарными экспертами.
Вместе с тем необходимо отметить, что при отборе экспертов (если нет специальной задачи) предпочтение отдается специалистам, работающим по проблематике, близкой к данному исследованию (Богомолова Н.Н., Стефаненко Н.Г., 1992; Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995).
Каким должен быть количественный состав экспертной группы? Однозначного ответа не существует. Чаще всего количество экспертов варьируется от 3-5 до 7 человек.
На этапе отбора экспертов важно оценить компетентность каждого. Под компетентностью эксперта понимается его способность эффективно участвовать в экспертной процедуре и служить источником доброкачественной информации об объекте экспертизы (Шошин В.П., 1987). Как правило, компетентность складывается из следующих трех компонентов: профессиональная компетентность (уровень осведомленности в данной профессиональной области, умение формировать удовлетворительное по четкости имплицитное представление об объекте экспертизы); к омпетентность в эспликации оценок (умение адекватным образом переводить имплицитные оценки в доступную для окружающих специалистов коммуникативную форму, умение следовать навязанным извне жестким правилам экспликации оценок); с оциально-психологическая компетентность (умение аргументировать свои оценки в устной дискуссии, умение выслушивать и адекватно оценивать суждения коллег – экспертов и т.д.) (Шошин В.П., 1987, с. 49-51). Отдельно отмечается требование к добросовестности эксперта. За этим обычно стоит искренний отказ от каких – либо «нечестных» оценок со стороны эксперта.
|
|
|
Организуя процедуру экспертной оценки, необходимо помнить, что основная задача на этом этапе – обеспечить максимально высокую валидность (степень приближения к истине – реальной или гипотетической) результатов экспертизы. Для этого необходимо четко сформулировать экспертную задачу, сформировать экспертную группу, проинструктировать членов экспертной группы относительно задач экспертизы, порядка работы экспертов, включая процедуру ознакомления с объектом и способы экспликации суждений. Следовательно, с каждым экспертом необходимо обстоятельно провести инструктаж об основных правилах намечаемой процедуры. Особое внимание при этом следует уделить выполнению правил экспликации оценок.
Сама подготовка экспертов может производиться на материале, сходным с тем, который предполагается предъявлять для экспертной оценки. Если этим пренебречь, то в итоге эксперт будет ориентироваться главным образом на свои собственные представления. Например, в исследовании особенностей познания внутреннего мира психологом были выделены следующие категории контент-анализа: физиологические проявления, эмоциональные явления, психические процессы, индивидуальные характеристики, мотивационная сфера, волевая сфера, действия, внешние явления, метафорический образ (Шиленкова Н.А., 2003). При этом один из экспертов отнес высказывание «На улице холодно, падает снег» к категории «эмоциональные явления» (вместо категории «внешние явления»). Представляется, что серьезный инструктаж и тренировка в распределении высказываний по категориям позволили избежать столь досадных разногласий с экспертом.
Обдумывая организацию процедуры экспертного оценивания, важно учитывать источники риска для валидности экспертных оценок (табл. 3).
Таблица 3.
Источники риска для валидности
экспертных оценок и способы их преодоления
| № | Источники риска | Способы преодоления обозначенных рисков |
| Низкий уровень профессионализма экспертов, трудность решаемой ими задачи | Адекватный отбор экспертов, хорошая организация экспертизы | |
| Недостатки кодировочной инструкции | Четкость и однозначность формулировок при описании формальных признаков категорий контент- анализа. Проведение процедуры экспертной оценки в несколько этапов | |
| Идентификация суждений с его источником (как компонент восприятия человека человеком) | Тщательный подбор состава экспертной группы (отказ от включения в нее лиц, состоящих дружеских (враждебных) отношениях, лиц со значительно разным уровнем научных достижений). Организация заочного и независимого (использование индивидуальных бланков) экспертного оценивания | |
| Смещение экспертом собственной оценки в «безопасную» сторону соглашения с исследователем или большинством экспертов. Данный риск часто связывают с оценкой экспертом собственной компетенции. | Отбор экспертов с высоким уровнем профессионализма, индивидуальные бланки для каждого эксперта, четкий инструктаж экспертов | |
| Смещение экспертом оценки в сторону собственного нестандартного мнения, при полном игнорировании формальных признаков. Данное поведение эксперта также может быть связано с уровнем профессиональной самооценки. | ||
| Стремление к доминированию. Повышенная склонность к доминированию приводит к нежеланию модифицировать свои оценки, даже если в какой-то момент эксперт сам убеждается в их несостоятельности. | Исключение экспертов, у которых тяга к лидерству выражена в повышенной степени, каков бы ни был их профессиональный уровень | |
| Эффект уровня адаптации. Это явление, известное из психофизики, состоит в изменении «масштаба» имплицитных, а вслед за ними и эксплицидных оценок в зависимости от диапазона разнообразия объектов, которые эксперт успел оценить с момента начала экспертизы. Это приводит к нестабильности шкальных значений и, следовательно, к несопоставимости данных, полученных в разные периоды экспертизы. | Нельзя группировать объекты по априорным данным о выраженности оцениваемого экспертами качества, предъявляя их в порядке его возрастания. Необходимо так подготовить документы для экспертов, чтобы последние имели возможность сразу познакомиться со всеми категориями контент-анализа (а не предъявлять их постепенно). Желательно также рекомендовать экспертам сначала произвести идентификацию категорий контент-анализа и только потом – подкатегорий. Это связано с тем, что соседство объектов, значительно отличающихся друг от друга, способствует поддержанию постоянного уровня адаптации и, следовательно, снижает источники риска для валидизации. |
Организовывая экспертную оценку в процедуре контент-анализа, перед экспертами можно ставить следующие задачи:
|
|
|
-самостоятельно выделить основные категории контент-анализа в анализируемом тексте. В этом случае экспертная оценка потребует большего времени для ее реализации, специальной организации обсуждения между экспертами, а также высокого профессионализма экспертов;
|
|
|
-ознакомиться с объектом исследования, кодировочной инструкцией (включающей в себя формальные признаки категорий и основные эмпирические индикаторы этих категорий контент-анализа) и самостоятельно распределить основные единицы контент-анализа по соответствующим категориям.
-ознакомиться с кодировочной инструкцией, предложенным списком уже распределенных по категориям и подкатегориям смысловых единиц контент-анализа и выразить свое согласие / несогласие с правомерностью отнесения последних к тем или иным категориям (подкатегориям). Данная процедура потребует меньших временных затрат, она более проста в реализации, но, по нашему мнению, включает в себя и больше источников риска для валидизации.
Еще одним важным вопросом для проведения экспертного оценивания является вопрос, касающийся уровня согласованности экспертов. Так, Н. Н. Богомолова и Н. Г. Стефаненко считают, что расхождение у экспертов не выше 5% позволяет говорить о надежных результатах. Вместе с тем авторы отмечают, что высокая надежность обычно свойственна простым формам контент-анализа: «Усложнение, более тонкая дифференциация категорий связаны с понижением надежности, однако это дает большую информацию об объекте исследования» (Богомолова Н.Н., Стефаненко Н.Г., 1992, с. 27). Т. Н. Ушакова, В. В. Латынов, А. А. Павлова, Н. Д. Павлова, осуществляя экспертную оценку адекватности трактовки интенций, приводят проценты совпадений оценок экспертов от 100% до 25% и 37,5% (по разным категориям) и считают, что применяемый метод анализа текста позволяет со значительной степенью объективности характеризовать его интенциональное содержание (Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995, с. 40-41). Справедливости ради необходимо сказать, что полученные результаты экспертной оценки авторы пытаются проанализировать и сделать выводы о столь разных совпадениях у экспертов.
Описание результатов экспертной оценки должно включать в себя:
1.Теоретические основания проведения экспертной оценки.
2.Кодировочную инструкцию.
3.Описание задач, которые ставились перед экспертами; инструкций, предложенных экспертам.
4.Описание экспертной группы.
5.Обозначение критериев для отбора объектов экспертного оценивания.
6.Результаты экспертизы по каждой из поставленных задач.
7.Анализ результатов и выводы.
