Метод экспертных оценок

Экспертной называется оценка, получаемая путем выяснения мнений специалистов. Эксперт (от лат. expertus — опытный) — сведущее лицо, приглашаемое для решения вопроса, требующего специальных знаний.

Экспертиза бывает индивидуальной (когда к решению задачи привлекается один специалист) и групповой. Эксперты могут устно высказывать свое мнение или заполнять специальную анкету.

К мнению специалистов обращаются всякий раз, когда осуществить измерения более точными методами невозможно или очень трудно. Порой лучше получить приблизительное решение немедленно, нежели долго искать пути точного решения. Но субъективная оценка значительно зависит от индивидуальных особенностей эксперта: квалификации, эрудиции, опыта, личных вкусов, состояния здоровья и т. п. Поэтому индивидуальные мнения рассматриваются как случайные величины и обрабатываются статистическими методами. Таким образом, современная экспертиза — это система организационных, логических и математико-статистических процедур, направленных на получение от специалистов информации и анализ ее с целью выработки оптимальных решений. И лучший тренер (педагог, руководитель и т. п.) тот, который опирается одновременно на собственный опыт, и на данные науки, и на знания других людей.

Проведение экспертизы включает следующие основные этапы: формирование ее цели, подбор экспертов, выбор методики, проведение опроса и обработку полученной информации, в том числе оценку согласованности индивидуальных экспертных оценок.

Подбор экспертов — важный этап экспертизы. Высо­коквалифицированному эксперту свойственны компетентность, беспри­страстность, интуиция, широта взглядов и независимость суждений.

Для объективной оценки компетентности экспертов могут быть составлены специальные анкеты, отвечая на вопросы которых в течение строго определенного времени, кандидаты в эксперты должны проде­монстрировать свои знания. Кроме того, полезно предложить им заполнить анкету самооценки своих знаний. Опыт показывает, что люди с высокой самооценкой ошибаются меньше других.

Другой подход к отбору экспертов основан на определении эффективности их деятельности. Абсолютная эффек­тивность деятельности эксперта определяется отношением числа случаев, когда эксперт верно предсказал дальнейший ход событий, к общему числу экспертиз, проведенных данным специалистом. Напри­мер, если эксперт участвовал в 10 экспертизах и 6 раз его точка зрения подтвердилась, то эффективность деятельности такого эксперта рав­на 0,6. Относительная эффективность дея­тельности эксперта — это отношение абсолютной эффек­тивности его деятельности к средней абсолютной эффективности деятельности группы экспертов. Очевидно, что эксперт представляет тем большую ценность, чем выше абсолютная и относительная эффективность его деятельности. Для повышения качества экспертизы стараются повысить квалификацию экспертов путем специального обучения, тренировок и ознакомления с возможно более обширной объективной информацией по анализируемой проблеме. Судей во многих видах спорта можно рассматривать как своеобразных экспер­тов, оценивающих мастерство спортсмена (например, в гимнастике) или ход поединка (например, в боксе).

Большое значение имеет степень согласованности мнений экспертов, оцениваемая по величине рангового коэффици­ента корреляции (в случае двух экспертов) или по величине так называемого коэффициента конкордации (в случае не­скольких экспертов).

На практике показателем квалификации эксперта часто служит отклонение его оценок от средних оценок группы экспертов. Принято считать, что эксперт тем квалифицированнее, чем ближе его точка зрения к коллективному мнению. Однако это не всегда так; например, оригинальное новшество может быть понято не сразу.

Экспертные оценки зависят от количества экспертов. При уменьшении его гипертрофируется (преувеличивается) роль каждого из них, а при очень большом количестве экспертов трудно добиться согласованного мнения.

Способы проведения экспертизы многообразны. Самый простой из них называют методом предпочтения (ранжирования). Пользуясь этим методом, эксперты расставляют оцениваемые объекты по рангам в порядке ухудшения их качества. Место, занятое каждым объектом, определяется числом набранных баллов: чем больше (меньше) сумма баллов, тем выше занятое место.

Часто используется и другой способ проведения экспертизы — метод парного срав­нения. В этом случае эксперт заполняет таблицу, в которой и по горизонтали, и по вертикали обо­значены все сравниваемые объекты. Каждая клетка таблицы относится к двум сравниваемым объектам, и в ней проставляется номер того из них, который, по мнению эксперта, имеет более вы­сокое качество или (в случае оценки весомостей) более важен. Заполняется либо одна половина таблицы, либо (в методе «полного парного сравнения») обе ее половины. В последнем случае оцениваемые объекты сравниваются между собой дважды (например, вначале первый со вторым, а спустя некоторое время — второй с первым). Так удается избежать случайных ошибок и, кроме того, выявить экспертов, небрежно отнесшихся к своим обязанностям или не имеющих определенной точки зрения. Говоря языком теории тестов, метод «полного парного сравнения» обладает заведомо более высокой надежностью(воспроизводимостью), нежели метод парного сравнения. Из более сложных методов проведения экспертизы получил распространение «метод Дельфы», разработанный для решения крупных деловых проблем. Отличительными особенностями его явля­ются:

· анонимность: эксперты не встречаются друг с другом и тем самым исключается влияние авторитета и красноречия кого-либо на мнение группы;

· многоэтапность: после каждого тура экспертизы эксперты имеют возможность ознакомиться с мнениями коллег и к следующему туру пересмотреть свою точку зрения;

· управляемость: регулирует процедуру экспертизы и сохраняет ее анонимность «координатор», который вправе попросить каждого эксперта письменно обосновать свое мнение и ознакомить с ним других экспертов;

· контроль за качеством экспертизы: после каждого тура экспертизы оценивается разброс мнений экспертов относительно сре­днего значения. Применяемые при этом количественные меры зависят от того, какие измерительные шкалы используются: если шкала порядка, то среднее значение оценивают медианой, а неодинаковость мнений — величиной квантилей; если шкала интервалов или отноше­ний, то применяют среднее арифметическое значение и стандартное отклонение.

Процедура экспертизы по методу Дельфы продолжается до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

Лекция

Метод анкетирования

В этом разделе Вы узнаете об особенностях другого метода проведения квалиметрии - анкетировании

А

нкетой (от франц. anquete — расследование) называется опросный лист, содержащий вопросы, на которые нужно ответить письменно. Техника экспертизы и анкетирования — это сбор и обобще­ние мнений отдельных людей. Девиз экспертизы — «Ум хорошо, а два лучше!» Характерные примеры экспертизы: судейство в гимнастике и фигурном катании на коньках, конкурс на звание лучшего по профессии или лучшую научную работу и т. п.

Анкетированием называется метод сбора мнений посред­ством заполнения анкет. Анкетирование наряду с интервью и беседой относится к методам опроса. Методы опроса позволяют получать информацию о мнениях люден, мотивах поведения, намерениях и т. д., т. е. обо всем, что пока еще не может быть установлено при помощи инструментальных методов измерения. По отношению к методу экспертных оценок анкетирование играет служебную роль, но имеет и самостоятельное значение, если речь идет о сборе массовых мнений. В отличие от интервью и беседы анкетирование предполагает письмен­ные ответы лица, заполняющего анкету — респондента (англ. respondent — отвечающий), — на систему стандартизированных во­просов.

Применяется несколько вариантов анкетирования: групповое и индивидуальное, очное и заочное, персональное и анонимное. При групповом анкетировании на вопросы анкеты отвечает коллектив (например, учебная группа). При заочном анкетировании ответы присылаются по почте. При анонимном анкетировании и не заполняется демогра­фическая часть анкеты, т. е. не указываются фамилия, имя, отчество, возраст, образование и другие паспортные данные респон­дента.

Анкета, как правило, состоит из трех частей: введения, демографической и основной. Вопросы демографического характера рекомендуется поме­щать в конце анкеты. В основную часть анкеты включают следующие вопросы: открытые (свободные) и закрытые, безусловные и условные, прямые и косвенные.

Открытыми называются вопросы, не ограничивающие ответ респондента. Например: «В какой сфере деятельности Вы хотели бы специализироваться?» Закрытый вопрос, напротив, предполагает зара­нее определенные варианты ответа. Например: «Кем бы Вы хотели работать по окончании института: тренером, преподавателем, научным сотрудником или оргработником?».

Прямые вопросынацелены непосредственно на решение задач исследования. Например, может быть задан вопрос: «Какова роль скоростно-силовой подготовки в тренировке бегунов на 400 м?» Косвенный вопрос в этом случае прозвучал бы, например, так: «Како­во Ваше мнение о сравнительной важности воспитания выносливо­сти и скоростно-силовых качеств в системе подготовки бегунов на 400 м?»

Условные вопросы в отличие от безусловных предлагают респонденту высказать свое мнение о явлениях, которые могли бы иметь место при определенных условиях. Пример условного вопроса: «Каким будет состав команды в следующей игре, если сегодняшний матч будет выигран?»

От составителя анкеты требуется высокая профессиональная компетентность, безупречная грамотность, такт. Вопросы должны быть лаконичны и точны, они должны соответствовать образова­тельному уровню респондентов. Желательно в начале анкеты располо­жить нетрудные вопросы, которые могли бы заинтересовать респон­дентов, а основную часть вопросов «по существу» поместить в середину анкеты.

Качество анкетирования повысится, если до начала опроса подвергнуть составленную анкету экспертной оценке и усовершенство­вать ее в соответствии с высказываниями экспертов.

В последнее время квалиметрические методы (экспертиза, анкетиро­вание и др.) все чаще используются для решения оптимизационных задач (оптимизация соревновательной деятельности, тренировочного процесса). Современный подход к задачам оптимизации связан с имитационным моделированием соревновательной и тренировочной деятельности. В отличие от других видов моделирования при синтезе имитационной модели наряду с математически точными данными используется квалитативная информация, собираемая мето­дами экспертизы, анкетирования и наблюдения. Например, при моделировании соревновательной деятельности лыжников нельзя точно предсказать коэффициент скольжения.

Его вероятную величину можно оценить путем опроса специалистов по смазке лыж, знакомых с климатическими условиями и особенностя­ми трассы, на которой будут проходить соревнования.

Вопросы к зачету

1. Общая метрология. Составляющие общей метрологии. Законодательная метрология.

2. Особенности спортивной метрологии как науки и как учебной дисциплины. Предмет, задачи, средства и основное понятие спортивной метрологии.

3. Спортивная тренировка как процесс управления.

4. Единицы измерений. Системы единиц измерений.

5. Параметры, измеряемые в физической культуре и спорте. Особенности измерений свойств и состояний человека.

6. Переменные, их виды. Шкалы измерений.

7. Погрешности измерений.

8. Основные понятия теории тестирования. Требования к тестам.

9. Классификация тестов.

10. Классификация двигательных (моторных) тестов.

11. Задачи тестирования.

12. Надежность теста.

13. Стабильность теста.

14. Эквивалентность теста.

15. Объективность теста.

16. МИнформативность теста.

17. Эмпирическая информативность теста (случай первый — существует измеряемый критерий).

18. Эмпирическая информативность (случай второй — единичного критерия нет,.

19. Эмпирическая информативность в практической работе.

20. Содержательная (логическая) информативность.

21. Дополнительные критерии добротности двигательных тестов.

22. Организация тестирования детей школьного возраста.

23. Основные понятия теории оценок. Виды оценок.

24. Задачи оценивания. Проблемы критерия оценок.

25. Типы шкал оценок (пропорциональные, регрессирующие, прогрессирующие и сигмовидные). Их преимущества и недостатки.

26. Стандартные шкалы оценок. Перцентильная шкала. Шкала выбранных точек.

27. Параметрические шкалы. Шкала ГЦОЛИФКа. Оценка комплекса тестов.

28. Нормы и их разновидности.

29. Возрастные нормы. Учет особенностей телосложения. Пригодность норм.

30. Квалиметрия: основные понятия.

31. Метод экспертных оценок.

32. Метод анкетирования.

33. Методы контроля за соревновательной деятельностью.

34. Методы контроля за технической подготовленностью спортсменов.

35. Методы контроля за тактической подготовленностью спортсменов.

36. Методы контроля за скоростными качествами спортсменов.

37. Методы контроля за силовыми способностями спортсменов.

38. Методы контроля за выносливостью спортсменов.

39. Методы контроля за координационными способностями и гибкостью спортсменов.

40. Методы контроля за тренировочными и соревновательными нагрузками.

Лицензия 040343. Дата выдачи 30.06.1997 г.

Подписано в печать 08.01.2004 г.

Формат 60х88 1/16.

Бумага офсетная. Усл.печ.л. – 4.

Тираж 100 экз.

Липецкий государственный педагогический университет

398020, г. Липецк, ул. Ленина, 42.

Отпечатано в РИЦ ЛГПУ.