2020-10-10
523
Надежность и валидность исследования, а точнее, используемых в нем методов, призваны доказать его объективность. Основными показателями качества методики являются ее надежность и валидность, которые имеют численное значение и определяются с помощью различных методов математической статистики как в классической теории тестов, так и в современной теории тестов. Чаще всего говорят о надежности и валидности тестов, но теми же методами осуществляется проверка и других методов – опросников, анкет. В данном параграфе мы чаще всего будем использовать термин «тест», но говорить о всех методах, по отношению к которым применяется проверка на надежность и валидность.
В инструкции для пользователя должна быть подробно описана процедура проверки методики на надежность и валидность, процедуры и выборки, использованные для определения этих коэффициентов. Это позволит пользователю определить, приложима ли методика, его результаты и нормы к группам испытуемых, с которыми он имеет дело.
Надежность – это характеристика методики, отражающая точность педагогического измерения, а также устойчивость результатов диагностики к воздействию посторонних (случайных) факторов.
В основе анализа надежности лежит представление об истинных оценках и ошибках измерения. Для определения ошибки измерения используются корреляционные методы, позволяющие определить надежность через устойчивость и согласованность результатов. Классические методы оценки надежности требуют корреляции по меньшей мере двух совокупностей сходных измерений[81]. Оценка надежности чаще всего строится на подсчете корреляции между двумя наборами результатов выполнения одного и того же теста или двух его параллельных форм. Чем выше корреляция, тем надежнее методика.
Для оценки надежности нормативно-ориентированного теста и большинства других методик используются две группы методов.
1) Двукратное тестирование:
- ретестовый метод;
- метод параллельных форм.
2) Однократное тестирование (метод расщепления теста).
Ретестовый метод.
Данный метод оценки надежности предполагает двукратное проведение одного и того же теста в одной группе испытуемых с перерывом от 2 недель до нескольких месяцев. Ретестовый метод является самым часто используемым при проверке надежности психологических тестов. На практике ретестовая надежность в ряде случаев бывает важнее, чем надежность по однородности. Если нет ретестовой надежности, методика не может быть валидной. Исключение составляют тесты, для которых ретестирование не применяется (тесты оценки эмоций, состояний и т. д.).
Возможности использования ретестирования при проверке педагогических тестов ограничены, так как знания учащегося по конкретной теме даже за 2–3 недели изменятся. Временной промежуток не может быть большим – изменится уровень учебных достижений учащихся, но и не должен быть слишком коротким – испытуемые могут помнить задания теста и ответы на них. В том и в другом случае результаты измерения нельзя использовать для определения надежности теста.
Повторное тестирование проводится через 2–3 недели, чтобы учащиеся не слишком сильно забыли проверяемый материал и недалеко продвинулись в изучении нового, т. е. уровень их учебных достижений остался примерно прежним. Ретестовый метод основан на подсчете корреляции индивидуальных баллов испытуемых по результатам выполнения первого и второго тестирования. Хорошим коэффициент надежности теста считается, когда показатель колеблется в пределах 0,8 < К < 1.
Метод параллельных форм
Метод параллельных форм предполагает двукратное тестирование одной и той же группы испытуемых методиками, которые идентичны по содержанию, структуре, включают задания тождественные по трудности, дифференцирующей способности и др., т. е. параллельными формами.
Главная трудность применения этого метода в том, что прежде чем использовать параллельную форму теста, разработчику надо создать новый тест, тождественный первому и доказать идентичность, а это очень трудоемкая процедура. На практике построить параллельные формы теста очень сложно. Поэтому этот метод с практической точки зрения малоэффективен.
