Основные проблемы в области тестирования

Приведем ряд проблем, которые поднимают зарубежные специалисты в области тестирования.

1. Ни один из методов измерения не является универсальным. Все измерения непрямые, а опосредованные через наблюдение или результаты выполнения теста. Нельзя напрямую измерить учебные достижения. Разработчик теста должен спроектировать эти достижения в виде требований к деятельности учащихся, которую они должны продемонстрировать при проверке. Используя различные задания, проверяют различные стороны учебных достижений.

2. Тест принято считать объективным инструментом измерения учебных достижений. Однако тест - измерительный инструмент, не похожий на другие измерительные приборы. Задания теста составляются, или строятся на определенном материале для большинства тестов вербальном (термины, слова и т.п.). Любой материал, на котором построен тест, воспринимается разными группами по-разному, так как эти группы могут отличаться и социальной средой (школа, семья),... и тем, чему и как их обучали в школе (содержанием образования, которое они получили в школе). Выполнение одного и того же задания теста различными учащимися может быть различным из-за, например, различного восприятия графической информации, различной степени адаптации к процедуре тестирования. Таким образом, на успешность работы над тестом влияет сложная интеграция социального, эмоционального и символического научения.

3. Образовательные достижения - это прямой результат обучения. И, следовательно, учебные достижения определяются особенностями учебного процесса и личностью учителя. И анализ результатов тестирования без учета этих факторов не может рассматриваться как объективный. Использование математических моделей и статистических методов при конструировании тестов достижений и анализе их результатов без учета особенностей обучения ставится некоторыми зарубежными специалистами под сомнение.

4. В процессе педагогических измерений оценивается ограниченное число характеристик, определяющих образовательные достижения, а не вся их совокупность. В связи с этим результаты тестирования дают только некоторую информацию о подготовке учащихся и поэтому они не могут быть единственным инструментом, на основе которого принимаются важные решения.

5. В процессе разработки инструментария для оценки образовательных достижений всегда приходится решать вопрос о позиции разработчиков по отношению к следующему неразрешимому противоречию: валидное, но ненадежное измерение - невалидное, но надежное измерение. Однако, с точки зрения психометрики, тест не может быть надежным, если не обеспечена его валидность. Проблема в том, какую валидность рассматривать. Всегда возникает противоречие между необходимостью обеспечить аутентичность оценки и ее технологичность.

6. Измерения всегда включают ошибку измерения. Тестирование проводится, как правило, единовременно. Если провести одно и тоже тестирование (один и тот же вариант теста) дважды, то результаты будут отличаться по разным причинам. Если ученик будет выполнять другой вариант теста, то результаты могут также быть другими. Непостоянство результатов измерения в связи с различным содержанием проверки или условиями проведения и определяет ошибку измерения. При разработке теста эта проблема сводится к нахождению способа определения ошибки измерения при использовании конкретного теста.

7. Отсутствие однозначно определенной единицы измерения. Предположим, что тест состоит из 30 заданий, расположенных по мере увеличения их сложности. Рассмотрим два примера. Пример 1: Один ученик правильно выполнил 10 легких заданий, а другой - 10 трудных, оба получили одинаковый балл. Одинаковая ли их подготовка? Пример 2: Три ученика правильно выполнили разное число заданий: первый - 5 заданий, второй - 15, а третий - 25. Можно ли сказать, что подготовка второго ученика также отличается от подготовки первого, как подготовка третьего ученика от подготовки второго? Ни на один из этих ответов нельзя дать положительный ответ. При разработке теста и системы его оценки эта проблема разрешается при определении шкалы измерения и единиц измерения.

8. Измеряемые характеристики учебных достижений должны быть связаны с другими наблюдаемыми характеристиками. Т.е. характеристики, заданные в требованиях к деятельности, которую должны продемонстрировать учащиеся во время тестирования, должны иметь логическую или математически выраженную связь с другими характеристиками учебных достижений, полученными при другом измерении. Если такая связь не обнаруживается, то измерение теряет смысл. Например, результаты тестирования должны коррелировать с отметками учащихся. Таким образом, характеристики образовательных достижений задаются двумя способами, первый определяет содержание теста, а второй - как будут интерпретироваться его результаты (связь с внешним критерием).

9. Вопрос о правильной оценке результатов испытуемого при тестировании следует отнести к важнейшим. Ученик выполнил какую-то часть заданий - первичный результат. Чтобы перевести первичный результат в стандартизованный показатель, нужно располагать данными, которые получены на репрезентативной выборке из той популяции, к которой принадлежит испытуемый.

10. Так как процесс оценки в образовании осуществляется в относительно неконтролируемых условиях, то трудно получить так называемые «чистые» данные в результате измерения. При тестировании учащиеся ориентируются на то, чтобы продемонстрировать лучшие результаты, а не типичные.

11. Некоторые исследования показывают, что педагогическая эффективность измерений значительно усиливается при снятии требований стандартизированного тестирования.

12. В связи с уже поднятыми проблемами нельзя не упомянуть точку зрения известного английского психолога Дж. Равена, которую он высказал в книге «Педагогическое тестирование: проблемы, заблуждения, перспективы», М.: 2001 г. Равен также поднимает проблемы, связанные с недостаточной валидностью измерений по отношению к приоритетным целям образования[33], говорит о влиянии, которое содержание выпускных экзаменов оказывает на происходящее в школе; отмечает, что «…существующая система оценивания не распознает талантливых учеников, тормозя тем их развитие, сужая их возможности, а также лишая общество отдачи от их потенциальных достижений»[34].

Равен призывает к фундаментальной реформе системы оценивания в образовании и предлагает новую систему, основанную на оценке компетентности испытуемых с учетом их мотивации выполнения заданий и конкретной ситуации, в которой находится испытуемый.

13. Многие известные специалисты в области педагогических измерений считают, что измерения, в основе которых лежит психометрика и теория тестов, сменяются в настоящее время новым типом измерений. Его основные черты охарактеризовал Р.Вуд в своих последних работах. По его мнению, измерения в образовании должны оценивать индивидуальные достижения учащихся по отношению к самому себе, а не к другим учащимся, они должны быть направлены больше на помощь ученику в обучении, чем на выставление отметок, в большей степени оценивать компетентность, а не интеллектуальное развитие.

(Цит. по: Зарубежный опыт построения и актуальные проблемы развития образовательного тестирования. Итоговый отчет. / Сост. Г.С. Ковалева.

– М., 2001. – 210 с.)