Шаг 1. Формирование матрицы тестовых результатов

Лабораторная работа 4.

Использование электронных таблиц Excel для обработки данных тестирования [1]

В процессе обучения постоянно ощущается потребность в хорошо разработанных методах измерения уровня обученности в самых различных областях знаний. Известно, что профессиональное тестирование было начато еще в 2200 году до нашей эры, когда служащие Китайского императора тестировались, чтобы определить их пригодность для императорской службы. По некоторым оценкам в 1986 году по крайней мере 800 профессий лицензировались в Соединенных Штатах на основании тестирования (А.А. Захаров, А.В. Колпаков Современные математические методы объективных педагогических измерений)

Почти каждый педагог разрабатывает тестовые задания по своей дисциплине, но не каждый может грамотно обработать и интерпретировать результаты теста. Напротив, грамотное конструирование теста на основе знания теории тестирования позволит педагогу-исследователю создать инструмент, позволяющий провести объективное измерение знаний, умений и навыков по данному курсу с необходимой точностью.

В настоящее время существуют два теоретических подхода к созданию тестов: классическая теория и современная теория IRT (Item Response Theory). Оба подхода базируются на последующей статистической обработке так называемого сырого балла (raw score), то есть балла, набранного в результате тестирования. Только после проведения многократных статистических обработок можно говорить о создании теста с устойчивыми параметрами качества (надежностью и валидностью).

Для обработки данных, полученных на этапе тестирования, воспользуемся пакетом MS Office 2000 и электронными таблицами MS Excel.

После сбора эмпирических данных необходимо провести статистическую обработку, которую будем проводить на ЭВМ. Этап математико–статистической обработки разобьем на ряд шагов.

Шаг 1. Формирование матрицы тестовых результатов.

Результаты ответов учеников на задания тестов оцениваются в дихотомической шкале: за каждый правильный ответ учащийся получает один балл, а за неправильный ответ или за пропуск задания – нуль баллов (см. рис. 1).

Шаг 2. Преобразование матрицы тестовых результатов.

На втором шаге из матрицы тестовых результатов устраняются строки и столбцы, состоящие только из нулей или только из единиц. В приведенном выше примере таких столбцов нет, а строк только две. Одна из них, нулевая строка соответствует ответам одиннадцатого испытуемого, который не смог выполнить правильно ни одного задания в тесте.

Рис. 1. Матрица результатов тестирования

В этом случае вывод довольно однозначен: тест непригоден для оценки знаний такого ученика. Для выявления его уровня знаний тест необходимо облегчить, добавив несколько более легких заданий, которые, скорее всего, выполнит правильно большинство остальных испытуемых группы.

Столь же непригоден, но уже по другой причине, тест для оценки знаний двенадцатого ученика, который выполнил правильно все без исключения задания теста. Причина непригодности теста заключается в его излишней легкости, не позволяющий выявить истинный уровень подготовки двенадцатого ученика. Возможно, двенадцатый ученик знает много чего другого и в состоянии выполнить по контролируемым разделам содержания гораздо более трудные задания, которые просто не были включены в тест.

Таким образом, на данном шаге необходимо удалить из матрицы данных 11 и 12 строки.