Матрица первичных результатов испытуемых

На основе матрицы проводится проверка отдельных тестовых заданий^[78]. 

Трудность задания определяется через соотношение количества испытуемых, справившихся с данным заданием, и общего количества испытуемых, т. е. трудность задания – это доля учащихся, которые справились с заданием. 

Трудность задания вычисляется по формуле 

  Yj

  p_j =

N

где p_j – доля правильных ответов на j-ое задание; Y_j – количе-

ство испытуемых, выполнивших j-ое задание верно, N – число испытуемых в группе, j – номер задания. Или в процентах, P_j – трудность j-ого задания в процентах:

Чем выше показатель трудности, тем задание легче, и соответственно, чем меньше показатель трудности задания, тем зада-

Y ^j

P_j = 100 N

ние сложнее. Например, если p = 30%, то это значит, что только 30 % испытуемых справились с этим заданием, а если p = 70%, то 70 % справилось с заданием, и получается, что первое задание сложнее, чем второе. Иногда вводится доля неправильных ответов – q, которая определяется по формуле q = 1 – p

Показатель трудности очень важен для определения характеристики тестового задания и помогает проранжировать задания, входящие в тест по степени сложности. В правильно сконструированном тесте задания должны располагаться по нарастанию сложности, т. е. сначала даются самые легкие, далее все сложнее и сложнее. В хорошо сбалансированном по трудности тесте есть несколько самых трудных заданий со значением p 0. Есть несколько самых легких с p 1. Остальные задания по значениям p занимают промежуточное положение между крайними ситуациями и имеют в основном трудность 60–70% в критериально-ориентированном тесте и 40–60% в нормативноориентированном. 

В рамках нормативно-ориентированного подхода наиболее удачными считаются задания средней трудности p=q=0,5, которые обеспечивают максимальную дисперсию теста. 

Дискриминативность (дифференцирующая способность) задания – это способность задания дифференцировать испытуемых по уровню достижений на сильных и слабых. Если задание одинаково выполняется и слабыми, и сильными, то можно говорить о низкой дискриминативности задания. Если задание выполняется сильными испытуемыми, а слабые дают отрицательный результат, то мы имеем высокую дискриминативность. Высокая дискриминативность тестовых заданий важна для нормативно-ориентированных тестов, основная цель которых – ранжирование учащихся по уровню достижений. 

Один из способов вычисления дискриминативности – вычисление с применением метода крайних групп, где для расчета берутся показатели самых слабых и самых сильных испытуемых. Чаще всего это 27 (30)% худших и 27 (30)% лучших по результатам выполнения тестового задания. 

Индекс дискриминативности определяется как разность долей правильных ответов сильной и слабой групп. 

 (r _дис)_j = (p₁)_j – (p₀)_j, 

или

(r _дис)_j = ((P₁)_j – (P₀)_j)/100%, если трудность задана в процентах где r – индекс дискриминативности, p₁ – доля правильных ответов в сильной подгруппе (27% от всего количества), p₀ – доля правильных ответов в слабой группе (27%). Значение индекса дискриминативности располагается в интервале [–1; 1]. Если индекс дискриминативности выше 0,3, а еще лучше стремится к 1, то это свидетельствует о том, что задание обладает хорошим (максимальным) дифференцирующим эффектом. Если r = 0, то это значит, что и слабые, и сильные испытуемые выполняют задание одинаково. Отрицательный показатель дискриминативности, появляется в том случае, когда слабые учащиеся выполняют задание правильно, а сильные – неправильно, что свидетельствует о некачественном (невалидном) задании. Тестовые задания с показателями r_дис близким к 0 и r_дис< 0 следует удалить. 

Трудность и дискриминативность – взаимосвязанные характеристики тестового задания. Высокая дискриминативность, которая свидетельствует о сильном дифференцирующем эффекте тестового задания, характерна для заданий со средним показателем трудности (0,5). 

Дистракторный анализ (оценка качества дистрактора) предполагает подсчет долей испытуемых, выбравших каждый дистрактор. В идеальном варианте каждый дистрактор должен выбираться в равной доле от всех неправильных ответов. Ниже представлены таблицы А с качественными и таблица Б с некачественными дистракторами.