Краткие теоретические сведения. Трудность задания – соотношение количества испытуемых, справившихся с данным заданием, и общего количества испытуемых

Трудность задания – соотношение количества испытуемых, справившихся с данным заданием, и общего количества испытуемых.

Трудность задания вычисляется по формуле:

p_j = Y_j/N,

где p_j - доля правильных ответов на j-ое задание; Y_j - количество испытуемых, выполнивших j - ое задание верно, N - число испытуемых в группе, j - номер задания.

Чем выше показатель трудности, тем задание легче, чем меньше показатель трудности задания, тем задание сложнее.

Показатель трудности важен для определения характеристики тестового задания и помогает проранжировать задания, входящие в тест по степени сложности.

Благодаря этому можно определить место задания в тесте.

Дискриминативность (дифференцирующая способность, различающая способность) задания - это способность задания дифференцировать испытуемых по уровню достижений, на сильных и слабых

Задание, которое одинаково выполняется и слабыми, и сильными, имеет низкую дискриминативность

Индекс дискриминативности определяется как разность долей правильных ответов сильной и слабой групп по формуле:

r _{дис j} = p_1j - p_0j,

где r _{дис j} - индекс дискриминативности по j-тому вопросу теста, p_1j - доля правильных ответов в сильной подгруппе по j-тому вопросу теста, p_0j - доля правильных ответов в слабой группе по j-тому вопросу теста.

Если индекс дискриминативности выше 0,3 - это свидетельствует о том, что задание обладает хорошим дифференцирующим эффектом.

Если r_дис = 0, то это значит, что и слабые, и сильные испытуемые выполняют задание одинаково.

Отрицательный показатель дискриминативности появляется в том случае, когда слабые учащиеся выполняют задание правильно, а сильные – неправильно, что свидетельствует о некачественном (невалидном) задании (тестовые задания с показателями r_дис = 0 и r_дис < 0 необходимо удалять)

Высокая дискриминативность, которая свидетельствует о сильном дифференцирующем эффекте тестового задания, характерна для заданий со средним показателем трудности (0,5)

Одно из важнейших требований, которое предъявляется к заданиям закрытой формы, - это правдоподобность дистракторов (неправильных ответов)

Дистракторный анализ (оценка качества дистрактора) предполагает подсчет долей испытуемых, выбравших каждый дистрактор

В идеальном варианте каждый дистрактор должен выбираться в равной доле от всех неправильных ответов

Распределение ответов при удачных дистракторах

	Количество учащихся, выбравших ответ
№ задания	1 ответ	2 ответ (правильный)	3 ответ	4 ответ
j	20%	40%	20%	20%

Распределение ответов при неудачных дистракторах

	Количество учащихся, выбравших ответ
№ задания	1 ответ	2 ответ (правильный)	3 ответ	4 ответ
j	45%	40%	5%	10%

Ход выполнения работы:

1. Вычислите трудность каждого тестового задания.

2. Постройте график распределения тестовых заданий по трудности в тесте. График скопируйте в отчет.

3. Проанализируйте полученное распределение. Запишите в отчете выводы:

а) Удалось ли разработчику при составлении теста расположить задания по нарастающей трудности?

б) Почему при составлении теста рекомендуется распределять задания по увеличению коэффициента трудности?

4. Упорядочите матрицу ответов по возрастанию уровня трудности.

5. Постройте график распределения тестовых заданий в тесте по упорядоченным значениям трудности. График скопируйте в отчет.

6. Проанализируйте график на предмет присутствия очень легких (p_j=0) или очень трудных (p_j=1) заданий. В отчете отметьте, почему такие задания не должны включаться в тест при итоговом контроле.

7. Определите уровни трудности заданий, заполнив таблицу 11. Таблицу скопируйте в отчет.

Таблица 11

Уровни трудности тестовых заданий

№	Уровень трудности	Количество заданий	Номера заданий
	Трудный pj <0,3
	Средний 0,3 £ pj £ 0,7
	Легкий pj > 0,7

8. Проанализируйте полученное распределение тестовых заданий по трудности и данные таблицы 11. Запишите в отчете выводы:

а) Оцените соотношение заданий по уровням трудности:

20% легких, 70% средней трудности и 10% трудных заданий.

В тесте ____ легких (должно быть ____) заданий, заданий средней трудности _____ (должно быть ____) и трудных _____ (должно быть ____) заданий.

б) Что характеризуют имеющиеся на графике «ступеньки» и резкие «скачки» (не характерно большое расстояние между «ступеньками»)? Укажите, с какой трудностью должны быть добавлены задания в тест, чтобы исключить имеющиеся скачки.

_______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

9. Вычислите дифференцирующую способность заданий теста.

10. Постройте график распределения значений дифференцирующей способности заданий. График скопируйте в отчет.

11. Оцените дифференцирующую способность тестовых заданий. Заполните таблицу 12. Таблицу скопируйте в отчет.

Таблица 12

Оценка дифференцирующей способности задания

№	Dj	Номера заданий
	0,4 < Dj £1
	0,3 < Dj £0,4
	0,2 < Dj £0,3
	0,1 < Dj £0,2
	-1 £ Dj £ 0,1

12. Для интерпретации полученных значений постройте график распределения долей правильных ответов в группах хорошо и слабо подготовленных испытуемых. График скопируйте в отчет.

13. Выпишите номера заданий, которые требуют корректировки.

14. Составьте итоговую таблицу 13, в которую должны войти задания с хорошей и отличной дифференцирующей способностью (табл. 12).

Таблица 13

Банк качественных тестовых заданий

№	Уровень трудности	Количество заданий	Номера заданий
	Легкий qj <0,3
	Средний 0,3 £ qj £ 0,7
	Трудный qj > 0,7

15. Произведите дистракторный анализ выделенных в п. 14 заданий.

16. В отчете сделайте выводы:

а) В результате апробации из _____ заданий требуют доработки _____ заданий.

б) В целом качество компоновки теста можно считать ___________.

в) Почему не стоит ограничиваться анализом только коэффициента трудности тестовых заданий.