Методика использования тестового контроля

С конструированием педагогических тестов самым тесным образом связана проблема отбора и структурирования учебного материала, подлежащего диагностике. Одна из особенностей педагогических тестов – первичность содержания заданий по отношению к форме. Следовательно, перед созданием теста, прежде всего, необходимо выделить содержание, адекватное целям исследования. После этого возможен поиск форм, оптимально соответствующих содержанию.

Для создания тестов, позволяющих надёжно измерять различные социально-педагогические явления и точно оценивать полученные результаты, требуются специальные знания и опыт практической деятельности. Поэтому педагоги должны получать готовые тесты, разработанные профессионалами, либо в совершенстве владеть технологией конструирования тестов.

В рамках тематики настоящего пособия содержание тестовых заданий определяется предметным содержанием основ социальной педагогики и социально-педагогической деятельности.

Предметное содержание основ социальной педагогики определяется:

– понятийным обеспечением предмета;

– наличием принципов социальной педагогики, отражающих законы, т. е. причинно-следственные связи, обеспечивающие выживание социума [23].

Структурированность процедуры определения понятий и установления законов (глава 1 настоящего пособия) обеспечивает корректность формулировки тестового задания.

Предметное содержание социально-педагогической деятельности представляет собой, по сути, решение социально-педагогических задач, возникающих перед специалистом. В случае работы со студентами речь идет об учебных социально-педагогических задачах. Поэтому предметное содержание социально-педагогической деятельности, кроме уже рассмотренных основ социальной педагогики, включает в себя алгоритм решения задач, рассмотренный в главе 1. Это обстоятельство также обуславливает корректность формулировки тестового задания.

Задание в тестовой форме отвечает одновременно двум требованиям: корректности содержания и формы. Каждое в отдельности является необходимым, но не достаточным условием. Так, первому требованию отвечают традиционные (не тестовые) задачи и вопросы, выполнение же только второго требования порождает псевдотестовое задание, являющееся тестовым только по форме.

Тестовые задания представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания [16]. Традиционные вопросы не могут быть ложными или истинными, а ответы на них бывают столь неопределёнными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда. В этом смысле они нетехнологичны, вследствие чего их не рекомендуется включать в тест.

Однозначность понимания, выразительность и лаконичность теста определяются его языком. В этом плане особенно ценны понятийная направленность и возможность понятийного обеспечения содержания рассматриваемых в настоящем пособии предметов тестовой диагностики.

Содержание тестового задания определяет его форму. Формы заданий, как и их виды, разумеется, могут быть классифицированы. Анализ мнений различных авторов показал, что задания могут быть разделены по вариантам ответов на два типа [16]:

• задания закрытого типа (задачи с предписанными ответами) – типы тестовых заданий, предусматривающие различные варианты ответа на поставленный вопрос;

• задания открытого типа (задачи со свободными ответами) – типы тестовых заданий, предусматривающие свободное конструирование ответа на поставленный вопрос.

Выбор типа и вида задачи определяется целями, в соответствии с которыми проводится тестирование. Целеполагание в рамках курса социальной педагогики, с одной стороны, носит общепедагогический характер: образовательный, развивающий, воспитательный. С другой – определяется спецификой конкретной дисциплины в профессиональной подготовке специалистов.

В первом случае речь идет об основах социальной педагогики, во втором – о решении социально-педагогических задач.

Специалисты в области тестирования качества подготовленности студентов считают, что содержание предмета (и, следовательно, тестового задания) обусловлено учебными элементами, составляющими предмет, и логическими связями между ними [16].

Учебный элемент рассматривается «как содержательная единица предметного изучения и, следовательно, как единица понимания и усвоения элементарных составляющих обучения» [16]. Применительно к поднятым в настоящем пособии проблемам учебные элементы представлены содержанием шагов соответствующих алгоритмов – введения определений понятий, установления законов, решения задач.

Логические структуры в нашем случае – это совокупности связей между отдельными шагами алгоритмов. При этом структура является логической только в том случае, если совокупность связей последовательна и неразрывна.

Для тестов, позволяющих выявить уровень знаний и умений студентов в ходе изучения дисциплин, могут быть выделены следующие части тестового задания [16]:

• инструкция – составная часть тестового задания, содержащая подробные указания по его выполнению: при необходимости ее снабжают одним или несколькими примерами;

• задание на деятельность – информативно-содержательная часть тестового задания, являющаяся, по своей сути, вопросом, который предполагает наличие определенной информации и требует ответа от испытуемого;

• варианты ответа – вариативная часть тестового задания, служащая для выбора испытуемым из ряда предложенных ответов одного или нескольких правильных (этот компонент предусмотрен для заданий закрытого типа и не используется для заданий открытого типа, где испытуемый самостоятельно формулирует ответы);

• число существенных операций тестового задания – прикладная часть тестового задания, определяющая операции деятельности по выполнению задачи, отражающая умение выполнять определенные шаги в проверяемой предметной области. Этот компонент служит преподавателю для выявления количества выполненных операций (правильных ответов, данных испытуемым), а для тестируемого выступает в качестве дополнительной информации, позволяющей сделать заключение о сложности решаемого задания;

• эталон – обязательный атрибут любого тестового задания, без которого оно теряет смысл, поскольку не может быть точно оценено с учётом авторского замысла. Задача, лишенная эталона, превращается в обычный вопрос, что исключает возможность проведения измерения как диагностической операции. Эта часть задания выступает как образец полного и правильного выполнения действия, служит для точного определения педагогом усвоения испытуемым содержания обучения. Сопоставление ответа с эталоном, позволяет сделать вывод о качестве выполнения задания.

Возможна следующая иерархия уровней усвоения и обусловленных ими уровней сложности заданий (подуровней) [16]:

I – уровень узнавания – тестовые задания направлены на узнавание и запоминание учебного материала, выполнение которых требует от студента элементарных (первичных) мыслительных операций:

1 – подуровень опознания —

тестовые задания на опознание;

2 – подуровень анализа —

тестовые задания на различение;

3 – подуровень синтеза —

тестовые задания на упорядочение;

4 – подуровень классификации —

тестовые задания на систематизацию.

II – уровень воспроизведения – тестовые задания направлены на воспроизведение и осмысление учебного материала; выполнение требует от студента логического мышления:

1 – подуровень абстракции —

тестовые задания на подстановку;

2 – подуровень конкретизации —

тестовые конструктивные задания;

3 – подуровень сравнения —

тестовые задания на сравнение;

4 – подуровень анализа-синтеза —

тестовые типовые задачи.

В принципе тестовое задание – это некоторая задача, предлагаемая испытуемому для решения. Она отличается тем, что должна одновременно отвечать двум требованиям: корректности содержания и тестовой формы.

Сущность феномена задачи и универсальный алгоритмизированный подход к ее решению исчерпывающе рассмотрены в главе 1 настоящего пособия. Из нее следует, что решение тестового задания в любом случае должно быть основано на понятийной оформленности условия задачи и осознании реальных причинно-следственных связей (законов), действующих в рассматриваемой системе.

Это, в частности, означает, что какую бы форму ни имело тестовое задание, его выполнение в норме направлено на закрепление алгоритма решения задач.

Если тестовое задание содержит в явном виде все компоненты задачи, т. е. в нем представлены цель, ситуация и действие по ее решению, а испытуемому нужно только дать заключение о совместимости всех трех компонентов в структуре задания, следовательно, его выполнение требует от студента элементарных (первичных) мыслительных операций [16].

Поскольку в процессе решения задачи происходит повторное восприятие ранее усвоенной информации, то обучаемый осуществляет репродуктивную деятельность. Тестовые задания на узнавание и запоминание учебного материала соответствуют I уровню сложности.

Если тестовое задание содержит лишь цель и ситуацию, а от испытуемого требуется применить ранее усвоенные действия для его выполнения, следовательно, задача предполагает логическое мышление, т. е. осознанный подход к решению. Тестовые задания на воспроизведение и осмысление учебного материала соответствуют II уровню сложности.

Тестовые задания I уровня по определению относятся к задачам закрытого типа, предусматривающим в содержании задания наличие вариантов ответа на поставленный вопрос. Вся информация для правильного выбора ответа представлена в самом тесте.

Разные виды тестовых заданий закрытого типа имеют свои особенности как в отношении их конструирования, так и в отношении их применения.

Тестовое задание на опознание (или задача альтернативных ответов) – вид тестового задания, наиболее точно определяющий естественную ситуацию действия, которое прямо ставит вопрос об узнавании. Эти задания являются самыми простыми. Их форма – это обычно либо некоторое утверждение, которое испытуемый должен оценить как истинное или ложное, либо вопрос, на который надо дать однозначный ответ: «да» или «нет».

Существует целый ряд случаев, когда альтернативные ответы применять наиболее целесообразно. Каждое из заданий на опознание должно тестировать только один фрагмент знаний, а утверждение формулироваться таким образом, чтобы на него можно было дать недвусмысленный ответ. Такому заданию всегда соответствует только одна существенная операция.

Одним из основных недостатков альтернативных заданий является высокая вероятность случайных правильных решений, что снижает надежность теста. Исправить это можно за счет увеличения размера теста или количества заданий в серии [16].

Тестовое задание на различение (задача с множественным выбором) – вид тестового задания, предполагающий наличие вариантов выбора: из списка возможных ответов предлагается выбрать один или несколько.

Основное отличие таких заданий от альтернативных заключается в том, что «помехи», создаваемые рядом стоящими вариантами ответа, затрудняют нахождение правильного решения. Этим обеспечивается независимость результата от случайного выбора, что делает задачи на различение достаточно надежными.

Основная трудность при разработке таких тестовых заданий связана с подбором определенного количества правдоподобных однородных неправильных ответов. Разновидностью тестовых заданий на различие являются задачи на исключение лишнего.

При выполнении поставленной задачи испытуемый прибегает к логическим рассуждениям, в ходе которых находит причинно-следственные связи между элементами, что и является целью тестового исследования.

Тестовое задание на упорядочение (задача на установление правильного порядка) – вид тестового задания, требующий от испытуемого воссоздать из ряда предложенных отдельных компонентов целостную структуру или восстановить правильный порядок следования.

Легко видеть, что именно этот вид задач в наибольшей степени содействует оценке качества усвоения алгоритмизированных подходов и методик.

Число существенных операций такого тестового задания равно количеству отдельных компонентов целостной структуры.

Тестовое задание на систематизацию (задача на восстановление соответствия) – вид тестового задания, в котором испытуемому предлагается восстановить соответствие между отдельными элементами двух списков.

Форма тестового задания на систематизацию требует, чтобы испытуемый для каждого варианта ответа из первого списка подобрал соответствующий ему вариант ответа из второго. Число таких сопоставлений определяет число существенных операций тестового задания.

Задания на восстановление соответствия лучшим образом подходят для выявления подробной фактической информации и позволяют быстро оценить знания обучаемого в конкретной области.

При формулировке тестового задания на систематизацию следует учитывать, что данный вид задач имеет две модификации. В одном случае оба списка имеют одинаковое количество элементов – наиболее лёгкие задания. В другом – второй список элементов, из которого выбираются ответы, должен быть длиннее, чем первый, – более сложные и надежные задания, которые уменьшают вероятность случайного угадывания правильного ответа.

Тестовые задания II уровня относятся к задачам открытого типа и дают наиболее разностороннюю информацию.

К ним относятся задания двух видов:

• свободного изложения или свободного конструирования, предполагающие свободные ответы испытуемых по сути задания, на которые не накладываются ограничения;

• дополнения или с ограничением на ответы, в которых испытуемые также должны самостоятельно дать ответы на вопросы, однако их возможности ограничены формулировкой задания.

Тесты этого типа предназначены для проверки умения испытуемого воспроизводить и применять необходимую информацию, а также решать типовые задачи по памяти, «без подсказки».

Следует заметить, что в тестовые задания открытого типа входит достаточно большое количество видов задач, каждая из которых, при всей схожести с остальными, имеет свои особенности как в процессе конструирования, так и в процессе применения.

Тестовое задание на подстановку (задача на дополнение) – вид тестового задания, в котором намеренно пропущено слово, фраза, формула или другой какой-либо существенный элемент задания.

От испытуемого требуется заполнить один или несколько пропусков, давая свои ответы. В этом случае число существенных операций тестового задания равно числу подстановок.

Тестовое конструктивное задание (задача на свободное изложение) – вид тестового задания, требующий самостоятельного создания ответа в форме одного слова, перечисления или воспроизведения целого высказывания.

Число существенных операций в заданиях такого вида равно числу предполагаемых ответов.

Тестовое задание на сравнение (задача на аналогию) – вид тестового задания, в котором задаются названия параметров для сравнения, а их характеристики необходимо привести испытуемому по памяти.

Число существенных операций тестового задания равно числу характеристик.

Тестовая типовая задача – вид тестового задания, который содержит полную и развёрнутую информацию о целях решения задачи, полный набор исходных данных и требует от испытуемого деятельности, выполняемой по готовому алгоритму или правилу.

Условие задания позволяет применять известную разрешающую их процедуру (правило, формулу, алгоритм) и получать необходимый ответ на поставленный в задаче вопрос, т. е. решать путём буквального, непреобразовательного использования усвоенных алгоритмов той или иной деятельности.

Основная функция таких заданий – проверка умения выполнять мыслительные операции на основе полученных знаний. Чтобы определить число существенных операций в решении задачи, необходимо проанализировать ход решения и результат.

Число существенных операций будет равно числу выполненных действий (в частности – числу шагов алгоритма).

Приведенные здесь методические особенности тестовых заданий II уровня усвоения требуют от испытуемого работы памяти, однако простое воспроизведение по памяти недостаточно для получения полной информации о знаниях и умениях обучаемых. Это еще раз указывает на то, что каждый из видов заданий наиболее эффективен при определенных условиях.

Для всех рассмотренных выше методических вариантов и приемов тестового контроля могут быть выделены и сформулированы общие требования к конструированию педагогических тестов [16].

1. Однозначность толкования тестовых заданий. Качество выполнения теста обучаемыми должно оцениваться одинаково различными экспертами и не допускать произвольного толкования тестовых заданий. Это достигается: во-первых,наличием для каждого задания эталона; во-вторых, выделением существенных операций, позволяющих осуществить обработку и счет действий, отражающих цель диагностической процедуры.

2. Корректность формулирования тестовых заданий. Задание теста должно исключать возможность формулирования многозначных ответов. Это достигается: во-первых, однозначностью и доступностью для понимания обучаемого формулировки задачи; во-вторых, определенностью требований, предъявляемых к деятельности студента.

3. Компактность. Задания теста должны быть краткими и требовать сжатых ответов. Это достигается: во-первых,включением в тест разнотипных по содержанию и форме представления учебного материала заданий; во-вторых,тщательным структурированием учебной информации.

4. Информативность. Тест должен обеспечивать возможность соотнесения количественной оценки за его выполнение со шкалой измерений. Это достигается, во-первых, применением методики точного вычисления качества подготовленности обучаемых с помощью коэффициента усвоения; во-вторых, наличием удобной и надежной шкалы оценки.

5. Экономичность. Тест не должен требовать больших затрат времени и средств на его выполнение и должен быть пригодным для быстрой математической обработки результатов.

Это достигается: во-первых, включением в тест оптимального числа задач, во-вторых, выбором технологии обработки результатов, адекватной целям тестирования.

6. Стандартность. Тест должен обеспечить измерение уровня подготовленности возможно более широких контингентов обучаемых, овладевающих одинаковым объёмом знаний на одном и том же уровне обучения. Это достигается, во-первых,включением в тест содержания, предусмотренного образовательным стандартом; во-вторых, стандартизацией процедуры проведения.

Важнейшим этапом в создании теста как инструмента измерения является определение способа обработки полученных результатов и выбор критериев для их оценки. Возможны различные методы оценки итогов тестирования. Получение объективной и всесторонней информации зависит от того, насколько совершенна технология обработки результатов выполнения теста.

В качестве примера математической обработки результатов тестовых измерений можно привести одну из методик определения качества обучения с помощью коэффициента усвоения, под которым понимается степень усвоения учебного материала, выраженная в процентах.

Результаты тестирования уровня знаний студентов однозначно характеризуются коэффициентом усвоения, Ка, где а – уровень усвоения (0 ≤ К а ≤ 1). Для каждого тестового задания коэффициент усвоения определяется следующим образом:

К а = А / Р,

где

А – число правильно выполненных студентом операций тестового задания;

Р – число существенных операций тестового задания.

Поскольку успешность работы с тестом складывается из выполнения его отдельных заданий, а тест – это система заданий, то Ка по выполненному тесту определяется исходя из общего числа заданий, включенных в тест, и количества правильно выполненных заданий:

К а = ΣА n / ΣP n,

где ΣАп – число правильно выполненных студентом операций теста, определяемое как сумма правильно выполненных операций тестовых заданий:

ΣА n = А 1 + А 2 + … + А n,

ΣА n – число существенных операций теста, определяемое как сумма существенных операций тесовых заданий:

 

ΣP n = Р 1 + Р 2 + … + Р n.

 

Практика показывает, что при К а > 0,7 процесс обучения можно считать завершённым, так как в последующей деятельности студент способен в ходе самообучения совершенствовать свои знания. При усвоении с коэффициентом К а < 0,7 обучаемый в дальнейшем совершает систематические ошибки и не способен к их самостоятельному исправлению. В таком случае деятельность обучаемых неустойчива, знания не сформированы, поэтому при тестировании на любом из уровней усвоения положительное оценивание знаний начинается только при достижении К а = 0,7. Естественно, приведенная информация носит статистический характер.

Коэффициент усвоения поддаётся нормированию и на этой основе легко сопоставляется со шкалой измерения, а вся процедура вычисления может быть автоматизирована. Введение соответствующей шкалы измерения допускает оценивание – определение степени усвоения обучаемыми содержания учебного материала в соответствии с программными требованиями изучаемой дисциплины.

В отечественной дидактике принята пятибалльная (на практике – четырехбалльная) шкала оценки знаний. Однако она не может обеспечить адекватных результатов оценки учебной деятельности, поскольку общепринятые показатели носят неконкретный и практически непонятный характер. Кроме того, современные исследователи обращают внимание на то обстоятельство, что традиционная шкала оценки является шкалой оценивания не прироста знаний, умений и навыков, а их убывания.

Измерение уровня усвоения знаний, умений и навыков при помощи педагогического теста позволяет конструировать систему оценки степени обученности, ориентированную на цели обучения различным учебным дисциплинам. При этом под обученностью понимается достижение обучаемым определенного уровня владения знаниями, умениями и навыками на момент проверки и оценки [16]. В специальной литературе рассматриваются различные шкалы оценки знаний, устанавливающие для определенных уровней усвоения взаимно однозначное соответствие между коэффициентом усвоения и балльными шкалами. При частных отличиях подобные подходы сходны в том, что оценивают прирост в деятельности обучаемых.

Рассмотрение деталей организации и технологии проведения тестового контроля как по сути, так и по объему выходит за рамки настоящего пособия. Эти детали достаточно подробно описаны в других работах [16, 17, 18] и вполне могут быть изучены заинтересованными преподавателями и студентами. Здесь же мы раскрыли суть методики тестового контроля, используемой на семинарских и практических занятиях. Цель – оценка преподавателями и студентами возможности применения этого подхода при изучении основ социальной педагогики и социально-педагогической деятельности. В частности, авторы настоящего пособия стремились сформировать у обучаемых и обучающих мотивацию в отношении современных методов оценки качества усвоения подхода к решению социально-педагогических задач. Это представляется особенно важным в связи с показанной выше его алгоритмической сущностью.