Проектирование теста

Несложно заметить, что тесты на различных этапах обучения могут использовать некие общие элементы (вопрос и ответ, например), а другие элементы (такие как комментарий) добавляются опционально в зависимости от конкретной задачи теста в учебном процессе. Значит, следует организовать разработку тестов таким образом, чтобы избегая дублирования, создать множество различных приложений на базе неких простых «строительных конструкций» - вопрос, ответ, комментарий, блок, цепочка, ключ.

«Строительные конструкции». Вопрос

Вовсе не следует готовить много разных тестов с различными вариантами вопросов (для контроля остаточных знаний, для самотестирования, для итогового контроля и т.п.). Эффективнее разработать банк вопросов. Любой вопрос может содержать как собственный список ответов, комментариев или ссылок, так и использовать общие «строительные конструкции», что облегчает создание вариативных однотипных вопросов, особенно в рамках одной тематической области. Подробнее типы вопросов будут рассмотрены в практикуме. А пока ограничимся общей чертой всех вопросов – наличием некоего текста с формулировкой.

«Строительные конструкции». Ответ

Ответ должен быть формально предопределен шаблоном. Это определяет и форму, с которой тестируемый будет взаимодействовать. Выбор шаблонов ограничен рамками HTML. Подробнее примеры форм обсуждаются в практикуме с конкретными примерами для разных типов вопросов. Здесь же остановимся на самых популярных формах – выбор ответа из списка (выбор единственного варианта и аддитивный выбор нескольких элементов списка).

Выделим в таких вопросах общую конструкцию – закрытый список всех возможных ответов (в т.ч. «неправильных»). Такой список может быть общим для нескольких вопросов одновременно, что повысит технологичность разработки, снизит затраты времени и разработчика, и тьютора, а, главное, окажется более легким для студента (с точки зрения техники ответа, а не с точки зрения содержания, конечно).

Кроме списка всех возможных ответов, каждому вопросу можно сопоставить множество правильных ответов для автоматизации контроля. Внимание, правильных ответов можно не «назначать» вовсе – это очень удобно для превентивного анонс-тестирования. Однако, для остальных форм контроля множество верных ответов придется указать. В простейшем случае у вопроса, требующего единственный ответ из списка – только один правильный ответ (но необязательно – можно указать несколько и даже с градацией «правильности»).

Закрытый список ответов может быть общим для нескольких вопросов теста, а вот множество правильных ответов придется указать индивидуально для каждого из вопросов.

Упрощенно, будем считать, что правильный ответ один из некоторого закрытого списка. Мы можем разрешить программе тестирования произвольно менять последовательность ответов в списке, скрывая правильный ответ на различных местах в списке. Более того, список всех ответов может быть несколько избыточен и тогда правильный ответ будет появляться среди разных кандидатов, а не среди одних и тех же.

Такая «уловка» не позволит механически запоминать верные ответы (по номерам, например) при самоконтроле. И, следовательно, позволит один и тот же вопрос использовать в разных формах контроля и для разных студентов.

Важное замечание – разработчику не следует идентифицировать вопросы или ответы – это делает программа тестирования. Причем, на экране тестирующихся порядок вопросов и ответов может быть разным и нумерация будет разной, а при контроле тьютором результатов тестирования все данные будут обобщены в сопоставимой форме.

Однако, такая «уловка» весьма прозрачна. Разработчику придется уделить внимание группировке не только ответов, но и самих вопросов.

«Строительные конструкции». Блок

Разные вопросы могут быть порождены вокруг одной общей формулировки. Логично объединить такие вопросы в блок, сосредоточив на уровне блока все общие элементы вопросов, что упростит разработку вариативных тестов.

Однако, вопросы могут быть объединены в блоки и при разных формулировках. Желательно лишь соблюдать принцип общей тематической направленности. Смысл блоков еще и в том, что внутри каждого блока вопросы могут выбираться программой в произвольной последовательности. Более того, при наличии избыточности (как и в примере с ответами выше), разные тестируемые могут увидеть разные вопросы (да еще в разной последовательности и с разным списком ответов)…

Чаще всего выбирают один из вариантов объединения вопросов в блоки:

· Тематически близкие, но с разными (даже общими) формулировками с расчетом на перестановку вопросов при тестировании. В этом случае, избыточность невысока, а общее число вопросов – не менее 5. Вполне эффективно разрешить программе тестирования задать 10 вопросов из 11. Иногда весь тест (особенно в промежуточном контроле) – один блок. Верная технология разработки позволяет легко добиться высокой вариативности при небольшой избыточности.

· Однородные вопросы (расхождение только в тексте каждого вопроса при наличии общей формулировки; возможен даже совпадающий список ответов). В этом случае, ставку делают на избыточность. Программе тестирования обычно разрешают задать не более 1 вопроса из блока при общем числе вопросов в блоке от 2 до 5.

Естественно, если в тест нужно объединить несколько блоков, программе тестирования можно разрешить произвольно переставить сами блоки (внутри которых могут быть произвольно переставлены вопросы…). Впрочем, выделение блоков гарантирует, что каждая тема, чей блок оказался в тесте, обязательно будет опрошена, какой бы высокой не оказалась избыточность конкретного теста.

«Строительные конструкции». Цепочка (вариант)

При желании можно маркировать вопросы внутри блоков особым признаком включения их в целевые цепочки. Тогда программа тестирования на каждом этапе будет оперировать только с теми вопросами, которые соответствуют выбранному варианту (сквозному для всех блоков).

На этой основе можно строить логически связанные задания. Например, имеется описание конкретной ситуации с 3 вариантами исходных данных, по которым мы располагаем 4 разными вопросами (например, нужно оценить комплекс решений по каждой конкретной ситуации). Достаточно просто объединить все разновидности вопросов по конкретным ситуациям в цепочки (варианты), а сами конкретные ситуации по тематике вопросов объединить в блоки. Получится 4 блока по 3 вопроса в каждом, отмеченных вариантами, связанными с конкретной ситуацией. В первом задании программа выберет для тестируемого конкретную ситуацию (вариант) и в остальных заданиях выбор варианта окажется предопределен – все вопросы будут касаться одной и той же конкретной ситуации.

Другое применение цепочек – запрет выбора определенных заданий при некоторых формах контроля. Например, во время самоконтроля можно запретить выбирать часть вариантов, зато при итоговом контроле разрешить выбирать все. Таким образом, при итоговом контроле студент столкнется как со знакомыми вопросами (если он действительно прошел самоконтроль), так и с незнакомыми.

«Строительные конструкции». Комментарий, ссылка

Комментарий возникает при неверном ответе. Естественно, разные вопросы могут апеллировать к общему комментарию. Комментарий должен не сосредоточить внимание на правильном ответе, а объяснить его, можно (и лучше) даже не называя правильного ответа.

Ссылка также возникает при неверном ответе. Содержит точное указание на раздел курса ДО, где объясняется задача. Ссылка не заменяет комментария! А комментарий не повторяет фрагмент курса. Комментарий раскрывает решение конкретной задачи, а ссылка помогает найти общий материал, раскрывающий подходы к решению. Как и в случае с комментарием, одна ссылка может служить сразу нескольким вопросам.

Если рассмотренные ранее «строительные конструкции» (вопросы, ответы, блоки и цепочки) проявляли себя во время тестирования в обязательном порядке, то комментарий и ссылка могут оказаться не видны тестируемому вообще. Во-первых, они возникают только как реакция на ошибку. Во-вторых, при ошибке они могут появиться только при разрешении тьютора, а оно определяется тем, какую форму контроля выполняет тест (например, при самоконтроле весьма желателен комментарий, а при вводном контроле – ссылка, а при итоговом контроле – нежелателен ни комментарий, ни ссылка).

«Строительные конструкции». Банк вопросов, тест, ключ

Все строительные конструкции помещаются в банк данных, обеспечивающих их поиск, редакцию и включение в различные тесты. При этом каждый вопрос рассматривается как публикация и сохраняет указание автора и права доступа. Разработчик курса должен однако выделить группу вопросов без ограничений прав доступа – это вопросы для контроля остаточных знаний, они должны быть доступными всем разработчикам для создания вводных тестов. Желательно представлять банк данных контроля остаточных знаний в учебно-методическую комиссию.

Компиляция вопросов в блоки, а блоков в тест завершает создание инструмента контроля. На этом уровне (теста) может быть жестко задано количество фактически контролируемых вопросов (т.е. сколько избыточных останутся для тестируемого «за кадром»), включение комментариев или ссылок (и вообще управление реакцией на ответ), контроль времени, шкалу оценки, время и место тестирования (интернет-тестирование можно ограничить и географически), доступ (можно ограничить круг потенциальных участников тестирования) и другие общие характеристики теста.

Но эффективнее составить для одного теста несколько ключей. Ключ – это набор общих характеристик теста. Обучающийся выбирает, в действительности, не тест, а именно ключ. Таким образом, один и тот же тест может использоваться для разных форм контроля – с разными ключами. Также как одни и те же вопросы могут включаться в разные тесты. Исключение представляют вопросы для превентивного анонс-тестирования – в силу того, что они зачастую вообще не содержат правильных ответов, зато отягощены мультимедийными формулировками и, следовательно, не могут быть использованы для, например, итогового контроля.

Тест с вычисляемыми ответами

Ниже в практикуме представлены ссылки для знакомства с теми формами ответов, шаблоны которых определяет HTML. Однако, хотелось бы обратить внимание на вычисляемые ответы, т.к. они по своей внешней форме напоминают обычные, но таковыми не являются. Простейший механизм создания таких тестов – использование переменных. Предположим, нам необходимо проверить умение студентов применять формулу расчета цены акции в зависимости от срока выплаты дивидендов или проверить знание таблицы умножения. Нам не хотелось бы создавать множество вопросов с разными условиями, мы ограничимся одним: «для X и Y укажите значение X*Y», нам придется указать границы вариативности X и Y, а вместо правильного ответа указать формулу. Ниже текста вопроса компьютер при тестировании укажет имена переменных и их значения, выбранные случайным образом.

Тест с неизвестными ответами. Апелляция. Оценки

Естественно, кроме банка данных с вопросами, ход тестирования автоматически отражается в базе данных ответов, где указывается (для тьютора, но не для студента) идентификатор вопроса, ответ и его оценка, затраченное время и оценка, скорректированная с учетом времени, сведения о доступе к программе тестирования (ip-адрес, идентификатор браузера и др. доступные характеристики протокола HTTP), а также предусматривается место для ремарки тьютора и принудительного выставления исправленной оценки (в случае апелляции).

Такая особенность позволяет создавать вопросы вообще без правильных ответов с целью их дальнейшей проверки тьютором.

Но тьютор не сможет исправить оценку автоматического тестирования, она остается неизменной – зато при подведении итогов учитывается в первую очередь именно оценка тьютора (если есть).

Это позволяет при необходимости реализовать механизм апелляций. Впрочем, данная процедура уже за рамками разработки теста. На уровне разработки, достаточно лишь знать о названной возможности.

Типы вопросов

Данный раздел посвящен иллюстрациям различных типов вопросов для тестирования. Начнем с тех, которые назывались при обсуждении проектирования теста.

1. Выбор ответа из закрытого списка возможных вариантов

Закрытый список всех допустимых ответов, из которых может быть выбран единственный вариант представляется в рамках HTML одним из двух вариантов:

Вопрос с выбором одного ответа из закрытого списка вариантов ответов. Вариант 1 – весь список на экране с отметкой выбора слева. См. https://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test01.html

Вопрос с выбором одного ответа из закрытого списка вариантов ответов. Вариант 2 – меню с прокруткой (сейчас не реализован, но используется в ряде курсов ДО – приводится справочно). См. https://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test02.html

2. Выбор неограниченного числа ответов из закрытого списка возможных вариантов

Вопрос с выбором нескольких ответов из закрытого списка вариантов ответов. Вариант 1 – весь список на экране с отметкой выбора слева (визуально отличается от выбора одиночной отметки). См. https://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test03.html

Вопрос с выбором нескольких ответов из закрытого списка вариантов ответов. Вариант 2 – меню с прокруткой (визуально не отличается от выбора одиночной отметки, необходимо использовать клавишу “Insert” или выбирать варианты мышкой при нажатой клавише “Ctrl”. Cейчас не реализован, но используется в ряде курсов ДО – приводится справочно). См. https://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test04.html

3. Открытый вопрос – указание числа, группы чисел, строки или слова

Данный вопрос не требует подготовленного списка ответов, но даже на примере одиночного числа можно предсказать ряд проблем – например, варианты округления и десятичная точка, а также разделители разрядов могут вызвать ошибку при считывании ответа (сравним разные записи одного числа: «1,234,567.89», «1234567.89», «1234567,89» - варианты различаются обозначением десятичной точки и наличием разделителей разрядов). В ряде оболочек ДО производится сравнение ответа с шаблоном с предуведомлением тестируемого об ошибке при записи ответа. Это особенно важно для текстовых вопросов, т.к. ответы «правильно», «Правильно» и «пpaвильнo» - разные (первый и второй отличаются использованием прописной буквы, а третий коварно использует латынь вместо русских букв “p”, “a” и “o”). Рекомендуется очень четко формулировать, как именно пользователь должен указать ответ.

Например, «преобразуйте ставку процента, указанную за месяц (1%) с условием капитализации, таким образом, чтобы рассчитать ставку процента за год – ответ укажите в процентах с точностью до сотых без указания знака «%», в качестве десятичной точки используйте только точку «.» - например «11.75»» См. https://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test05.html

4. Вопрос на указание точки графического изображения

Реально контролируется указание точки в пределах одного или нескольких прямоугольников в пределах графического элемента (который также должен представлять из себя прямоугольник). Нельзя использовать изображение, любая из границ которого достигает 1000 точек (пикселей). Кстати, самые распространенные режимы представления графики просто не позволят увидеть на экране целиком изображение, превышающее 1000 точек. С точки зрения пользователя ответ указывается простым щелчком мышки в выбранной точке, а с точки зрения разработчика границы правильного ответа задаются числами в формате «XXX.YYY – XXX.YYY», где первое и второе число задают координаты противолежащих углов прямоугольника - от верхнего левого до правого нижнего, но отсчет координат исчисляется от левого верхнего угла изображения. См. https://www.ecavu.eco.univer.omsk.su/TestDefinition/QuestionExample/Test06.html

5. Другие типы вопросов (текст, кнопки, карты, реакция на клавиши и др.)

Другие типы вопросов представляют или проблему для описания правильного ответа (например, открытый блок текста – сравните с замечанием выше о строке текста), или находятся за границами «стандартного» HTML (даже предыдущий тип вопроса не сможет быть адекватно отображен всеми браузерами). Действительно, электронные тесты используют более широкий выбор типов вопросов, но не следует переносить все возможности на электронное тестирование в среде Интернет. Здесь вопросы тестов должны быть более жестко типизированы, что совсем не ограничивает разработчика. Например, как можно преобразовать вопрос с выбором графической области в вопрос с меню? Достаточно, чаще всего, явно «разметить» зоны на рисунке, подписать их и предложить выбор именованных зон.