Стандартных образовательных результатов

Широкое внедрение тестов в практику образовательных систем обуславливает необходимость подготовки педагогов к их применению.

Области применения тестов в педагогике определены достаточно разнообразные:

- выявление уровня усвоения учебного материала по отдельным темам, разделам, дисциплинам;

- определение факторов, влияющих на результативность обучения;

- ранжирование учащихся по уровню усвоения учебного материала в рамках одного раздела, одной учебной дисциплины;

- сравнение уровня усвоения учебного материала в рамках одной учебной дисциплины разными группами учащихся.

При этом решаются следующие педагогические задачи: проведение промежуточной и итоговой аттестации учащихся; определение наиболее успешных и неуспешных учащихся; распределение учащихся по группам для дальнейшего продолжения обучения; выделение наиболее способных и отстающих учащихся; определение эффективности методов, форм и средств, применяемых в процессе обучения, а также того, насколько корректно отобрано содержание образования; определение эффективности работы педагогов, образовательных учреждений.

Существуют три основных подхода в оценке образовательных достижений учащихся:

- критериально-ориентированный, позволяющий оценить насколько учащиеся достигли заданного уровня знаний, умений и отношений, например, определенного как обязательный результат обучения (образовательный стандарт). В данном случае оценка конкретного ученика не зависит от того, какие результаты получили другие ученики. Результат будет показывать соответствует ли уровень достижений данного ученика социально-культурным нормам, требованиям стандарта или другим критериям. При данном подходе результаты могут интерпретироваться двумя способами: в первом случае делается вывод о том, освоен или не освоен проверяемый материал (достиг стандарта или нет), во втором – дается уровень или процент освоения проверяемого материала (на каком уровне освоен стандарт или какой процент из всех требований стандарта усвоен);

- ориентированный на индивидуальные нормы конкретного ученика, реальный уровень его развития в данный момент времени. Результатом оценки в этом случае является темп усвоения и объем усвоенного материала по сравнению с его начальным стартовым уровнем;

- нормативно-ориентированный, ориентированный на статистические нормы, определяемые для данной совокупности учащихся. Учебные достижения отдельного ученика интерпретируются в зависимости от достижений всей совокупности учащихся, выше или ниже среднего показателя - нормы. Происходит распределение учащихся по рангам. Независимо от того, какая шкала используется при этом, все эти шкалы не дают информации об овладении учащимися определенной системой знаний и умений или о достижении ими конкретных целей обучения. Данный подход не соотносится с содержанием процесса обучения, а в работе учителя по оцениванию образовательных достижений значителен элемент субъективизма, свои оценки он делает относительно среднего уровня подготовки класса.

В последнее время наметилась тенденция объединения двух подходов (критериально-ориентированного и нормативно-ориентированного) при оценке образовательных достижений и использования в одном инструментарии (например, тесте) характеристик как тестов, ориентированных на норму, так и тестов, ориентированных на критерии.

Объединение подходов также происходит при интерпретации результатов выполнения теста, когда результаты одновременно используются для получения распределения учащихся по результатам выполнения теста, а также для получения информации об уровне усвоения данной совокупностью учащихся изученного материала. Например, испытуемые делятся на четыре группы по рейтингу их достижений (25-й, 50-й, 75-й и 90-й процентили) и для каждой группы отбираются статистически задания, которые описывают уровень подготовки учащихся в терминах знаний и умений.

Следовательно, при выборе инструментария и способов интерпретации и оценки образовательных достижений используется обычно совокупность подходов.

Многообразие тестов классифицируется по разным основаниям.

1. По способу интерпретации:

- тесты, ориентированные на нормы (нормативно - ориентированные): результат оценивается на основе предварительно полученных, статистически обоснованных норм (выполнил от 20 до 25 задач, что ниже/выше нормы).

- тесты, ориентированные на критерий (критериально - ориентированные): результат определяется на основе экспертной оценки (сдал/не сдал).

2. По процедуре создания:

- стандартизированные;

- нестандартизированные.

Стандартизируются процедура и условия прове­дения тестирования, способы обработки и интер­претации результатов, которые должны привести к созданию равных условий для испытуемых и ми­нимизировать случайные ошибки и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных.

В образовании можно выделить ряд задач, ко­торые могут быть решены нестандартизированными тестами. Однако для целей мониторинга воз­можно использовать только стандартизированный тестовый инструмент.

3. По средствам предъявления:

- бланковые (тесты «бумага и карандаш»), которые в свою очередь можно разделить на два вида:

· с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;

· с использованием бланков, в которых испытуемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий;

- предметные - в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий;

- аппаратурные - тесты с использованием устройств изучения особенностей внимания, вос­приятия, памяти и мышления;

- практические - появившиеся относительно недавно эти тесты сходны с известными у нас лабораторными работами (по химии, физике, биологии и пр.), однако снабженные соответствующими инструкциями и имеющие тестовое оснащение;

- компьютерные.

Кроме этого, B.C. Аванесов предлагает в рамках компьютерного тестирования выделить ещё адаптивные тесты - задания, в которых предъявляются по одному, в зависимости от ответа испытуе­мого на предыдущий вопрос. Вероятно, в этом есть смысл, поскольку большинство тестов предполагают предъявление конечного набора вопросов испытуемому и не предполагает зависимости от ответа на предыдущие вопросы. Вероятно, можно предположить возможность использования адаптивного тестирования и вне компьютерного предъявления.

Каждый из способов предъявления имеет свои плюсы и минусы. Компьютерные очень быстрые, однако они провоцируют случайные ошибки и не оставляют исходных результатов на случай апелляции, что ограничивает их применение для аттестации учащихся. Бланковые позволяют экономить на бумаге, удобны для пересылки, дают возможность сканирования для обработки результатов, но при они также не дают исходных результатов и прово цируют случайные ошибки, поскольку требуют наличия навыка работы с бланком. Кроме этого, необходимость проведения черновых записей провоцирует испытуемых на использование незаконных способов выполнения работы. Наиболее качественные результаты могут быть получены с использованием тестовых тетрадей, но при этом возникает проблема ввода результатов для обработки и необходимость дополнительных расходов на печать самих тетрадей.

Для нужд образования подходит любой из этих способов, при этом нужно помнить об одном: предъявляя один и тот же тест в разных формах, мы получим разные результаты. Нельзя сравнивать результаты тестирования, полученные в результате разных способов предъявления.

4. По направленности, т.е. по тому, что именно предполагается изучать с помощью данного теста:

- тесты интеллекта, выявляющие особенности последнего;

- личностные тесты (иногда называемые тестами темперамента), с помощью которых изучаются особенности личности испытуемого, помимо его интеллекта включая тесты мотивов (то же, что и тесты динамики), предназначенные для диагнос­тики мотивационно-потребностной сферы лично­сти, позволяющие определить, на что направлена активность индивидуума и каким образом осуществляется им саморегуляция поведения, тесты на­строений и состояний, направленные на изучение временных состояний, таких, например, как эмоции;

- тесты достижений.

5. По характеру действий:

- вербальные (связанные с необходимостью произведения умственных действий - словесно-логические тесты, вопросники на проверку знаний, установление закономерностей и пр.);

- невербальные (практические), связанные с практическим манипулированием предметами - карточками, блоками, деталями.

6. По ведущей ориентации:

- тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время;

- мощности или результативности, включающие трудные задачи, время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ решения задачи. Примером такого рода тестовых заданий могут быть задания для письменных итоговых экзаменов за курс школы;

- смешанные тесты, которые объединяют в себе двух вышеперечисленных. В таких тестах представлены задачи различного уровня сложности от самых простых до очень сложных. Время испытания в данном случае ограничено, но достаточное для решения предлагаемых задач большинством обследуемых. Оценкой в данном случае служат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения.

Эти тесты наиболее часто применяются на практике и именно к ним относится большинство тестов учебных достижений, которые можно использовать для нужд мониторинга[30].

При разработке теста принимаются во внимание определенные критерии в зависимости от принятой таксономии целей обучения. Чаще всего используются следующие критерии:

1. Знание фактов и взаимозависимостей между ними.

2. Решение и теоретических, и практических проблем.

3. Самостоятельная оценка.

4. Самостоятельное применение знаний в новых условиях.

Данные критерии отражают не все цели обучения, а только те, которые поддаются анализу с помощью дидактических тестов. Каждый из этих критериев может быть развернут в зависимости от изучаемого материала. Разрабатывая тест, очень важно учитывать в нем по возможности все четыре критерия. После утверждения плана теста приступают к разработке теста.

По видам деятельности учащихся содержание тестовых заданий условно делится на пять групп.

1. Понимание простой информации (терминов, фактов, понятий и явлений). Примеры данной деятельности: дать определение научным понятиям, назвать единицы измерения, описать простые явления. Задания, включающие данный тип деятельности, составляют 40% теста.

Пример 1. Воздух состоит из многих газов. Какого газа в воздухе больше?

а) азота;

б) кислорода;

в) углекислого газа;

г) водорода.

Пример 2. Кто из педагогов впервые обосновал два основных способа обучения: сообщающий (догматический) и развивающий (эвристический)?

а) А. Дистервег

б) Д. Локк

в) И.Г. Песталоцци

г) И.Ф. Гербарт

2. Понимание сложной информации, интегрирующей отдельные части простой информации. Примерами деятельности, иллюстрирующими понимание сложной информации, являются дифференциация, сравнение, противопоставление и синтез. Задания данного типа также составляют значительную часть теста - 29%.

Пример 1. Когда горящую свечу накрывают стеклянной банкой, пламя гаснет. Почему это происходит?

Пример 2. Д. Локк считал привычки необходимой основой воспитания. А как относился Ж.-Ж. Руссо к воспитанию привычек?

а) считал целесообразным вырабатывать только «правильные привычки»;

б) считал, что негативные привычки необходимо подавлять;

в) отрицал необходимость воспитания привычек;

г) считал необходимым развивать «правильные» привычки и подавлять «негативные».

3. Использование теории, анализ и решение проблем. Данная группа включает использование теоретических знаний для обобщения и вывода научных принципов, решения количественных (расчетных) задач, объяснения окружающих явлений, конструирования и применения моделей, а также принятия решений по различным проблемам. Тест включает 21 % заданий, соответствующих данной деятельности.

Пример 1. Составьте схему, показывающую, как вода, находившаяся в одном месте, может выпасть в виде дождя в другом месте, расположенном далеко от первого.

4. Использование приборов и материалов, стандартных процедур, и естественнонаучных методов (сбор, организация, представление и интерпретация данных). В тесте всего 6% заданий, предполагающих данные виды деятельности.

Пример 1. Как частота сокращения сердца зависит от нагрузки, испытываемой человеком? По графику определите, в какое время человек находился в состоянии покоя, когда – в состоянии нагрузок и каков период восстановления его сил.

5. Проведение исследований (выявление вопросов, которые нужно исследовать, планирование и проведение исследования, интерпретация данных исследования, формулирование выводов). Проверка перечисленных выше умений обычно осуществляется в процессе практического проведения исследований. Однако при определенных условиях овладение данными умениями можно оценить с помощью заданий с выбором ответа и заданий со свободными ответами. Обычно тест включает небольшое число заданий данного типа (4%).

Пример 1. Допустим, что вы хотите выяснить, как частота сокращения сердца изменяется при изменении активности человека. Какие материалы и приборы вы будете использовать в исследовании? Какова будет последовательность ваших действий?

Количество заданий в тесте зависит от объема материала, детализированности предполагаемой проверки, а также от времени тестирования. Опыт использования тестовых заданий позволяет выявить подходящие варианты таких заданий (см. табл.3).

Рассмотрим одну из технологий создания теста[31].

Последовательность разработки включает в себя следующие этапы:

1. Определение целей разработки и применения теста.

2. Отбор содержания, на основе которого будут строиться тестовые задания.

3. Формулирование списка требований к знаниям и умениям учащихся.

4. Выделение основных понятий и построение графа взаимосвязей понятий.

5. Разработка заданий в тестовой форме.

6. Превращение заданий в тестовой форме в тестовые задания.

7. Получение набора тестовых заданий.

8. Формирование из тестовых заданий псевдотеста[32].

9. Проведение полученного псевдотеста.

10. Интерпретация результатов тестирования и статистическая обработка результатов псевдотеста.

11. Получение из псевдотеста теста.

12. Статистическая оценка качества полученного теста и тестовых заданий.

Задания в тестовой форме формируются исходя из содержания учебного курса и требований к знаниям и умениям учащихся.

Один из подходов, облегчающий процесс разработки заданий в тестовой форме, заключается в построении хорошо структурированной модели знаний в виде ориентировочного графа. В вершинах графа располагаются понятия со своими свойствами, а их зависимости определяются отношениями. После построения набора заданий в тестовой форме, мы будем пытаться превратить каждое задание в тестовой форме в тестовое задание (для этого необходимо каждое задание сформулировать в форме предиката от одной или нескольких переменных). Если какое-либо из заданий не удалось сформулировать в виде предиката, то такое задание удаляется. После этого получаем набор тестовых заданий.

Из полученного набора заданий выбираем те, которые, на наш взгляд, позволят получить наиболее адекватное представление об уровне знаний тестируемого. Объединив это задания произвольным образом, получим псевдотест, который проводится в экспериментальной группе. Результаты выполнения псевдотеста фиксируются и затем статистически обрабатываются.

Затем проводится «чистка» псевдотеста: из него удаляются слишком легкие и слишком трудные задания; задания, «плохо» работающие (не различающие тестируемых по уровню знаний и пр.). После проведенной чистки можно уже из оставшихся заданий формировать тест (оставшиеся задания располагаются по уровню трудности).

Далее тест проводится, и после проведения оцениваются его критерии качества, пишется руководство к тесту. Тест готов к эксплуатации.

В содержании руководства к тесту отражается следующая информация:

- назначение и психолого-педагогическое содержание;

- ограничения и показания для применения;

- ссылки на апробацию теста;

- инструкция по проведению процедуры тестирования;

- правильные ответы к заданиям теста;

- характеристика тестовых заданий (вид и форма, коэффициент корреляции каждого задания с суммой баллов по всему тесту, коэффициент корреляции каждого задания с другими заданиями теста, индекс трудности каждого задания, дискриминативность каждого задания);

- характеристика теста (надежность, валидность, эффективность, вид и форма);

- правила обработки и интерпретации результатов.

Инструкция по проведению теста, содержащаяся в руководстве для исследователя, включает описания:

1. Условий проведения теста,

2. Материалов и приборов, требуемых при проведении (карандаши, резинки, тест-пробы; черновики, бланки для ответов и др.), а также порядка их размещения и предъявления;

3. Временных ограничений;

4. Полного текста сообщения для испытуемых;

5. Поведение экспериментатора во время проведения теста;

6. Ответов на возможные типичные вопросы.

Инструкция для тестируемого включает описание правил заполнения тестового бланка. Она должна соответствовать требованиям ясности, доступности, подробности. От соблюдения этих правил зависит понимание инструкций тестируемыми и, следовательно, отсутствие лишних вопросов. В окончательном варианте теста изменение инструкции допустимо только лишь в том случае, если они показали свою несостоятельность.

Разработаны и другие технологии разработки педагогических тестов (А.Н. Майоров, Т.А. Снегирева, М.Б. Челышкова, др.)

& Основная литература:

1. Майоров А.Н. Теория и практика создания тестов для системы образования. Как выбирать, создавать и использовать тесты для целей образования / Майоров, А.Н. – М., 2000. – 352 с.

2. Гулидов И.Н., Шатун А.Н. Методика конструирования тестов / Гулидов, И.Н., Шатун, А.Н. – М.: Форум – Инфра-М, 2003. – 111 с.

3. Модернизация общего образования: Оценка образовательных результатов: Книга для учителя /Под ред. проф. В.В. Лаптева, проф. А.П. Тряпицыной. – СПб.: Изд-во «СОЮЗ», 2002. – 112с.

4. Национальное тестирование // Мясников В.А., Найденова Н.Н. Постсоветское образовательное пространство в контексте педагогических измерений. – М.: ИТИП, 2006. – С. 333-402

5. Педагогические измерения в международном образовательном пространстве // Мясников В.А., Найденова Н.Н. Постсоветское образовательное пространство в контексте педагогических измерений. – М.: ИТИП, 2006. – С.267-332

6. Снегирёва Т.А. Разработка контрольных измерительных материалов для диагностики структуры знаний обучаемых / Снегирёва, Т.А. // Школьные технологии. – 2007. - № 2.

& Дополнительная литература:

1. Голикова Е.И. Методика разработки тестовых заданий при обучении информатики в школе. Автореф. на соиск. уч. степени канд. пед. наук./ Голикова, Е.И. – СПб, 2003. – 18 с.

2. Майоров А.Н. Тесты школьных достижений как средства аттестации учащихся. Автореф. на соиск. уч. степени канд. пед. наук./ Майоров, А.Н. – СПб, 1997. – 24 с.

3. Равен Дж. Педагогическое тестирование. Проблемы, заблуждения, перспективы / Равен, Дж. – М.: «Когнито Центр», 2001. – 140 с.

4. Паринова Г.К., Гришина Н.Ю. Формирование успешности учащихся средствами рейтингового контроля / Паринова, Г.К., Гришина, Н.Ю. //Школьные технологии. – 2003. - № 6.

5. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие./ Челышкова, М.Б. – М.: Исслед. центр проблем качества подготовки специалистов. – М., 2001

Таблица 3.