Progress achievement test

Тесты, текущего и промежуточного контроля успеваемости измеряют прирост знаний, навыков и умений по изучаемому языку за определенный отрезок времени (месяц, четверть, семестр). Такие тесты, привязанные, в первую очередь, к текущему учебному материалу и конкретным задачам этапа обучения, должны составляться с учетом более общих учебных задач, достижение которых ожидается к концу курса обучения в учебном заведении данного типа. Так проявляется преемственность между тестами текущего и итогового контроля успеваемости и реализуются такие важные требования контроля, как его систематичность, поэтапность и объективность. Кроме констатирующей и оценочной функций тесты учебных достижений выполняют диагностическую функцию.

Final achievement test

Тест итогового контроля успеваемости проводится в конце курса обучения с целью проверки усвоения учебного материала и овладения речевыми умениями за весь курс. Этот тест может быть подготовлен Министерством образования, официальными экзаменационными комиссиями или сотрудниками учебных заведений.

Главная отличительная особенность итоговых тестов успеваемости по сравнению с тестами общего владения иностранным языком (см. Proficiency test, с. 194) заключается в том, что они обязательно связаны с предыдущим курсом обучения. Тест может непосредственно опираться на содержание учебной программы и включать в себя образцы пройденного учебного материала, и, таким образом, его результаты будут констатировать, насколько успешно пройден этот материал. В другом случае итоговый тест успеваемо-

 

 

сти может ориентироваться преимущественно на заявленные учебной программой цели и задачи обучения, и тогда он определяет соответствие или несоответствие уровня сформированных навыков и умений намеченным целям (Hughes 1993, р. 11-12).

Norm-referenced test vs. Criterion-referenced test

Нормо-ориентированный тест определяет уровень обученности и/или языковой компетенции учащегося относительно других учащихся. Нормой считается показатель владения иноязычной речью, определяемый тем или иным способом. Нормы могут быть соотнесены с такими факторами, как возраст учащихся, продолжительность предшествующего обучения. Традиционные экзамены и контрольные работы были ориентированы в основном на нормы, в последнее же десятилетие все большее предпочтение отдается тестам, ориентированным на определенные критерии (criterion-referenced tests). Критериально-ориентированный тест определяет уровень обученности учащихся относительно определенного критерия. Этот критерий устанавливается без учета различий, которые могут существовать между учащимися.

Противопоставление нормо-ориентированных тестов критериально-ориентированным является до некоторой степени искусственным, так как большинство тестов ориентируется и на нормы, и на определенные критерии.

6.3. Testing techniques — Приемы контроля

Testing techniques

Приемы контроля — это конкретные действия учителя, направленные на контроль сформированности речевых навыков и умений, на определение уровня обученности. Приемы контроля реализуются в разнообразных видах и формах контроля, включая лингводидактическое тестирование (см. Test, с. 189). Testing в сочетании testing techniques соответствует термину «контроль» в широком толковании (см. Testing, 1, с. 188).

Наряду с термином testing techniques используется термин test method (Bachman 1990).

Между приемами контроля и приемами обучения (см. Techniques, с. 124) существует неразрывная связь и взаимное влияние как проявление единства обучения и контроля. Фактически большинство приемов обучения могут быть использованы как приемы контроля, иными словами, большинство приемов контроля повторяют приемы обучения. Ряд тестов (в широком понимании термина — объективные и субъективные тесты), в которых реализуются приемы контроля, и тренировочные упражнения, в которых реализуются приемы обучения, совпадают, но, в отличие от упражнений, тесты:

• направлены на проверку уровня сформированности речевых умений;
• менее разнообразны;
• могут быть использованы в более свободной последовательности;
• исключают подсказки, пояснения, ориентировочную основу;
• предполагают жесткую регламентацию по времени;
• выполняются чаще индивидуально и реже в парном или групповом режиме.

 

При тестировании отмечается повышенная мотивированность обучаемых, нацеленных на успешное выполнение задания.

Что касается объективных тестов, то их составление требует соблюдения строгих технологических правил, в отличие от технологии составления тренировочных и традиционных контрольных упражнений.

См.: Davies 1990, р. 17; Alderson et al. 1995, pp. 41-42; Брейгина 1991; Симкин 1996; Товма 1996.

Cloze procedure

Методика восстановления (дополнения). Учащимся (испытуемым) предъявляется связный текст, в котором преднамеренно пропущены отдельные слова. Испытуемые должны вставить слова, подходящие по смыслу, восстанавливая таким образом деформированный текст. В данном случае имеет место прогнозирование лингвистических элементов на уровне слова с опорой на неполноценный контекст.

При «препарировании» текста в нескольких предложениях в начале текста пробелы не делаются, чтобы испытуемые могли ознакомиться с темой. Не рекомендуется использовать узкоспециальные тексты и тексты, содержащие большое количество фактов. Пропуск слов может быть фиксированным и нефиксированным. При фиксированном пропуске слов (fixed-ratio method или standard cloze procedure) из текста удаляется каждое энное слово (где п колеблется от 5 до 10). Нефиксированный пропуск слов (variable-ratio method) осуществляется в зависимости не от порядкового номера слова, а от избранного критерия: например, удаляются некоторые знаменательные слова (только существительные, прилагательные и т. п.) или служебные слова. Выбор той или иной разновидности методики дополнения зависит от конкретной цели.

Методика восстановления служит:

• для определения читабельности (степени сложности) текста при отборе материала для чтения (readability test: Nuttall 1982, p. 29);
• для создания клоуз-тестов, проверяющих уровень понимания текста и оценивающих владение языком (см. ниже, Cloze test);
• для разработки тренировочных (подготовительных) упражнений на заполнение пропусков (см. Gap-filling, с. 136);
• для анализа ошибок и определения эффективности обучения (Oiler 1992, р. 348).

Впервые методика восстановления была использована для измерения читабельности текста (Weir 1990, р. 46; Heaton 1994, р. 131), но впоследствии стала широко применяться как средство контроля в виде клоуз-тестов.

При проверке заданий, основанных на методике дополнения, и их оценке в качестве правильного ответа зачитывается каждое точно восстановленное слово (exact word method) или любое слово, удовлетворяющее данному контексту (acceptable word method, contextually appropriate method). Во втором случае не исключается субъективная оценка со стороны тестирующего.

Cloze test

Клоуз-тест — тест восстановления или дополнения, один из приемов прагматического тестирования, основанный на методике восстановления (см. выше, Cloze procedure). Превращению целенаправленно деформированного текста в тест должна предшествовать трудоемкая работа по его экспериментальной

 

проверке и стандартизации. При помощи клоуз-теста достаточно точно и объективно устанавливаются степень сформированности рецептивных лек-сико-грамматических навыков чтения и уровень понимания прочитанного. Клоуз-тест применяется также для оценки общего уровня владения языком.

В основе клоуз-теста лежит связный текст, а его восстановление требует взаимодействия различных навыков и умений — рецептивных и продуктивных. Испытуемый должен обработать смысловую информацию микроконтекста пропуска, проанализировать грамматическую схему этого микроконтекста, извлечь из долговременной памяти вербальные элементы, подходящие по смыслу и удовлетворяющие требованиям словосочетаемости (Ейгер, Рапопорт 1992). Как прием прагматического тестирования этот тест является интегральным, в отличие от дискретного теста множественнного выбора (см. ниже, Multiple-choice test). Клоуз-тест следит за процессом чтения, то есть контролирует понимание текста при чтении. Тест множественного выбора, напротив, соотносится с продуктом деятельности — чтения, а именно оценивает умение читающего интерпретировать извлеченную из текста информацию.

Некоторые авторы считают клоуз-тестами только тексты с фиксированным пропуском слов, то есть с пропуском каждого энного слова независимо от его функции в предложении (Alderson et al. 1995). Другие же понимают под клоуз-тестом не только тексты с фиксированным пропуском слов, но и с пропуском конкретных грамматических, лексических единиц или элементов дискурса, подлежащих тестированию (Carter 1991, р. 161).

См.: Hughes 1993; Красюк 1986; Коккота 1989; Поляков 1994.

C-test

Си-тест является разновидностью клоуз-теста (см. Cloze test, с. 198). Особенность си-теста заключается в том, что при его подготовке из текста удаляется вторая часть каждого второго слова вместо изъятия языковых единиц в целостном виде через больший интервал. Представленная первая часть каждого второго слова служит подсказкой для тестируемых при заполнении пропусков подходящими по смыслу словами. При проверке заданий в виде си-теста правильным считается каждое точно восстановленное слово (exact-word method).

Достоинствами си-теста считаются его экономичность и репрезентативность. В небольшом по объему тексте содержится большое количество пропусков. Проверка теста занимает мало времени и является объективной в силу однозначности ответов. Отличаясь надежностью, си-тест уступает другим приемам тестирования по такому критерию, как внешняя валидность (см. Face validity, с. 205), поскольку искаженный вид предъявляемого текста с большим количеством пропусков озадачивает и отталкивает испытуемых (Weir 1990, р. 46; Коккота 1989).

Multiple-choice test

Тест множественного выбора. Психологической основой работы испытуемых с тестами множественного выбора является узнавание, сравнение и выбор, а отличительный внешний конструктивный признак этого теста — ряд выборочных ответов (options / alternatives), следующих за основой тестового задания, в которой преднамеренно пропущена одна языковая единица. Зада-

 

ча испытуемого — выбрать один правильный ответ из нескольких вариантов. В отличие от клоуз-тестов тесты множественного выбора являются дискретными и направлены на проверку владения языковым материалом и оценку сформированности, в основном, рецептивных навыков и умений (см. Cloze test, с. 198).

Очевидные преимущества тестов множественного выбора: надежность измерения, экономичность и быстрота. К недостаткам этих тестов можно отнести ограниченную сферу их применения, трудность составления методически грамотного теста и большую вероятность догадки при выборе правильного ответа. Самая значительная трудность при профессиональной подготовке теста множественного выбора заключается в поиске и выборе неправильных, отвлекающих ответов — abstractors (Goodrich 1977).

Тест множественного выбора должен отвечать следующим основным требованиям (Heaton 1994, р. 30):

• задания должны быть краткими, точными, предпочтительно представленными в контексте;
• каждое задание должно иметь только один правильный ответ;
• в каждом задании проверяется только один элемент, например элемент грамматики или лексики;
• каждая альтернатива должна быть в грамматически правильной форме;
• оптимальное число альтернатив — 5 (многие авторы рекомендуют 4 альтернативы для грамматических единиц и 5 — для лексических).

Dictation

Диктант — вид письменной работы, записывание под диктовку. Традиционно диктант широко использовался как средство обучения и средство контроля, в основном, орфографической грамотности. В методике обучения иностранным языкам разработаны различные виды диктантов: традиционный (словарный) диктант (standard dictation), частичный диктант (см. Partial dictation, с. 201), диктант-сочинение (dictocomp / dictogloss), диктант со звуковыми помехами (dictation with noise), само диктант (self-dictation), парный диктант (mutual dictation) и др. (Hughes 1993; Wilberg 1996, p. 125; Глухов, Щукин 1993; Мильруд 1997).

Письмо под диктовку требует выполнения ряда действий и операций в условиях дефицита времени: определение смысла услышанного сообщения и его полное письменное воспроизведение. Это возможно при сформированности умений распознавать акустическую форму слова и соотносить ее с графическим образом слова, удерживать в памяти отрезки речевой цепи (Ейгер, Рапопорт 1991, с. 65).

Развитие идей прагматического тестирования в зарубежной методике послужило причиной «возрождения» диктанта как одного из приемов контроля для получения общей характеристики владения иноязычной речью испытуемыми в том случае, когда текст предъявляется со скоростью разговорной речи.

Последние годы отмечены интересом к диктанту не только как к одному из приемов прагматического интегрального тестирования, но и как к одному из приемов обучения. Новые, плодотворные идеи разработки различных видов диктантов изложены в книге: Davis and Rinvolucri 1993.

 

 

Partial dictation

Частичный диктант — стандартизированное контрольное задание, сочетающее традиционный диктант (см. Dictation, с. 200) — записывание текста, воспринимаемого на слух, — с клоуз-тестом (см. Cloze test, с. 198). Учащимся предлагается письменный текст с пропусками отдельных слов, словосочетаний, фраз. В ходе прослушивания полной аудиоверсии того же текста учащиеся должны заполнить пропуски в его письменном варианте. Частичный диктант дает возможность комплексной проверки рецептивных навыков и умений.

Частичный диктант может быть использован и как тренировочное упражнение для развития умений в аудировании с извлечением выборочной информации (см. Listening for partial comprehension, с. 104).

Reception testing

Контроль сформированности рецептивных умений в чтении и аудировании. При контроле рецептивных видов речевой деятельности полезно иметь в виду две группы объектов контроля. Одна группа связана с результатом чтения или аудирования, то есть объектом контроля является понимание прочитанного или прослушанного текста. Другая группа связана с процессом становления и функционирования рецептивных речевых умений (Брейгина 1991, с. 25). Учитывая сходство психологического механизма рецептивных видов речевой деятельности, для проверки понимания прочитанного или прослушанного текста могут быть использованы сходные приемы контроля (тестирования), повторяющие собой приемы обучения:

• questioning — вопросно-ответная работа,
• classifying (selection, matching, ranking, и др.) — упражнения на организацию языковых или речевых единиц,
• true-false statements — верные-неверные утверждения,
• note-taking — конспектирование,
• mind-mapping — составление логико-семантической карты,
• information transfer / media transfer — перекодирование информации,
• discussion — обсуждение,
• retelling — пересказ.

Для проверки сформированности умений в чтении и аудировании применяются лингводидактические тесты (см. Cloze test, с. 198; C-test, с. 199; Multiple-choice test, с. 199).

Тестовые задания могут выполняться одновременно с чтением или восприятием текста на слух, а также могут следовать за предъявлением текста (в этом случае они выполняются на основе припоминания). Контроль рецептивных умений на современном этапе отличается практически полным отказом от предъявления разрозненных высказываний, использованием аутентичных законченных текстов разного объема и увеличением протяженности текста, предназначенного для прослушивания. Указанные свойства, характерные для прагматического интегрального тестирования, повышают валид-ность рецептивных тестов (см. Testing techniques, с. 197; Pragmatic test, с. 193; Integrative test, с. 194).

 

 

Oral testing

Устный контроль — проверка устно-речевой компетенции (сформированно-сти слухопроизносительных и продуктивных лексико-грамматических навыков и умений устной речи). Устная форма контроля экспрессивной речи (устно-речевого общения) позволяет выявить наиболее важные для данного вида речевой деятельности свойства: речевую реакцию, речевые автоматизмы, спонтанность, темп речи. В устной форме можно проверить и понимание прочитанного (прослушанного) текста. Устный контроль может быть фронтальным, индивидуальным или групповым. Фронтальная проверка в виде опроса (oral test) наиболее удобна для текущего контроля, а индивидуальная характерна для итогового контроля и проводится обычно в виде собеседования (см. ниже, Oral interview; Production testing, с. 202). Подробно о приемах устного контроля см.: Underbill 1993.

Эффективное проведение устного контроля требует специфических профессиональных умений со стороны учителя иностранного языка: умение создать обстановку, благоприятную для контроля, стимулирующую речемыслительную и коммуникативную активность обучающегося; умение задавать наводящие, уточняющие вопросы, исправлять ошибки, формулировать оценки и рекомендации (об этом подробнее см.: Елухина, Жукова 1991).

Oral interview

Собеседование — прагматический тест устной коммуникации, один из приемов устного контроля (см. выше, Oral testing), прямое речевое взаимодействие между экзаменатором (interviewer) и учащимся (learner / interviewee) с целью определения уровня владения иноязычной устной речью (умениями аудирования, монологическими и диалогическими умениями). Экзаменатор, внешне выступая в роли собеседника, тем не менее обладает инициативой в разговоре, направляет речь учащегося в нужное русло, используя методические приемы, стимулирующие речемыслительную активность экзаменуемого и вовлекающие его в иноязычное общение. Несмотря на то что действия экзаменатора и экзаменуемого до некоторой степени запрограммированы, последний свободен в выборе ответов на вопросы, в изложении своих взглядов и оценок. Собеседование предполагает наличие тщательно разработанной шкалы оценок устно-речевой иноязычной деятельности (Underbill 1993, р. 54; Fulcher 1996).

6.4. Test validity and reliability — Валидность и надежность тестов

Validity

Валидность, одна из основных характеристик эффективности теста, включает в себя широкий круг понятий. В самом общем виде валидность показывает, чтб измеряет тест и насколько хорошо он это делает. Другими словами, валидность указывает на ббльшую или меньшую степень пригодности теста для его использования с определенной целью. Многие зарубежные педагоги и психологи сходятся в том, что важнейшими сторонами этого показателя эффективности теста является обоснованность содержания, или содержательная валид- Production testing

Контроль сформированности продуктивных умений в говорении и письме. В силу особенностей процесса речепорождения и условий функционирования экспрессивной письменной и устной форм коммуникации для достижения большей валидности контроль сформированности умений в говорении и письме осуществляется разными приемами, которые, в свою очередь, повторяют приемы обучения этим видам речевой деятельности. В этом заключается одно из отличий контроля сформированности экспрессивной речи. Другим отличием является то, что при определении уровня владения продуктивными умениями сложнее решается проблема критериев, а сам процесс проверки отличается большей субъективностью, трудоемкостью (особенно при оценке письменных контрольных работ), а также имеет организационную специфику (см. Oral testing, с. 203).

Для проверки сформированности умений в экспрессивной устной речи (репродуктивной, продуктивной, диалогической, монологической) используются:

• questioning — вопросно-ответная работа,
• information transfer / media transfer — перекодирование информации,
• ranking — ранжирование информации,
• presentation — устное выступление,
• oral interview — собеседование,
• oral reporting — устное сообщение,
• drama — приемы драматизации (ролевые игры, сценарии и т. д.),
• discussion — обсуждение,
• problem solving — решение проблемных задач,
• oral summary — краткий пересказ,
• retelling — подробный пересказ,
• oral commentary — устный комментарий.

Указанные приемы контроля осуществляются в индивидуальном, парном и групповом режиме.

Для проверки сформированности умений в экспрессивной письменной речи используются различные виды письменных работ. Большинство из них представляют собой функциональные типы письменных сообщений (см. Types of writing, с. Ill):

• form completion — заполнение бланков,
• letter-writing in response to information — написание письма в ответ на полученную информацию (письмо-жалоба, письмо с выражением благодарности, поддержки или несогласия и т. д.),
• written commentary — письменный комментарий к полученной информации,
• information transfer / media transfer — перекодирование информации,
• dictation — различные виды диктантов (см. Dictation, с. 200),
• summary writing — письменное сообщение, представляющее полученную информацию в сжатом виде (краткое изложение, рецензия, аннотация и т. д.); при этом степень компрессии может быть разной (см. Summarizing, с. 114),
• editing — редактирование собственных и чужих письменных произведений,
• composition — сочинение,
• essay — эссе.

 

ность (content validity), сопряженная валидность (concurrent validity), прогностическая валидность (predictive validity / prognostic validity), конструктивная валидность (construct validity) и внешняя валидность (face validity). Различные стороны, или типы, валидности являются по существу разными способами ее определения.

Валидность лингводидактических тестов и других форм контроля усиливается за счет следующих параметров:

• предъявление материала в контексте;
• использование аутентичных материалов в рецептивных тестах;
• создание ситуаций, приближенных к реальной жизни при контроле устно-речевых навыков и умений;
• использование коммуникативных заданий, отличающихся целевой направленностью, завершенностью и ориентированных на достижение результата (речевого продукта), особенно при контроле экспрессивной письменной речи.
• использование групповых, парных форм контроля.

Content validity

Содержательная валидность лингводидактических тестов определяется тем, насколько полно и всесторонне тест охватывает учебный материал, для проверки которого он был сконструирован, и зависит от глубины предварительно проведенного составителями теста анализа учебного плана и программы, содержания учебников, от точности и полноты формулировок целей обучения. В языковых тестах содержательная валидность определяется использованием в них соответствующего языкового материала.

Concurrent validity

Сопоставительная валидность предполагает сопоставление результатов проведенного теста с результатами другого теста, самооценкой испытуемых, оценками преподавателей, которые были получены примерно в то же время. Результат сравнения обычно выражается в виде коэффициента корреляции.