2014-02-12
468
Прежде всего разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих выполнение учебных заданий, был верен и каж дое из ум ств енных дей ствий им еет сво е собстве нное ло гическое со держание. Эт а задача решается п утем составления результатов по отдельным субтестам КОРТ '. Если
каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь.
Модель умственных действий, представленная в методиках КОРТ, должна быть иссле дована с то чки зрения ее содержательн ого соответствия реально м у выпо лнению учащимися учебных заданий. Это достигается путем сопоставления результатов КОРТ и представительных выборок учебных контрольных заданий (сокращенно КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д.
Если анализ логического состава умения верен и владение совокупностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выпо лнением учебны х заданий, то следует ожидать, что учащиеся, кото рые владеют всеми умственными действиями по методике КОРТ, успешно выполнят и КЗ. Соответственно те учащиеся, кото рые не владеют ни одним из умственны х действий, заданных КОРТ, с ними не справятся. Проверка этого предположения осуществляется путем установления зависимости между выполнением методики КОРТ и КЗ.
' При сопоставлении выполнения субтестов КОРТ, а также методики КОРТ в целом с другими методиками обычно используют Ф-коэффициент (коэффициент Пирсона для дихотомических данных) как оптимальный метод анализа экспериментальных данных подобного характера (см. главу XIV).
Сопоставление методик КОРТ и КЗ не может ограничиваться рассмотрением коэффициентов корреляции, поскольку этот коэффициент не говорит о причинах совпадений или расхождений. Возникает необходимость качественного анализа рассогласований. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами.
Специальном у ан ализ у по длежат также данные учащи хся, кото рые, владея лиш ь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Будет правомерным предположить, что успех выполнения заданий (КЗ) здесь может непосредственно зависеть от того, удается ли им заменить то умственное действие, которым они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулированием условия задания, с перестройкой умственных действий для решения задания. В исследовании математического КОРТ, например, был выявлен и проанализирован случай, в котором может идти речь о компенсации.
По результатам методик математического КОРТ учащийся владеет лишь двумя из умс твенны х действий — выделением сущ ест венного и установлением тождества. Ем у предлагают установить, какое из трех уравнений к задаче составлено правильно. Учащийся выполняет задание следующим образом. Он выделяет в условии данной ему задачи основание для уравнивания и составляет уравнение (выделение существенного), затем последовательно сопоставляет полученное им уравнение с тремя предложенными вариантами (установление тождества) и тем самым правильно выполняет контрольное задание.
Вместе с тем актуализация этих умственных действий по отношению к данному заданию представляет собой неэкономный в логическом плане способ решения. Ориентация на тип задачи и характеризующий его вид уравнения позволила бы сократить зону поиска. Но для этого следовало бы использовать умственные действия нахождения аналогии и определения классификации, а ими-то учащийся не владеет. Компенсация здесь заключалась в том, что учащийся заменяет те действия, которыми он не владеет, другими, позволяющими справиться с заданием.
Анализ рассогласований в выполнении методик КОРТ и КЗ позволяет исследователю выявить присущие учащимся способы выполнения заданий и оценить, насколько эти способы отвечают задачам умственного развития в области математики.
Корт своими содержательными и структурными характеристиками соответствует конкретной ситуации обучения и поэтому может служить оперативным средством контроля и оценки результатов обучения. Разработка и исследование таких тестов всегда связаны с реш ени ем акт уальных учебно-образоват ельны х задач. С по мо щью ме то ди к КОРТ учителя и психологи могут выявить объективные показатели умственного развития в отношении тех разделов обучения, которые соотносимы с ключевыми, ведущими требованиями школьной программы. Анализ выполнения теста позволяет локализовать и раскрыть недостатки и пробелы в логико-психологической и учебной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. Критериально-ориентированное тестирование может выступить как один из компонентов обратной связи в функционировании системы образования. Применение методик КОРТ позволяет выявить, соответствуют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. И не случайно первый опыт разработки методик КОРТ был вызван необходимостью углубленного психологического анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и приемов мыслительной деятельности в конкретных областях предметного содержания.
ДИАГНОСТИКА РАЗВИТИЯ ЕСТЕСТВЕННОНАУЧНОГО МЫШЛЕНИЯ
Современная психологическая диагностика располагает достаточно большим
арсеналом методик для оценки сформированности математического мышления, о чем
шла речь в предыдущем параграфе, а также лингвистического и технического
мышления. Это связано с достаточной исследованностью проблемы содержания и
структуры данных видов мышления.
Отсутствие до недавнего времени методик, посвященных диагностике сформированности естественнонаучного мышления, было связано, как отмечается в литературе, с неразработанностью специфики этой проблемы (Г.А. Берулава, 1991).
Выработка эффективных способов естественнонаучного мышления у учащихся связана с ориентацией не на жесткие алгоритмы мыслительной деятельности, а на предписания алгоритмического и эвристического типов. В связи с этим для диагностики
сформированности процесса теоретического естественнонаучного мышления должны использоваться задания качественного характера, решение которых невозможно подвести под жесткий алгоритм. Качественными заданиями в естествознании (в отличие от расчетны х, эксперимент альны х и гр афических задач) называются за дания, кото рые решаются логическим способом При решении данного типа заданий не требуется никаких вычислений, определяются только качественные зависимости между объектами Существенно и то, что качественная форма проблемной ситуации в наибольшей степени соответствует реальной ситуации научного поиска Известно, что ученые, представители естественных наук, при решении сложных научных проблем избегают формализации ситуации поиска Вследствие этого используемые для исследования естественнонаучного мышления качественные задания релевантно отражают специфику естественнонаучного мышления, и именно такие задания позволяют диагностировать этапы и уровни развития мышления учащихся. В связи с этим необходимо отметить, что в традиционных методиках диагностики мышления используются преимущественно задания алгоритмического характера При этом оценка сформированности у учащихся отдельных умственных действий, и прежде всего действия обобщения, основывается на предположении о том, что, усвоив определенное правило, определенный алгоритм, учащийся может безошибочно решить задачу. Соответственно подобные диагностические методики фактически диагностируют специфику математического мышления и в большей степени сформированность у индивида определенных умений.
В противоположность этому использование нестандартных качественных задач ориентировано на диагностику сформированности продуктивного, творческого мышления
Дифференциация стадий сформированности естественнонаучного мышления должна осущес твляться в зависимости от сформированности действия тео рети ческого обобщения Основное содержание теоретического обобщения определяет процессы синтеза, осуществляемые как переход мысли от известной закономерности к применению ее в конкретных условиях.
Структура теста должна быть связана с диагностикой развития естественнонаучного мышления как процесса. При этом если диагностика процесса мышления на микроуровне направлена на исследование сформированности отдельных нормативных составляющих мыслительных процессов (прежде всего анализа и синтеза) и выявление тем самым реального процесса мышления в его индивидуальном варианте, то диагностика мыслительного процесса на макроуровне предполагает анализ сформированности его отдельных стадий и определения, таким образом, индивидуальных моделей развития мышления И та и другая диагностика при этом связаны с оценкой промежуточных результатов в развитии мышления, но непосредственно интегрированных с процессом мышления и вследствие этого характеризующих его
Диагностируя мышление как процесс, мы фиксируем его отдельные результаты в определенных точках временной шкалы
Понимание мышления как процесса не может абстрагироваться от составляющих
его действий и операций, сформированность которых на каждом временном этапе выступает как определенный промежуточный результат
Сформированность теоретического обобщения определяется качеством его выполнения (правильность выполнения задания) и его устойчивостью (переход от абстрактного к конкретному выполняется для различных типов связей) Это означает, что ребенок может устойчиво выделять общее и особенное в различных ситуациях В количественном аспекте коэффициент сформированности действия теоретического обобщения (Kg) на каждой из стадий может определяться как отношение количества решенных задач (О) к общему количеству (S), т е Kg = 0/S
Существенно, что определение коэффициента сформированности действия теоретического обобщения не предполагает суммирования правильно решенных задач по отдельным стадиям, поскольку каждая из них будет связана со своим "масштабом" развития При этом мы основывались на очень точном замечании Л С Выготского о том, что "не может существовать равных единиц для измерения всех ступеней в развитии интеллекта, каждая качественно новая ступень требует своей особой меры" (1984 Т 4 С 56)
Возникает проблема появления нового интегративного способа мышления, характерного для мышления современных ученых-естествоиспытателей Могут быть выделены две стадии сформированности теоретического естественнонаучного мышления' дифференциально-синтетическая (в основе которой лежат внепредметные теоретические обобщения) и стадия синтетическая (в основе которой — межпредметные теоретические обобщения) Различие выделенных стадий обусловлено качественным сво еобрази ем си нт еза есте ственнона учны х зн аний Рассмо тр енны е стадии разл ич аютс я по уровню теоретического обобщения, однако это различие связано не просто с объемом материала, на базе которого осуществляется обобщение (тес "широтой охвата"), но с качественным своеобразием данного обобщения и, в частности, с ориентацией на всеобщее, а не на особенное отношение
В то же время современное естественнонаучное образование не ориентировано на формирование у учащихся интегративного способа мышления Теоретическое естественнонаучное мышление формируется как дифференциально-синтетическое (физическое, химическое, биологическое) на основе внутрипредметных обобщений с ориентацией на особенные для каждой естественной науки сущности Это во многом обусловлено тем, что в качестве основы межпредметных связей указываются различные типы ассоциаций, при этом практически игнорируется основополагающая роль теоретических обобщений как психологической базы установления связи между научными понятиями
В рамках эмпирического типа мышления могут быть выделены эмпирически-бытовая и эмпирически-научная стадии Для эмпирически-бытового способа мышления характерна апелляция учащихся к своим донаучным представлениям, стремление решить задачу на бытовом уровне Общей отличительной особенностью данного способа мышления является то, что ребенок ищет путь решения задачи в области бытовых представлений и понят ий и не делает какой-либо попытки научного анализа условий
задачи
Эмпирически-научный способ мышления характеризуется тем, что ребенок делает попытку научного анализа решения задачи, но ориентируется лишь на конкретные условия взаимодействия материальных объектов. В процессе решения он использует те или иные естественнонаучные законы, но поскольку их поиск носит эмпирический характер, то ответ, как правило, неверен Общим для данного подхода является ориентация лишь на конкретные условия задачи, хотя и делается попытка их научного анализа Для эмпирического типа мышления существенно то, что учащиеся, зная естественнонаучные законы, лежащие в основе решения задач, не могут "увидеть" их в предложенных конкретных условиях Соответственно не может быть сделан вывод о том, что высшей стадией сформированности естественнонаучного мышления является синтетическая стадия, связанная со сформированностью у учащихся интегративного способа мышления, основанного на межпредметных теоретических обобщениях за счет становления более высокой формы теоретического синтеза — внешнего (междисциплинарного), выступающего как психическое новообразование подросткового возраста
Из всего сказанного ясно, что методики диагностики естественнонаучного мышления непременно должны учитывать его специфику, связанную прежде всего с особенностями процесса теоретического естественнонаучного обобщения и стадиями развития данного вида мышления
Рассматривая развитие мышления, следует учитывать, что оно осуществляется прежде всего в рамках организованного обучения;
социальные требования к развитию естественнонаучного мышления в обязательном порядке будет трансформироваться в определенной системе обучения
Поскольку процесс обучения реализуется через систему учебных предметов, релевантных основным видам деятельности, то требования к развитию конкретного вида мышления реализуются через определенный процесс обучения, в совокупности составляющий его содержание, методы и средства обучения.
Если у учащихся посредством определенной системы обучения формируется один уровень мышления (например, в школе с углубленным изучением естественнонаучных дисциплин этот уровень ориентирован на деятельность ученого-исследователя), то и соответствующим должен быть критерий его сформированности.
КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЕ ТЕСТЫ ДЛЯ ДИАГНОСТИКИ СФОРМИРОВАННОСТИ ЕСТЕСТВЕННОНАУЧНОГО МЫШЛЕНИЯ
В рамках критериальной диагностики разработаны тесты для диагностики естественнонаучного мышления (Г.А. Берулава, 1992). Тесты естественнонаучного мышления для учащихся 7 (ТЕМ-7) и 8 класса (ТЕМ-8) включают в себя систем у заданий, являющихся моделью когнитивной организации предметной области естествознания. Каждый тест содержит родовые задачи, каждой из которых соответствует некоторый класс индивидуальных задач.
В тесты вкл ючены лиш ь задачи качественного характера. В естественнона учны х предметах процент задач, решаемых по жесткому алгоритму, очень незначителен. Это связано с тем, что взаимодействие объектов, лежащих в основе любой естественнонаучной задачи, в значительной степени определяется условиями взаимодействия и индивидуальными свойствами объектов взаимодействия, в отличие, например, от математики, где данные факторы не имеют значения.
При определении содержательной валидности тест должен ориентироваться на внешние социально обусловленные и педагогически адаптированные требования. Однако сам теоретический критерий валидности должен быть психологическим. При этом существенно, что он должен быть различным для дифференцированных моделей обучения, реализуемых в рамках школ различных типов.
Разработанные тесты являются нормативными для учащихся школ с углубленным из учени ем ест еств енно на учны х предметов. Все з адания но сят качественный характер. При этом сюжетная форма заданий, без наличия в их условиях каких-либо абстрактных символов и знаков, не позволяет ассоциировать их с какой-либо абстрактной теорией.
Каждый тест для диагностики сформированности у учащихся естественнонаучного мышления содержит 30 задач, в основе которых лежит 5 естественнонаучных законов, являющихся для усвоения учебного материала в 7 и 8 классах основополагающими. Каждому закону соответствуют шесть задач, три из которых составлены на материале физики, в рамках которого изучались данные законы, и три — на межпредметном материале (биологии и физики в 7 классе, биологии, физики и химии — в 8). Каждый тест содержит два субтеста, один из которых диагностирует сформированность дифференциально-синтетической стадии естественнонаучного мышления, а второй — синтетической Приводим примеры заданий из дифференциально -синтетическо го субтеста теста естественнонаучно го мышления для 7 класса (ТЕМ-7)
Задание. Почему нельзя тушить горящий керосин, заливая его ВОДОЙА
а) вода будет испаряться с поверхности горящего керосина; б) вода будет смешиваться с керосином вследствие явления диффузии, в) плотность воды больше пло тности керо сина, по этом у во да будет опускать ся вн из, а керо син будет всп лывать наверх и не закроет доступ воздуха, необходимого для горения керосина
Варианты ответов для задания субтеста (их по три в каждой задаче) позволяют диагностировать преимущественный способ мышления учащегося' эмпирически-бытовой (ем у в данном задании соо тветст вует 1-й вариант ответа), эмпири чески-научный (ему соответствует 2-й вариант ответа) или дифференциально-синтетический (3-й вариант ответа), который характеризует уже теоретический тип мышления
Аналогичную структуру имеют задания синтетического субтеста. Задание. Почем у
кит, оказавшись на мели, погибает?
а) сила трения, имеющаяся на твердой почве, мешает ему добраться до воды, б) кит задыхается от воздуха, в) вследствие закона Архимеда вес кита оказывается незначительным; на суше выталкивающая сила отсутствует, и кит погибает под
действием собственного веса. В основе решения данной задачи лежит закон Архимеда, в то же время 'она построена на нехарактерном для курса физики биологическом материале. Эмпирически-бытовому способу мышления в данном случае соответствует 2-й вариант ответа, эмпирически-научному — 1-й вариант, теоретическому (дифференциально-синтетическому) способу мышления соответствует 3-й вариант ответа
При разработке стр укт уры теста естественнонаучного мышления для 8 класса (ТЕМ-8) был использован тот же принцип построения, но законы, лежащие в его основе, являются уже репрезентативными для естественнонаучного познания учащихся 8 класса.
Задания дифференциально-синтетического субтеста ТЕМ-8 имеют структуру, аналогичную заданиям дифференциально-синтетического субтеста ТЕМ-7.
Задание. Почем у прит ерт ую ст екл янн ую пробку легко вынуть из флакона, если потереть его горлышко сухой тряпкой или бумагой?
а) при натирании горлышка бутылки совершается механическая работа, благодаря чему увеличивается внутренняя энергия горлышка, оно нагревается и расширяется; б) из-за колебаний горлышка бутылки пробка расшатывается, и ее легче вынуть из бутылки; в) в результате силы трения горлышко расшатывается, и поэтому пробку легче вынуть из бутылки.
Вариант ответа "б" при этом соответствует эмпирически-бытовому способу мышления, "в" — эмпирически-научному. Первый вариант ответа характеризует теоретический способ мышления (в данном случае его дифференциально-синтетическую стадию). В основе решения предложенной задачи лежит закон сохранения энергии. В рамках дифференциально-синтетического субтеста ему соответствуют две задачи, построенные на характерном для курса физики материале. В синтетическом субтесте данный закон применяется в условиях, адекватных материалу, используемому в курсах биологии и химии.
Задание. Почему пораженные током живые организмы погибают?
а) потому что ток убивает клетки живых организмов; б) при прохождении тока по клеткам живого организма электрическая энергия превращается во внутреннюю энергию, вследствие чего нагревается плазма клеток; в) потому что при прохождении тока в клетках живых организмов происходят необратимые химические реакции.
С использованием предметного материала курса химии закон сохранения и превращения энергии реализован, например, в задаче следующего содержания.
Задание. Почем у выделяе тся теплота при взаимодействии цинка с раз бавленно й серной кислотой?
а) потому что у серной кислоты повышена температура, и она сжигает все вещества; б) в процессе химической реакции с серной кислотой уменьшается внутренняя энергия системы, вследствие чего выделяется теплота; в) выделение теплоты в процессе указанной реакции происходит в результате взаимодействия электрических зарядов цинка и серной кислоты.
Структура теста позволяет оценить сформированность процесса теоретического обобщения, понимаемого как восхождение от абстрактного к конкретному. Это обеспечивается тем, что каждо му естественнонаучно м у зако ну соответствует серия задач одинаковой объективной сложности, в которых варьируются лишь конкретные условия применения закона.
Сложность заданий определялась по объективным критериям экспертным путем и с помощью алгоритмического метода, при этом учитывалось то, что жесткая статистическая оценка трудности задач для критериальных исследований неприемлема.
Тесты прошли формальную проверку на надежность и валидность. Ретестовая надежность определялась повторным тестированием через 3,5 месяца (существенно, что данный интервал приходится на летние каникулы учащихся). Коэффициент ранговой корреляции для ТЕМ-7 равнялся для дифференциально-синтетического теста 0,93, для синтетического — 0,92. Для ТЕМ-8 эти значения соответственно для дифференциально-синтетич еского субтеста — 0,89, для синт етического субтеста — 0,91. Значимо сть на уровне 0,01.
Был использован и такой метод выявления надежности теста, как определение его гомогенности. С этой целью каждый субтест был разделен на три части (по 5 заданий в каждой). Надежность оценивалась посредством вычисления интер корреляций выделенных частей с применением формулы Кьюдера—Ричардсона. При этом коэффициенты корреляции располагались в пределах от 0,95 до 0,98.
Валидность тестов определялась сравнением успешности выполнения их заданий со школьными оценками за самостоятельные работы по решению естественнонаучных задач. При этом для определения валидности дифференциально-синтетического субтеста использовались оценки за решение физических задач. Валидность синтетического субтеста оценивалась по результатам выполнения задач межпредметного характера. Коэффициенты корреляций для ТЕМ-7 распределялись следующим образом: для дифференциально-синтетического — 0,72; для синтетического — 0,70; для ТЕМ-8 — 0,74; для дифференциально-синтетического — 0,74; для синтетического — 0,69. Значимость на уровне 0,99.
Корреляция ТЕМ-7 с субтестом "Обобщение" из теста ШТУР составила 0,69 для дифференциально-синтетического субтеста и 0,67 — для синтетического.
Для ТЕМ-8 эти значения распределялись следующим образом: для дифференциально-синтетического — 0,68; для синтетического — 0,65 (по отношению к тесту ШТУР).
Полученные данные позволяют сделать вывод о том, что разработанные тесты удовлетворяют необходимым статистическим критериям.
Диагностика сформированности естественнонаучного мышления с помощью разработанных тестов создает возможность не только определить тип естественнонаучного мышления (эмпирический или теоретический), но и стадию их сформированности. В рамках эмпирического типа — это эмпирически-бытовая и эмпирически-научная стадии.
Каждому естественнонаучному закону соответствует серия заданий одинакового уровня сложности, в которых варьируют лишь конкретные условия применения закона.
Разработанный тест является групповым. Время для решения всего теста — 40—50 минут (1 урок). Тест предъявляется всем учащимся класса одновременно, при этом сидящие рядом учени ки делают р азные субт есты. Каж дое верно выпо лненное задани е оценивается одним баллом. Качественная обработка результатов позволяет также сделать вывод, какие типы связей (законов) вызывают затруднение у учащихся, и произвести в этом направлении целенаправленную коррекцию.
Проверка тестов, диагностирующих некоторые специальные виды мышления учащихся (математическое и естественнонаучное), показала, что они обладают высокой практической эффективностью. В этой главе описаны два варианта разработки методик критериально-ориентированного тестирования. В том и другом варианте диагностирование ставило своей целью выявить, насколько умственное развитие учащихся приближается к тем требованиям, которые предъявляются учебными программами. В диагностировании естественнонаучного мышления тестовые задания позволяли дифференцировать разные стадии развития этого вида мышления.
