Уровни качества компетенций в мониторинговых исследованиях

Выделение обобщенных уровней освоения предметного материала – весьма ответственный теоретический шаг на пути создания критериального диагностического инструмента. И этот шаг можно считать успешным лишь в том случае, если вслед за ним удается: а) разработать пакет тестовых заданий, однозначно соответствующих выделенным уровням, и б) получить эмпирические подтверждения, что выделенные уровни действительно представляют собой последовательность ступеней (этапов) образовательного процесса.

Как свидетельствует практика – уже первое из отмеченных условий является серьезной трудностью на пути создания диагностического инструмента (Майоров, 2000). Соответственно соблюдение второго условия также оказывается под вопросом. Как следствие авторы разработок зачастую не рискуют напрямую проделывать весь этот путь, предпочитая «перепоручить» вопрос об уровнях образовательных достижений аппарату математической статистики. Похожая ситуация, на наш взгляд, имеет место в современных мониторинговых исследованиях.

Так, в тестовом пакете TIMSS для проверки усвоения математики введено различение четырех видов деятельности, которые фактически образуют некую иерархию, но осторожно трактуются как «аспекты» компетентности:

· знание фактов и процедур

· применение понятий

· решение стандартных задач

· рассуждения

Все эти виды деятельности имеют описания, на основе которых разрабатывается соответствующий пакет заданий. Что касается оценки достижений, то она получается следующим образом. Каждому заданию экспертно приписывается тот или иной вес (балл). Затем по результатам тестирования на статистических основаниях выделяются четыре уровня математической подготовленности в переводе на 1000-балльную шкалу:

· продвинутый уровень – 625 баллов и более

· высокий уровень – 550-624 балла

· средний уровень – 475-549 баллов

· низкий уровень – 400-474 балла

В результате успешность обучения получает количественную и одновременно уровневую оценку, пригодную для ранжирования детей (классов, школ). Однако после этого проводится статистический анализ решения задач группами детей разного уровня подготовленности и выявляются задачи, которые посильны для детей каждой из групп. Тем самым каждому уровню ставится в соответствие некий набор задач и релевантный этому набору перечень знаний-умений-навыков. В итоге четыре уровня подготовленности получают вероятностную качественную характеристику. Причем тут уже авторы уверенно заявляют, что «все виды … деятельности, которые выделены на более низких уровнях, являются составными частями деятельности, присущей более высокому по сравнению с ним уровню», т.е. по сути квалифицируют выделенные уровни как действительную психологическую реальность (Ковалева, 2004, с. 23). Таким образом, иерархия качественных уровней как бы восстанавливается в новом обличье в результате математической обработки эмпирических данных. Причем эта иерархия оказывается подтвержденной твердыми фактами.

Однако такая уровневая система имеет два очевидных недостатка.

Во-первых, игнорируется проблема внутренней связи между уровнями, которая для любого педагога представляет первостепенный интерес. А во-вторых, описание уровней в итоге оказывается весьма расплывчатым. Так, например, высокий уровень математической подготовки учащихся 4-х классов характеризуется следующим образом:

«Учащиеся могут применить свои знания к решению поставленных проблем. Они могут решать многошаговые текстовые задачи на сложение, вычитание, умножение и деление; применять свое понимание поместного значения цифр в записи многозначного числа, а также несложных обыкновенных дробей для решения поставленных проблем; выделить числовые данные, которые характеризуют представленную в задаче ситуацию. Они показывают понимание пространственных фигур, разбиения фигур на части и составления из них новых фигур, а также простейших движений на плоскости; демонстрируют умение производить различные измерения, могут интерпретировать и использовать данные, представленные в таблицах и на графиках, для решения поставленных проблем» (там же, 2004, с. 23-24).

Очевидно, что такой тип описания уровней подготовленности вполне адекватен в рамках задачи сравнения одной системы образования с другой. Однако, если озаботиться проблемами отдельной школы, то столь пространный портрет едва ли поможет улучшить ситуацию в классах, а тем более сориентировать конкретных учащихся.

Кроме того, такой подход несколько напоминает движение по замкнутому кругу. Так, первый шаг состоял в том, чтобы все множество умений, характеризующих математическую компетенцию, разделить на несколько групп разного качества (ранга). Этот шаг привел к построению обобщенной типологии действий. А последний шаг этого пути привел нас вновь к длинному перечню предметных умений. Правда, теперь они разведены по четырем формально заданным ступеням как умения разного порядка, однако за этой иерархией прежние качественные уровни уже не просматриваются, а какая-то новая содержательная интерпретация намеченных ступеней не предлагается, да и вряд ли возможна.

Описанный подход реализован TIMSS и в исследовании естественнонаучной грамотности, для оценки которой предложены уже не четыре, а три вида деятельности (см. приложение 1). Как и в первом случае, в итоге результаты структурируются в соответствии с четырехуровневой шкалой, построенной на статистических основаниях.

Аналогичная схема действия положена в основу мониторинговых исследований PISA и PIRLS. Некоторая вариативность касается только числа видов деятельности, которые выделяются как исходная основа разработки и квалификации соответствующих групп тестовых задач. Так, в PISA математическая компетентность представлена тремя категориями действий, а естественнонаучная грамотность и грамотность чтения — пятью. В то же время в PIRLS в задачах на осмысление текста вычленяются четыре вида действий.

Некая модернизация схемы имеет место только в исследовании математической грамотности в проекте PISA, где авторы изначально выделяют не просто виды действий, а именно уровни компетенций:

1. Воспроизведение, определения, вычисления (изложение фактов, воспроизведение свойств, опознание эквивалентных математических объектов, выполнение стандартных процедур, использование стандартных алгоритмов, проявление технической развитости алгоритмических умений)

2. Связи и интеграция с целью решения проблемы (установление связей между разделами математики и интеграция материала с целью решения несложных задач, которые не относятся к стандартным, т.е. требуют учета особенностей ситуации, но не требуют значительной ее математизации; работа с разными формами записи)

3. Математизация, математическое мышление, обобщение, интуиция (математизация ситуации, самостоятельная разработка модели ситуации и способа ее решения, построение доказательства и обобщения)

Выделенные уровни выглядят весьма содержательно и, как мы уже отмечали, являются несомненной спецификацией некоторых обобщенных представлений о логике становления культурного действия. Однако и здесь эта сторона не получает дальнейшего развития: производится уже упомянутая процедура перевода результатов в баллы, а оттуда - в четыре группы умений.

Проведенный анализ приводит к выводу, что задача создания диагностического инструмента для школьных педагогов не может быть решена на пути прямого заимствования таксономий, положенных в основу международных мониторинговых исследований, поскольку отношение этих таксономий к соответствующим теоретическим моделям образовательного процесса носит скрытый и редуцированный характер. Между тем деятельность учителя предполагает обратную связь, в основу которой должна быть явным образом положена содержательная модель этого процесса, пусть даже самая предварительная, но отражающая именно внутреннюю (сущностную, не феноменологическую) его структуру.

Сказанное означает, что диагностика, предназначенная для учителя, должна опираться на уровневую таксономию «каузально-динамического», а не «фенотипического» характера (см. Выготский, 1982, т.5, с. 272). Иными словами, необходимо сделать весьма решительный шаг, задав иерархическую шкалу содержательной оценки качества компетенций, которая одновременно моделировала бы основные этапы их становления. Т.е. шкала качественных уровней (слабый-сильный-продвинутый-…) должна одновременно прочитываться как теоретически необходимая последовательность качественных ступеней в продвижении компетенции от начальной формы к зрелой. «Истинный... диагноз, - писал Л.С.Выготский, - должен дать объяснение, предсказание и научно обоснованное практическое назначение» (т.4, с.268). В отсутствие же содержательно-нормативной разметки образовательного процесса реализация этих требований становится проблематичной, и тестирование выступает как простая психометрия, предоставляющая относительно сырой фактический материал.

Разумеется, сегодняшнее состояние теории культурного развития делает попытку построения соответствующей таксономии достаточно рискованной. Однако этот шаг все равно следует предпринять, поскольку только такая нормативная рамка в перспективе способна обеспечить полноценную ориентацию деятельности учителя и администратора школы.

Таким образом, можно констатировать, что, обозначив компетенции как новый объект педагогической диагностики, международные мониторинги лишь обнажили проблемы, которые еще предстоит решать. К числу главных можно отнести:

§ выявление психологической реальности, которая лежит в основе феномена компетенции

§ раскрытие внутренней логики генезиса компетенций в образовательном процессе

Намеченные проблемы имеют общее значение и являют собой вызов для всех научно-педагогических школ и направлений. Не должна здесь остаться в стороне и российская педагогическая психология.