Оценка результативности реализации педагогических технологий

Результативность выбранной стратегии организации учеб­ного процесса на основе предметных педагогических техноло­гий, на наш взгляд, может оцениваться следующим образом:

а) по качественной успеваемости учащихся;

б) по характеру выполнения заданий в критериально-ориентированных тестах;

в) на основе экспертной оценки личностно-ориентированного потенциала тех или иных форм учебной деятельности;

г) на основе самооценки учителей удовлетворенности качеством своей работы и условиями ее осуществления;

д) по показателям достижения учащимися определенной степени качества и уровня характеристик модели личности учащегося соответствующей ступени.

Именно по этим характеристикам мы оценивали резуль­тативность внедрения новых педагогических технологий в тех школах, которые участвовали в нашем эксперименте. Среди показателей в явном виде не обозначены собственно личност­ные характеристики, о которых шла речь в теоретической части работы (мотивация, эмоции, и т.д.), но все они «при­сутствуют» прежде всего в экспертной оценке и в оценке соответствия личностного развития учащихся параметрам личностного развития, определенным в модели учащегося той или иной ступени обучения.

КАЧЕСТВЕННАЯ УСПЕВАЕМОСТЬ

Рассмотрим оценки результативности на примере СШ,№ 32 г.Тюмени. Общая качественная успеваемость по школе

составила:

- 1992-1993 уч.год 26.4 %;

- 1993-1994 уч.год 29.6 %;

- 1994-1995 уч.год 26.8 %;

- 1995-1996 уч.год 27.8 %.

Как видно из этих данных, изменение характера работы педагогов на общих показателях не сказывается даже в тече­ние рассматриваемого времени. Причин здесь много. Чтобы «сдвинуть» показатели всей школы, необходимо включение в работу всего коллектива. Однако период, на который пришелся эксперимент, был чрезвычайно трудным для школы и для каждого педагога в отдельности, и такое включение обеспечить не удалось. Сказалось и отсутствие достаточной практики разработки авторских педагогических технологий. Большинство педагогов из-за отсутствия возможностей детальной проработки новой технологии пошли по пути заимствований передовых методических идей без их авторской

адаптации.

Вместе с тем на тех ступенях школьного обучения, где представленность, пусть даже чужих, методических наработок более обширна, и на этой основе легче было создавать нечто свое, наметился явный рост результативности работы. Это касается прежде всего начальной школы, где характер качественной успеваемости изменялся в последние годы

следующим образом:

- 1993-1994 уч.год 27.3 %;

- 1994-1995 уч.год 31.9 %;

- 1995-1996 уч.год 32.4 %.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННОЕ ТЕСТИРОВАНИЕ

Еще более наглядна картина сдвигов по результатам критериально-ориентированного тестирования начальных классов. Тесты для них разрабатывались с 1 по 10 типы

(см. 2.5.3.1.).

В 1993-94 уч. году процент детей начальной школы, решавших задачи пятого и десятого типов составлял 20-25%. По мере освоения педагогами навыков разработки соответст-

вующих типу психического развития учащихся педтехнологий он вырос до 40-55% в 1995-96 уч. году.

Использование критериально-ориентированных тестов для оценки результативности работы педагогов среднего и старшего звена показало, что лишь немногим из них удается довести процент решения учащимися задач 5-ого уровня до 30-35. (Когда в данном контексте мы говорим об уровнях, а не о типах задач, то подразумевается, что речь идет о «психоло­гической» шкале тестовых заданий: «узнавание», «припоми­нание», «комбинаторный», «аналитический», «творческий»). Вот, например, как выглядят обобщенные результаты по КОРТам учащихся 5-11 классов по физико-математическим дисцип­линам в СШ № 32 г.Тюмени, которые являются типичными для общеобразовательных школ (в %):

	1 уровень	2 уровень	3 уровень	4 уровень	5 уровень
Математика
Алгебра
Геометрия
Физика

Если для оценки потенциала педагога использовать предложенный нами коэффициент, рассчитываемый по резуль­татам решения учащимися заданий КОРТов определенного типа, то оказывается, что в начальной школе он колеблется в районе 0.9 - 1.0, в среднем звене школы - в районе 5.0 - 6.0 (причем, в некоторых школах по отдельным предметам мы получали коэффициент 10.0), в старшем звене - от 3.5 до 4.5.

Работая с педагогами среднего и старшего звена над разработкой авторских педтехнологий, мы обнаружили инте­ресный феномен. Его суть в том, что внедрение авторской (достаточно оригинальной) педтехнологий, например, в индуст­риально-педагогическом колледже г.Тюмени учителем физики И. Б. Еременко принципиально... ничего не изменило в циф­рах, характеризующих качественную успеваемость учащихся. Однако изменилось личностное отношение учащихся (группа девушек 9 класса) к физике: они перестали ее бояться, по выражению педагога, а стали лучше понимать, эмоционально комфортнее ощущать себя на уроках. И это, на наш взгляд, можно считать значимым результатом работы педагога.

В контексте подобного подхода к оценке результативности технологий, ориентированных на тип развития учащихся, становятся понятны и те общие цифры «роста» качественной успеваемости, приведенные выше по СШ № 32 за 92/93 - 95/96 учебные годы. Цифры качественной успеваемости «скачут» на фоне слабо выраженной тенденции к увеличению, но за ними остается то, что не отражается в балльных оценках - изме­нение отношения учащихся к учебе, повышение комфортности учения, формирование самостоятельности и т.д. Об этом же свидетельствуют и другие способы оценивания результа­тивности изменения технологий обучения. •

ЭКСПЕРТНАЯ ОЦЕНКА

В оценке экспертами уроков педагогов, которые сделали заявку о работе по собственной технологии, обращает на себя внимание прежде всего характеристика поведения детей. Например, при посещении уроков учителей Т. Н. Ахметовой (авторский курс для начальной школы «Логика и матема­тическое конструирование») и А. А. Гайсиной (модификация курса «Русского языка» по Репкину) эксперты отмечают не только прочные знания учащихся, свободное оперирование ими, но и наличие у них самостоятельной позиции по отно­шению к получаемому и используемому знанию. Выражается это в том, что ученики не поддаются на провокации учителя, делающего ошибки у доски или в высказываниях, они требуют доказательства, а не просто утверждения о том, что «учитель всегда прав». Интересно, что дети этих классов, отвечая у доски и попадая в затруднение, практически не слушают подсказок, а сами пытаются найти ответы. Другой характерной чертой учащихся этих классов является то, что при предо­ставлении им права выбора задач они постоянно тяготеют, с одной стороны, к выбору тех задач, которые предполагают, на их взгляд, большее «шевеление мозгами», а с другой -стремление все-таки перебрать все типы задач, чтобы удовлетворить познавательные потребности.

Можно, наверное, говорить и о наличии у них элементов «сверхнормативной активности» (В. А. Петровский), поскольку довольно часто звонок для этих детей не означает окончания познавательной учебной деятельности: они продолжают искать решения задач, спорить, подходить к учителю за оценкой

своего варианта решения и т.п. Это, на наш взгляд, и есть личностное отношение к учению, начало формирования стойкой познавательной мотивации, самостоятельности.

В рассмотренном выше варианте организации личностно-ориентированного обучения на основе «задачной технологии» эксперты пользовались «Картой экспертной оценки личностно-ориентированного потенциала урока».

По «Карте экспертной оценки» было зафиксировано вы­равнивание оценок экспертов по различным урокам. Спра­ведливости ради следует отметить, что на первых этапах рабо­ты педагогов на новой для них основе, они нередко испы­тывали дискомфорт, не всегда были уверены в том, что дети «потянут такой материал». Однако, по мере его реализации, они буквально открывали для себя и возможности детей, и возможности иного способа препарирования учебного мате­риала. Это служило основой рефлексии оснований собствен­ной деятельности и поводом для ее совершенствования.

Сдвиг оценок, который удалось зафиксировать после трех месяцев (учебная четверть) проведения эксперимента по отработке педагогических технологий на различных предме­тах, сам по себе представляет интересное поле для анализа.

	содержание	методика	деят-ть учащихся	деят-ть педагога
	ДО	после	до	после	ДО	после	ДО	после
Русский язык	2.2	2.4	1.0	1.8	1.3	1.4	2.7	2.7
Физика	4.8	4.8	3.1	4.0	3.0	3.1	3.7	3.7
Геометрия	4.5	4.6	4.0	4.1	3.9	3.9	4.2	4.3
История	1.8	2.6	1.8	2.2	2.2	3.0	1.8	2.6
разность: максимум -минимум	3,0	2.4	3.0	2.3	2.6	2.5	2.4	1.7
	+ 0.6	+ 0.7	+ 0.1	+ 0.7

«+» в последней строке в оценке всех сторон урока гово­рит о тенденции в организации учебного процесса по каждому предмету к «выравниванию» их организационно-методического личностно - ориентированного потенциала.

Наибольшие сдвиги наблюдаются в «методике» и «деятель­ности педагога». Это соответствовало нашим предположениям. Но в полученных цифрах настораживает незначительный сдвиг в показателях «деятельности учащихся», поскольку

ожидалось, что личностно-ориентированная технология, к раз­работке которой мы побуждали педагогов, обеспечит прежде всего изменение характера деятельности учащихся.

Анализ результатов показывает, что незначительный сдвиг показателей «деятельности учащихся» связан с тем, что практи­чески не изменилась деятельность учащихся на уроках русско­го языка. Учитель существенно изменил «методику», а деятель­ность учащихся осталась на прежнем уровне. По-видимому, это связано с тем, что «задачная технология», в русле которой проводилось исследование, не отвечает как таковая вопросам организации обучения русскому языку. Собственно и по нашей классификации русский язык как учебный предмет больше тяготеет к позиционно-ориентированным предметам, и в этом смысле его базовая технология - «кооперация» позиций, ролей, в которой и формируется языковое сознание учащихся.

«Задачная технология» ориентирована на выявление определенной аксиоматики предмета, которая в русском языке просматривается с трудом, и он, как учебный, предмет скорее представляет из себя свод правил, «плохо связанных» между собой. В этой связи представляет интерес анализ сдвигов оценок экспертами организации обучения по предметам, относящимся к группе структурно-ориентированных, для кото­рых «задачная технология» является действительно базовой по нашему определению.

Изменение в физике «методики» на 0.9 балла (по оценкам экспертов) приводит к изменению «деятельности учащихся» на 0.1 балла. Изменение же в геометрии «методики» на 0.1. балла практически не меняет «деятельности учащихся». Эти результаты свидетельствуют в пользу того, что модификация методики должна быть достаточно существенной, чтобы обеспечить изменение характера деятельности учащихся. (Полученные результаты «подталкивают» к такому соотно­шению: 10:1). В то же время следует принимать во внимание и то обстоятельство, что изначально уровень преподавания геометрии был достаточно высоким, поэтому для получения сдвигов в данном предмете, по-видимому, необходимы какие-то иные, чем предлагавшиеся нами способы модификации технологии обучения даже внутри «задачной технологии».

Осуществляя дальнейший поиск возможностей модифика­ции преподавания геометрии, мы пришли к выводу о том, что она возможна на пути более широкого введения в обучение задач 10, 14 и 15 типов в нашей таксономии, т.е задач творческого характера и методологической направленности.

Приведенные выше соображения по поводу соотношения «методики» и «деятельности учащихся» оказались абсолютно противоположными результатам экспертных оценок органи­зации обучения истории. «Методика» изменилась на 0.4 балла, а «деятельность учащихся» - на 0.8 балла! Однако никакого парадокса здесь нет. История, как учебная дисциплина, относится к позиционно-ориентированным предметам и ее ба­зовой технологией является, как и для русского языка, -»технологии кооперации». Поэтому в эксперименте, ориенти­рованном на «задачную технологию», трудно было ожидать обнаружения такой же пропорциональной зависимости, как и для структурно-ориентированных предметов.

В то же время для истории четко просматривается прямо пропорциональная зависимость между «содержанием» (измене­ние на 0.8 баллов), «деятельностью педагога» (изменение на 0.8 балла) и «деятельностью учащихся» (изменение на 0.8 балла). «Содержание» и «деятельность педагога» являются теми состав­ляющими педагогической технологии, которые «работают» на технологию «кооперации» и поэтому именно к ним оказы­вается чувствительна «деятельность учащихся» в контексте освоения данного' учебного предмета.

В проводимом эксперименте проверялась и гипотеза о том, что выбор пропорции «задачной технологии» зависит от типа класса. Речь идет о том, каких задач и в какой пропорции давать в разных по типам развития учащихся классах. Выше представлены результаты реализации следующей пропорции:

4+5 / 9+10 / 14+15= 1 /0.9 / 0.3 в классе с низким уровнем интеллектуального развития (по данным психоло­гического тестирования) и среднем уровнем сформиро­ванности компонентов учебной деятельности (оценка давалась экспертами по специально составленной анкете).

Реализация «задачной технологии» в данной пропорции в другом классе (высокий уровень развития интеллекта и высокий уровень сформированности компонентов учебной

деятельности) дала результаты, которые не поддаются какой-либо однозначной оценке. Дело в том, что в ряде случае под­бор задач и выбор определенных методических приемов «отставал» от развитости учащихся, у них падал интерес, ухуд­шалась дисциплина на уроках (по наблюдениям экспертов), хотя ответы учащихся были, как правило,... хорошего качества

и глубины.

Эти результаты, на наш взгляд, очень наглядно показывают связь типа психического развития учащихся с уровнем и качеством нагрузки. Причем, как показывают наблюдения, это значимо не столько для собственно интеллектуального развития (об этом можно, очевидно, было бы говорить только через определенное время), сколько для формирования собственно личностных характеристик - мотивации, волевых качеств (дисциплина), эмоций (комфорт) и др.

САМООЦЕНКА ПЕДАГОГА

По самооценкам самих «педагогов работать на основе дифференцированных классов намного легче. Кроме того, стимулирование их на разработку соответствующей типу психического развития учащихся педагогической технологии «пробудило» в них творчество и стало «интереснее работать», хотя это и отнимает много времени. Эффективность работы стала для них ощутимее. «Теперь я уверена, что меня понимает почти 80% учащихся» Так оценила свои результаты педагог

школы № 5 г. Радужного.

В ходе эксперимента по реализации «задачной технологии» мы периодически просили педагогов дать самооценку своей деятельности и деятельности учащихся. Некоторые, наиболее характерные оценки приведены ниже.

Учитель Н. А.: «Мне казалось, что я всегда формулирую и подбираю задачи под уровень развития детей, но теперь я поняла недостаточность интуитивного их подбора».

Учитель М. С.: «Внешне, казалось бы, ничего не изме­нилось, но появилась какая-то внутренняя логика в органи­зации урока, которую я раньше если и ощущала, то только предметно, а теперь связала эту логику и с учащимися».

Правда, были и такие высказывания: «Чего-то Вы намуд­рили со своими рекомендациями, я и без них хорошо обхожусь.» Что интересно, это была оценка педагога, который

категорически не принимал нововведений, отказывался менять свой стиль работы и даже не пускал на свои уроки экспертов. Причем, эффективность работы этого педагога по меркам усвоения учащимися стандарта была достаточно неплохой и это, по-видимому, служило для него своеобразной защитой от необходимости менять что-либо в своей системе работы. Вместе с тем этот педагог через некоторое время после начала экспериментальной работы с данным классом жаловался коллегам, что дети стали хуже слушать, стали менее внимательными и т.п., и «... все это от экспериментов...». Нам представляется это весьма симптоматичным. Учащиеся начали ощущать иной характер преподавания по предметам, в отно­шении которых была осуществлена перестройка технологии, и начали переносить свои ожидания и сформировавшиеся первые и элементарные навыки на другие предметы. Не найдя удовлетворения ожиданиям, они снизили свою познава­тельную активность в отношении «неизменившихся предме­тов», что и зафиксировала в своеобразной форме в своих жалобах педагог.

Учитель математики К. М. отметил, что «... учащиеся не готовы к решению ряда предлагавшихся им задач». Детальный анализ этих задач показал, что к ним преимущественно отно­сятся задачи с методологической составляющей, т.е. те задачи, в которых необходимо было дать ответ об основаниях своей деятельности. Традиционная школа практически не учит реше­нию такого рода задач, поэтому это и вызвало затруднения у учащихся при их систематическом введении в обучение.

Как мы и ожидали, «задачная технология» была плохо воспринята представителями смысле - ориентированных предметов. Они принимали идею... постановки вопроса, но отказывались от разработок каких-либо алгоритмов по конструированию ответов. Аргументация во всех случаях была примерно такой: «... мне важно, что скажет сам ученик, какой он изберет путь доказательств, а не то, что я ему предложу...» (учитель литературы индустриально-педагогического колледжа г.Тюмени Л. И.). Вместе с тем это касалось лишь нетворческих задач. И здесь мы на практике столкнулись с обсуждавшейся нами в теоретическом плане в 3.3.1. проблемой общности «базовых технологий». Мы отме­

чали, что все типы базовых технологий теряют свою специ­фику на уровне творческих задач. И литераторы в данном случае принимали «задачную технологию» только в ее твор­ческом варианте.

Выборочный опрос учащихся (эксперимент проводился на базе 7-10 классов) об изменениях в преподавании показал, что учащиеся затрудняются ответить в чем же конкретно что-то изменилось, но практически все отмечают повышение «интересности» и большей «понятности» учебного материала.

ОЦЕНКА СТЕПЕНИ СООТВЕТСТВИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ МОДЕЛИ ЛИЧНОСТИ УЧАЩЕГОСЯ СООТВЕТСТВУЮЩЕЙ СТУПЕНИ

В качестве иллюстрации данного типа оценки рассмотрим общую схему оценки степени соответствия выпускника той модели, на которую ориентировалась школа. Она достаточна

проста:

1. Оценивается уровень развитости учащегося.

2. Оценивается уровень воспитанности учащегося.

3. В случаях профильного обучения оценивается и уровень

профессиональной подготовленности.

4. Сопоставляются результаты всех оценок и делаются

выводы.

Оценивать уровень развитости учащихся необходимо с использованием критериально-ориентированного тестирова­ния по ведущим учебным дисциплинам. Причем, теоретически необходимо определить границу (количество набранных баллов), которая будет характеризовать достаточный уровень развитости. Именно здесь никакая стандартизация эмпири­ческих результатов не должна задавать «измерительную линейку» - критерием оценки должна стать степень прибли­жения к идеалу. Представляется, что в том случае, если учащийся при решении тестовых заданий набирает не менее 75% от максимума, то такой результат считается достаточно

хорошим и обозначается знаком «+».

Оценка уровня воспитанности осуществляется по прин­ципу рейтинга: учащегося оценивают учителя, сверстники и родители. Теоретически должна быть определена граница, свидетельствующая о достаточном уровне воспитанности. Думается, что и в данном случае оценка (количество

полученных учащимся баллов) в 75% и более от максимума может свидетельствовать о хорошем уровне воспитанности.

Оценка профессиональной подготовленности осуществля­ется на основании критериально-ориентированных тестов по профильным дисциплинам школы.

Не исключается при оценке развитости и профессиональ­ной подготовленности использование собственно психологи­ческих тестов (ШТУР, Равен, Амтхауэр, тест Беннета и др.).

Пример оценки выпускника полной средней школы. 1. Уровень развитости:

- математика	- 60 %;
- литература	- 80 %;
- история	- 67 %;
- физика	- 50 %;
..........................................................
..........................................................
средняя: 64.25 % = «-».

2. Уровень воспитанности: 80% - «+».

3. Уровень профессиональной подготовленности: 75% - «+»,

4. Сопоставляем полученные данные:

уровень развитости	уровень воспитанности
	+	-
+
-	Х

Х Тип развития оцениваемого ученика

	уровень развитости + воспитанности
уровень		++	+-	-+	--
профессион.	+	а	б	Х в	г
подготовл.	-	А	е	ж	з

Х Тип развития оцениваемого ученика

Вывод: обучение в школе не обеспечило данному ученику необходимый (по намерениям самой же школы) уровень развитости, хотя личностное развитие можно оценить как благоприятное. У учащегося достаточно хорошая профессио­нальная подготовленность. Таким образом можно осуще­ствлять диагностику каждого учащегося.

Об успешности работы школы в целом можно судить на основании того, какой процент выпускников попадает в тип «а». По-видимому, и здесь должен быть введен теоретически

обоснованный критерий. Целесообразно и в данном случае ориентироваться на те же 75%. Однако эмпирические «прикидки» показывают, что сегодня эта цифра значительно ниже. Лучшие результаты, которые нам доводилось встре­чать при экспертных оценках работы школ, были у средней школы № 8 в 1995 г.- 61% и у школы-гимназии № 16 г.Тюмени

в 1996 г. - 70%.

В школе № 16 столь высокий показатель был получен

по результатам обследования гимназических классов, для которых специально разрабатывались стратегия обучения и педагогические предметные технологии.

Подводя итог обсуждению вариантов оценки результа­тивности внедрения тех или иных педагогических технологий в учебный процесс, можно сказать, что, на наш взгляд, выделенные нами способы дают вполне адекватную и объек­тивную оценку изменениям педагогической действительности.