Применение статистических методов и средств формализации в психолого-педагогическом исследовании

Статистические методы являются базовым инструментарием обработки данных измерений практически во всех областях науч-

¹ См.: Ратанова Т.А., Шляхта Н. Ф. Методы изучения психодиагностики лич­ности: Учеб. пособие. — 2-е изд. — М., 2000. — С. 114—117.

ного знания. Наиболее широкое применение они получили в ес­тественных науках, где возникла острая необходимость анализа огромного массива эмпирических данных. В сочетании с методами планирования и моделирования эксперимента статистические ме­тоды позволяют выявлять объективные закономерности при провер­ке различных научных гипотез.

В гуманитарных науках, таких как педагогика и психология, статистические методы прочно утвердились тогда, когда эти на­уки стали активно использовать эксперимент в качестве метода научного исследования, где измерениям различных параметров, факторов, признаков отводится важная роль. Правда, нельзя не отметить, что по ходу «математизации» педагогической науки не удалось избежать и определенных издержек. Некритически вос­приняв положение о том, что в каждой науке столько науки, сколь­ко в ней математики, практические работники школ, методисты, дидакты пытались и отчасти пытаются сейчас формализовать бук­вально все элементы педагогического процесса. Например, разра­батывались методики оценки эффективности обучающих воздей­ствий учителя на основе подсчета количества используемых тех­нических средств обучения, плакатов, раздаточного материала, демонстраций, количества учащихся, отвечающих у доски, об­щего числа правильных ответов учащихся, количества выпол­ненных упражнений, решенных задач и т. д. И в зависимости от общего числа набранных баллов давалась оценка обучающей де­ятельности педагога. Не случайно, что такие механистические процедуры оценки работы учителей большинством из них не были приняты в качестве рабочих средств анализа урока, по­скольку развивающий эффект урока связан прежде всего с внут­ренними психическими процессами школьника, которые не­возможно оценить через внешние формы урока и которые да­леко не всегда коррелируют с внешними педагогическими воз­действиями.

И все же статистические методы сегодня стали неотъемлемой частью педагогических и психологических исследований, поскольку без них при решении целого ряда исследовательских задач невоз­можно дать объективную интерпретацию результатов измерений. Дело в том, что психолого-педагогические измерения, выполнен­ные с помощью различных тестов, опросников, всегда сопровож­даются некоторой ошибкой, которую вызывают несовершенство диагностического инструментария (чаще всего он отражает неко­торую модель изучаемого объекта, которая никогда не бывает аб­солютно тождественной его сущности), различные обстоятельства, связанные с условиями проведения измерений. Поэтому резуль­тат психолого-педагогического исследования имеет вероятност­ный характер, следовательно, необходимо доказывать статисти­ческую достоверность (значимость) полученных результатов. Это

_й обусловило применение в педагогике и психологии статисти­ческих методик сравнения уровней исследуемых параметров, ин­тегральных характеристик результатов измерений, мер вариации параметров и т. д. Мы рассматриваем лишь некоторые примеры использования статистических методов и процедур формализации средств обработки результатов измерений, с нашей точки зрения представляющих тот минимум, которым должен владеть педагог или психолог для грамотного проведения исследования. При ре­шении сложных исследовательских задач, требующих применения соответствующих статистических методов (факторного, дисперси­онного анализа, методик множественных сравнений и др.), необ­ходимо обратиться к источникам, часть из которых приведена в библиографии.

Применению статистических методов предшествует этап фор­мализации задачи (введение символьных обозначений, выбор па­раметров, установление порядка предположительных процедур, сравнений и т.д.). Например, при формализации объекта (пред­мета) исследования его определяют как некоторую модель, обла­дающую диагностическими признаками (параметрами, фиксиру­емыми с помощью измерительных процедур), при этом опреде­ляют совокупность интересующих исследователя диагностических признаков; подбирают измерительные инструменты, определяют границы вариаций, шкалы оценок; с позиций структурно-функ­ционального подхода определяются связи и компоненты объекта (предмета) исследования.

Для разработки моделей (как сравнительных объектов) часто используют методы математического моделирования: составление уравнений, определение функций, имеющих прогностическое назначение; возможно выражение регрессионных связей или кон­струирование алгоритмов и т. д.

Один из наиболее распространенных методологических при­емов формализации объекта исследования — это представление его в виде «черного ящика» (кибернетический подход). Предпола­гается, что точное поведение объекта не известно, его структур­ные компоненты в точности не определены, не выяснены их функ­ции. Идея состоит в том, что варьируют факторы, влияющие на поведение объекта, и измеряют отклики (следствие эксперимен­тального воздействия). Цель эксперимента — определить законо­мерность зависимости откликов от факторов-раздражителей (экс­периментального влияния). Математически это можно выразить в виде функции R=f(S) [реакция есть функция от раздражителя (стимула)].

R

Функция/является предметом изучения. Определение социаль­ных, педагогических, психологических закономерностей, отно­шений, зависимостей является целью психолого-педагогического исследования.

Если речь вести о педагогических исследованиях, то роль сти­мулов (S) играют чаще всего психолого-педагогические условия (независимые переменные): учебные программы, методики и тех­нологии обучения, формы и методы организации учебно-воспи­тательного процесса, социальные проекты и т. д. Результаты экс­периментального влияния (зависимые переменные) — это пара­метры личностного роста воспитанника, его психологическое со­стояние, показатели адаптированное™, социализации, здоровья, интеллекта, уровня знаний и др.

Особенностью психолого-педагогических экспериментов явля­ется влияние на ход и результаты исследования незапланирован­ных (случайных) факторов, которые трудно поддаются контро­лю, регулированию и влияние которых подчас может сильно ис­казить результаты эксперимента, что в ряде случаев может приве­сти к артефактам (лат. arte — искусственный + factus — сделан­ный, т. е. искаженный факт). В этом случае рассматривается функ­ция R—f*(S), где/* — учитывает непланируемые факторы.

Непланируемые факторы

•R

К непланируемым (случайным) факторам относят: субъектив­ную позицию экспериментатора, влияющую на его действия, внешние источники, влияние на ход исследования, индивиду­альные особенности испытуемых и др.

Формализация объекта исследования, планирование самого ис­следования должны предполагать минимизацию разности (/—/*) посредством выбора соответствующего плана эксперимента и ме­тодов профилактики артефактов. Также необходимо корректно определить типы независимых переменных (факторов) и зависи­мых (откликов), выбрать соответствующие измерительные инст­рументы и в зависимости от цели исследования, проверяемых научных гипотез выбрать статистические критерии оценки полу­ченной исследователем информации.

Как правило, эта работа выполняется в теоретических иссле­дованиях при обработке количественной информации, получен­ной в ходе эксперимента. И речь идет не только о том, чтобы наиболее наглядно представить результаты исследования: постро-

_ение графиков, таблиц, диаграмм, матриц и т.д., но и о необхо­димости использования статистических методов для доказатель­ства достоверности сделанных выводов.

В связи с этим нельзя обойти вниманием одно обстоятельство. Используемые методы математической обработки исходных дан­ных не ответственны за их истинность (достоверность). Они лишь инструмент, с помощью которого можно выполнить более глубо­кую и основательную интерпретацию полученного эксперимен­тального материала, результатов наблюдений, опросов. Достовер­ность эмпирического материала должна обеспечиваться выбором адекватных задачам исследования методов, подбором соответству­ющих методик и шкал измерения, строгим следованием процеду­ре методики измерения, тщательностью и аккуратностью прове­дения измерений, точностью выполнения расчетов.

Следует также заметить, что изучаемые в психолого-педагоги­ческой области процессы трудно поддаются математическому опи­санию и всякой формализации. Психолого-педагогические процес­сы сложны: они динамичны, многофакторны, иногда неповтори­мы, всегда замыкаются на человеке, следовательно, и выбираемые методы должны быть адекватными, соответствовать морально-эти­ческим нормам, гуманитарным ценностям. Очевидно, далеко не все методы исследования, подходящие для естественно-научных дисциплин, могут быть использованы в гуманитарной области.

В экспериментальной педагогике и психологии приходится изу­чать эффективность средств, способов, условий обучения, разви­тия, воспитания, адаптации ребенка, при этом производится срав­нение различных методик, систем, моделей. Поэтому исследова­телю чаще всего приходится сталкиваться со сравнительным экс­периментом.

Существуют различные схемы (планы) сравнительного экспе­римента. Рассмотрим вариант схемы, минимизирующей влияние случайных факторов, ставящих под сомнение внутреннюю и внеш­нюю валидность эксперимента. Внутренняя валидность соблюда­ется, когда очевидно, что именно изучаемое экспериментальное воздействие привело к изменениям в данном эксперименте. Внеш­няя валидность соблюдается, когда очевидно, на какие ситуации, случаи, области и т.д. могут быть распространены результаты эк­сперимента. Д. Кэмпбелл приводит 8 факторов, угрожающих внут­ренней валидности.

1. Фактор фона — неконтролируемые события между началь­
ным и контрольным измерениями.

2. Фактор естественного развития.

3. Эффект тестирования — влияние выполнения заданий пер­
воначального тестирования на результаты следующего.

4. Инструментальная погрешность, связанная с неточностью
Измерительного инструмента.

5. Статистическая регрессия. Имеет место, когда группы отби­
раются на основе крайних показателей и оценок. Известно, что
точность измерений на крайних участках шкалы снижается.

6. Фактор отбора испытуемых — неэквивалентность групп по
составу.

7. Отсев в ходе эксперимента.

8. Взаимодействие фактора отбора с естественным развитием.
Перечислим факторы, ставящие под угрозу внешнюю валидность^[.

1. Реактивный эффект — увеличение или уменьшение чувстви­
тельности к экспериментальному воздействию под влиянием пред­
варительного тестирования.

2. Эффект взаимодействия фактора отбора и эксперименталь­
ного воздействия.

3. Условия организации эксперимента, вызывающие реакцию
испытуемых на эксперимент.

4. Взаимная интерференция экспериментальных воздействий¹.

Отдельно можно выделить неэкспериментальные влияния, кото­рые могут привести к артефактам (искусственно полученным фак­там).

1. Эффект плацебо, механизм которого основан на самовнуше­
нии и внушении.

2. Эффект Хоторна. Стимулируются осознанные или непроиз­
вольные попытки соответствовать ожиданиям исследователя.

3. Эффект Пигмалиона (эффект Розенталя) — субъективные
влияния исследователя, заинтересованного в том или ином ре­
зультате.

4. Эффект аудитории —"изменение поведения испытуемых под
влиянием экспериментатора, публики.

5. Эффект первичности — зависимость оценки суждения от пер­
вого впечатления².

Предусмотреть действие всех случайных факторов в социаль­но-педагогическом или психологическом исследовании очень слож­но. Но их минимизация возможна при использовании экспери­ментальных планов с контрольными группами.

Предположим, что требуется изучить эффективность различных учебных программ с точки зрения формирования общелогических умений (анализа, синтеза, выделения главного, упорядочивания, определения причинно-следственных связей и т.д.). Пусть в 5 «а» классе реализуется экспериментальная программа, в 5 «б» классе (контрольной группе) — типовая программа. Контрольная группа подбирается так, чтобы обеспечить конструирование эксперимента

¹ См.: Кэмпбелл Д. Т. Модели экспериментов в социальной психологии и при­
кладных исследованиях. — СПб., 1996. — С. 46—47.

² См.: Горбатов Д. С. Практикум по психологическому исследованию. — Сама­
ра, 2000. - С. 24.

ро принципу единственного различия, т. е. все параметры экспе­римента, за исключением указанных программ, должны быть иден­тичными. Независимыми переменными (факторами) в данном случае являются содержание учебных программ, методические особенности их реализации; зависимой переменной (откликом) является уровень овладения общелогическими умениями.

Цель исследования: определить степень эффективности экспе­риментальной программы с точки зрения формирования общело­гических умений.

Задача: провести сравнение сформированности общелогичес­ких умений в экспериментальной и контрольной группах в начале и в конце эксперимента.

Формализация задачи

Вводим обозначения:

Х_0э — средний уровень овладения общелогическими умениями в экспериментальной группе на начальной стадии эксперимента;

JST_]3 — средний уровень овладения общелогическими умениями в экспериментальной группе на завершающей стадии экспери­мента;

Х_0к — средний уровень овладения общелогическими умениями в контрольной группе на начальной стадии эксперимента;

xi_k — средний уровень овладения общелогическими умениями в контрольной группе на завершающей стадии эксперимента.

Выбираем схему сравнений:

Устанавливаем признаки эффективности экс­периментальной программы.

Я,

Начало исследования

Я, (Я₀)

Конец

Я,

исследования (через год)

1. Справедливость Я₀ (нулевой гипотезы) при сравнении ао_э и
А"о_к (отсутствие статистически достоверных различий).

2. Справедливость Я] (альтернативной гипотезы) при сравне­
нии а'оэ.и Xi₃ (X_i3 > Х_0э) для выбранного уровня значимости ис­
следования.

3. Справедливость Я_: при сравнении Х_1э и Х_1к (Х_{э > Х_{к).

4. Справедливость Н\ при сравнении Х_0к и Х_[к (возможно Н₀, так как в контрольной группе тоже формируются общелогиче­ские умения, хотя, возможно, и не столь эффективно, как в экс­периментальной).

Выбираем критерий проверки статистических гипотез.

Например, при нормальном распределении признака это мо­жет быть /"-критерий Стьюдента. Для сравнения Х_0э и Х_ъ; Х_0к и J$f_lK -/-критерий для зависимых выборок. Для сравнения Х_0э и X_i3; Х_0к и xi_k — /-критерий для независимых выборок.

Определяем уровень требуемой статистической достоверности (уровень значимости).

Р—0,95 (или 0,99; 0,999 — в зависимости от степени ответ­ственности выполняемой исследовательской работы и ее резуль­татов). Уровень значимости — 0,05.

При такой схеме исследования становится ясно, что удается избежать многих угроз нарушения валидности исследования: фак­тора фона, естественного развития, эффекта тестирования, фак­тора отбора, реактивного эффекта и др.

Для профилактики артефактов могут быть использованы раз­личные приемы. Например, рандомизация выборок (случайный отбор испытуемых), дезинформирование испытуемых (сообщение им ложных целей, гипотезы эксперимента), маскировка экспери­ментальных воздействий, использование метода «скрытого» экс­перимента (когда испытуемые не подозревают, что участвуют в исследовании), использование «двойного слепого метода» (когда экспериментатор и испытуемые не знают, какая группа является экспериментальной, какая — контрольной), неинформированность лица, проводящего эксперимент, относительно его целей¹. Выбор тех или иных методов должен соотноситься не только с их целесо­образностью, но и с нравственно-этическими нормами, поскольку в социально-педагогических исследованиях очень важно не нане­сти урон, психологическую травму испытуемым. Условия разви­тия личности, формирования нравственных качеств должны со­блюдаться при любых экспериментах.

Проверка статистической гипотезы требует выбора статистиче­ского критерия, адекватного методике измерений и особенностям выборки. Наибольшее распространение в практике получили /-кри­терий Стьюдента, Г-критерий Вилкоксона, Q-критерий Розенбау-ма, <р*-критерий Фишера и др. Подробную информацию об исполь­зовании перечисленных критериев можно найти в литературе².

¹ См.: ГорбатовД.С. Указ. соч. — С. 25.

² См.: Гласе Дж., Стенли Дж. Статистические методы в педагогике и психо­
логии: Пер. с англ. / Под ред. Ю.П.Афлера. — М., 1976; Сидоренко Е.В. Методы
математической обработки в психологии. — СПб., 1996.

формирование навыков использования средств формализации лучше всего отрабатывать при проведении лабораторных работ.

Ниже — примеры лабораторных работ, которые были проведе­ны автором в процессе изучения данного курса.