Анализ ex post facto

Выражением «эксперимент ex post facto» обозна­чаются попытки имитировать экспериментальное иссле­дование по плану 3 путем попарного уравнивания исходного состава групп на основании сведений об ис­пытуемых до введения X. Сам метод и его название впервые ввел Чэпин (Chapin, Qeen [20]). Он же [19], а также Гринвуд [46] в дальнейшем широко его исполь­зовали. Хотя эти работы относятся скорее к области социологии, чем к педагогике, и хотя мы считаем, что этот анализ подчас приводит к ошибкам, здесь уместно рассмотреть его. Этот метод представляет собой одну из наиболее серьезных попыток приблизиться к квази­экспериментальному исследованию.

В одном типичном исследовании ex post facto (Chapin [19, с. 99—124]) в роли X выступало школь­ное обучение (в частности, окончание средней школы), а в роли О — индивидуальные интервью, дававшие ин­формацию об успехе в жизни и социальной адаптированности обследуемых 10 лет спустя. Уравнивание

групп производилось на основании школьных архивов (в аналогичных, но еще более слабых исследованиях факты о состоянии до воздействия брались из итоговых опросов). Из первоначальных данных следовало, что окончившие школу не только лучше преуспевали, но также имели более высокие отметки в 5—8 классах, лучшее окружение, были моложе, их родители занима­ли более высокие должности и т. д. Очевидно, эти предпосылки могли способствовать не только оконча­нию средней школы, но и дальнейшим успехам.

Добавило ли что-либо обучение в школе к лучшей стартовой позиции детей по сравнению с этими факто­рами? «Решение», предложенное Чэпином, состояло в изучении групп учеников, уравненных по всем этим факторам, но отличавшихся по признаку окончания школы. Введение очередного признака уравнивания со­кращало итоговое различие между группами, которые подвергались и не подвергались воздействию, но, когда попарное уравнивание было завершено, различие все еще оставалось значимым. Из этого Чэпин заключил, хотя и осторожно, что среднее образование дало свой эффект. Изначальное число 2127 человек сократилось до 1194 (с ними удалось провести интервью, и о них сохранились нужные архивные записи). Уравнивание сократило число пригодных для использования случаев до 46, по 23 на группу окончивших и не окончивших школу —менее 4% опрошенных. Чэпин правильно от­мечает, что 46 сопоставимых случаев лучше, чем 1194 несопоставимых, и подкрепляет это аргументами, ана­логичными тем, которые мы приводили в пользу боль­шей важности внутренней валидности по сравнению с внешней. Трагедия в том, что его 46 случаев все еще оставались несопоставимыми и, кроме того, даже если встать на его точку зрения, в сокращении данных не было необходимости.

Его уравнивание было недостаточным по двум при­чинам. Во-первых, попарное уравнивание приводит в действие механизм дифференциальной регрессии, кото­рый создает различия в результатах, имеющие то же направление, что и наблюдавшиеся Чэпином (см. заме­чания Р. Л. Торндайка [125], а также обсуждение проблемы уравнивания в плане 10). Направление псев­доэффекта, обусловленного регрессией показателей к

групповым средним после попарного уравнивания, в этом случае вполне однозначно, поскольку различия по факторам уравнивания для преуспевших и непреуспев­ших направлены в ту же сторону, что и различия между окончившими и не окончившими школу. Каждый признак, детерминирующий подверженность X, даже в отсутствие X детерминирует и О. Все переменные урав­нивания коррелируют с X и О в одном и том же на­правлении. Хотя это и не обязательно должно иметь место по каждой переменной во всех исследованияхex post facto, тем не менее такая картина наблюдается в большинстве, если не во всех опубликованных приме­рах использования этого метода. Ошибки регрессии и сокращения числа случаев можно избежать, применяя современные статистические методы, которые позво­ляют избавиться от ошибки уравнивания в плане 10. Переменные уравнивания могли бы быть использованы как сопутствующие переменные в многомерном кова­риационном анализе. Насколько мы можем судить, та­кой анализ показал бы отсутствие эффектов, оказав­шихся якобы значимыми в исследовании, представлен­ном Чэпином. Однако применение ковариационного анализа к подобным задачам подвергается кри­тике.

Но имеется и второй, в сущности неустранимый, источник неэквивалентности групп в исследовании Чэпина. Гринвуд [46] называет его самоотбором испы­туемых в группы, подвергающиеся и не подвергающие­ся воздействию. Наличие X является закономерным ре­зультатом многочисленных предпосылок. Для выбыва­ния из школы до ее окончания, как мы знаем, имеются бесчисленные причины, помимо тех шести факторов, по которым производилось уравнивание. Мы можем с боль­шой уверенностью предположить, что большинство из них повлияло на последующий успех независимо от их действия через X. Это приведет к еще большей неэкви­валентности групп, помимо той, которая вызвала ошиб­ку регрессии. Даже проводя ковариационный анализ исходных данных и результатов О, мы можем интер­претировать наличие значимого эффекта X только пос­ле учета всех совместно действующих переменных урав­нивания.