Новые контрольные группы

Подобно тому, как за любым X тянется шлейф его теоретически несущественных особенностей, так и лю­бой конкретный измерительный инструмент есть комп­лекс, в котором релевантное содержание связано с кон­кретной инструментальной формой, детали которой не имеют отношения к теоретической цели. Так, если мы

пользуемся для регистрации ответов специальными ка­рандашами и бланками фирмы 1ВМ¹, то это скорее по соображениям удобства, а не из-за того, что мы хотим включить в наши результаты дисперсию, обусловленную навыками работы с машинными бланками, знакомством с заполняемой формой, способностью следовать инст­рукции и т. д. Точно так же проверку знаний по прой­денному материалу посредством письменных работ при­ходится осуществлять с учетом индивидуального стиля и лексики, и поэтому результирующие колебания пока­зателей должны содержать дисперсию, обусловленную этими источниками, что, как правило, не входит в чис­ло наших целей. Ввиду комплексного характера любо­го О попытка распространить результаты на другие по­тенциальные О ставит нас перед проблемой: каким ас­пектом примененного в эксперименте О был обусловлен внутренне валидный эффект? Поскольку цель обуче­ния — не просто подготовка к будущим сочинениям и контрольным работам, мы должны все время иметь в виду эту проблему внешней валидности, или обобща­емости результатов.

И снова с концептуальной точки зрения следует не уповать на «чистые» показатели, свободные от иррелевантных наслоений, а использовать множество разных измерений, в которых специфические средства реализа­ции, конкретные иррелевантные детали были бы по воз­можности различными, а общее, существенное для нас содержание присутствовало бы в каждом из них. В рамках одного эксперимента в этом плане можно больше сделать применительно к О, чем к X, так как в один и тот же эксперимент обычно можно включить целый ряд мер эффекта (то есть зависимых перемен­ных). В исследовании Гецкоу, Келли и Мак-Кичи [47] эффекты регистрировались не только в ходе экза­менов и проведения специальных тестов установок, но учитывались и такие последующие действия, как выбор профилирующего предмета и запись на продвинутый курс по данной проблематике. (Эти последние оказа­лись столь же чувствительными к различиям в экспе­риментальных воздействиях, как и результаты тестов.)

_____________________________________________________________________________

¹ 1ВМ (International Business Machines) — одна из крупнейших американских фирм, производящих вычислительную аппаратуру, в частности, для школ. — Прим. перев.

Требование множественности О должно стать стандар­том для любого исследования методов обучения. В про­стейшем случае следует сочетать результаты письмен­ных работ и экзаменов (см. Stanley, Beeman [115]), присоединяя к ним по возможности данные относитель­но активности учащихся на уроке. (Распространение этого подхода на вопросы валидности тестов содержит­ся в: Campbell, Fiske [15]; Campbell [12]).

Квазиэкспериментальные планы

Существует немало естественных социальных усло­вий, в которых исследователь может использовать нечто вроде планирования эксперимента при сборе данных (то есть в отношении того, когда и на ком производить измерения), даже если он не полностью контролирует порядок экспериментальных воздействий (то есть когда и кому предъявляются воздействия, рандомизацию предъявления), что делает возможным подлинный экс­перимент. Такие исследования в целом могут рассма­триваться как квазиэксперименты. Одна из целей на­стоящей главы — пробудить интерес к таким квазиэкс­периментам и уточнить условия, в которых возникает возможность их проведения. Но как раз из-за отсутст­вия полного контроля экспериментальных параметров исследователь должен отдавать себе отчет в том, какие именно переменные в его конкретном плане не подда­ются контролю. Собственно говоря, список источников невалидности, приведенный в табл. 1, 2 и 3, был раз­работан скорее ради оценки квазиэкспериментов, чем для понимания истинного эксперимента.

Ознакомившись с предыдущим параграфом, будущий исследователь, вероятно, почувствовал, что планирова­ние эксперимента сопряжено с более многочисленными трудностями, чем он полагал ранее. Такой итог следует приветствовать, если результатом будет планирование и проведение более совершенных экспериментов и боль­шая осмотрительность в выводах, которые делаются на основе полученных результатов. Однако мы вовсе не хо­тели бы, чтобы у читателя сложилось впечатление, буд­то контроль параметров эксперимента все равно недо­стижим, и прекратил направленные на это усилия,

обратившись к еще более неформальным методам иссле­дования. Кроме того, этот внушительный список источ­ников невалидности может с еще большей вероятностью отпугнуть от проведения квазиэкспериментов, раз уж с самого начала, очевидно, отсутствие полного контроля за экспериментальными параметрами. Подобный итог был бы прямо противоположен нашим намерениям.

С точки зрения конечной интерпретации эксперимен­та и попыток вписать его в развивающуюся науку, каж­дый эксперимент несовершенен. Польза от списка фак­торов валидности могла бы состоять в том, чтобы экс­периментатор лучше понимал недостатки своего плана, которые он не может устранить, и соответственно знал бы о возможной альтернативной интерпретации полу­ченных данных. Конечно, он должен планировать самый лучший эксперимент, какой только возможен в данной ситуации. Он должен сознательно выискивать такие ис­кусственные и естественные лаборатории, которые обес­печивают наилучшие возможности контроля. Но после этого ему нужно провести эксперимент и интерпрети­ровать результаты, полностью сознавая, в каких пунк­тах эти результаты двусмысленны. Такое понимание важно и для осуществления экспериментов с «полным» контролем, однако оно абсолютно необходимо в случае квазиэкспериментов.

Осуществляя этот общий замысел, мы в этом разде­ле дадим обзор сильных и слабых сторон разнородных планов квазиэкспериментов, каждый из которых заслу­живает использования, если применение лучшего плана невозможно. Сначала будут обсуждены три плана экс­перимента с одной группой. Затем будут представлены пять общих типов экспериментов с многими группами. Отдельный параграф отводится вопросам корреляции, планам ex post facto, панельным исследованиям и т. д.