Только после воздействия

Хотя идея предварительного тестирования глубоко проникла в сознание исследователей, работающих в об­ласти педагогики и психологии, оно не является неотъ­емлемой частью истинного эксперимента. По причинам психологического порядка трудно отказаться от того,

чтобы удостовериться в «равенстве» экспериментальной и контрольной групп до введения дифференцированного режима эксперимента. Тем не менее, наиболее адекват­ной во всех отношениях гарантией отсутствия изначаль­ного смещения между группами является рандомизация. В рамках доверительных пределов, устанавливаемых статистической моделью, рандомизации достаточно и без предварительного тестирования. Фактически почти все агробиологические эксперименты, выдержанные в традициях работ Фишера [37, 38], выполнены без пред­варительного тестирования. Проводя педагогические ис­следования, особенно в младших классах, часто прихо­дится испытывать методы изложения ученикам совер­шенно нового учебного материала, и в этой обстановке предварительное тестирование в обычном смысле слова невозможно. Точно так же при исследовании влияния доводов адвокатов на решение присяжных неуместно определять априорные оценки виновности или невинов­ности подсудимого. Схема 6 годится для этих случаев, а также для тех, в которых можно было бы применить планы 4 или 5, позволяющие производить подлинную рандомизацию. Вот как выглядит план 6:

R X O ₁

R O₂.

Хотя этот план применялся еще в 20-х годах, он не ре­комендуется большинством руководств по методам ис­следования в педагогике. Причина этого отчасти в не­умении отличить его от плана 3, а отчасти в недоверии к рандомизации как средству уравнивания. Этот план представляет собой как бы половину плана Соломона, и, как нетрудно видеть, в нем контролируется как глав­ный эффект тестирования, так и его взаимодействие с X, но в отличие от плана 5 они не измеряются. Однако такое измерение несущественно для решения централь­ного вопроса о наличии эффекта X. Таким образом, хотя план 5 предпочтительнее плана 6 по упомянутым причинам, выигрыш от плана 5 может не стоить боль­шого труда, затрачиваемого на его реализацию. Анало­гично план 6 обычно лучше плана 4, если только нет оснований сомневаться в подлинности рандомизации. Эксперимент типа 6 слишком редко применяется в пе­дагогике и психологии.

Если, как это часто бывает при проведении педаго­гических исследований, доступны данные, полученные до введения X, ими, разумеется, следует воспользоваться формирования блоков, определения факторных уровней или как сопутствующими переменными. Этот совет основан на двух соображениях. Во-первых, статистические модели, соответствующие плану 4, обладают большей мощностью, чем те, которые применимы для плана 6. Хотя значительные усилия, необходимые для реализации плана 4, в большинстве ситуаций делают подобный выигрыш неоправданным, положение меняет­ся, когда нужные исходные показатели «лежат на по­верхности». Во-вторых, доступность таких показателей позволяет проверить наличие взаимодействия X сна­чальным уровнем и тем самым составить более полное представление о возможности обобщения результатов. Правда, нечто подобное может быть выполнено и в рам­ках плана 6, если вместо предварительного тестирования воспользоваться другими имеющимися данными. Кроме того, для генеральной совокупности, на которую предполагается распространять выводы педагогическо­го исследования, характерно частое тестирование. По­следние два обстоятельства могут изменить ситуацию, делая план 6 предпочтительнее плана 4. Отметим так­же, что при заметном выбывании испытуемых между R и итоговым тестированием исходные данные в пла­не 4 обеспечивают больше возможностей для откло­нения гипотезы о влиянии на эффект неравномер­ности выбывания из экспериментальной и контрольной групп.

Как бы то ни было, существует ряд проблем, при­менительно к которым предварительное тестирование невозможно, неуместно или легко провоцирует нежела­тельную реакцию испытуемых; для исследования этих проблем более приемлем план 6. Кроме упомянутого ранее изучения способов подачи нового учебного мате­риала, можно привести много примеров, когда: 1) Х и итоговое тестирование О могут быть предъявлены уча­щимся или группам естественным образом в единой композиции и 2) предварительное тестирование нельзя провести должным образом. Такие ситуации часто воз­никают при исследовании самой процедуры тестирова­ния — например, при сравнении эффективности различ-

ных инструкций, бланков для регистрации ответов и т. д. Это относится и к сравнению эффективности обра­щений о наборе добровольцев и т. д. Когда необходи­мо сохранить анонимность респондентов, удобнее дру­гих оказывается план 6. В таких случаях рандомизация достигается путем перетасовки материалов, подлежа­щих распределению среди респондентов.

Статистические модели для плана 6

Простейший способ обработки — это применение t- критерия. План 6, пожалуй, единственный, для которого он оптимален. Однако ковариационный анализ и фор­мирование блоков по таким исходным показателям ис­пытуемых (Underwood [129]), как успеваемость, оценки в тестах, профессия родителей и т. д., позволяют повы­сить мощность статистической процедуры примерно до того же уровня, что и при использовании предваритель­ного тестирования. Идентичность предварительного и итогового тестов несущественна. Часто это различные формы «одного и того же» теста, и, следовательно, они менее идентичны, чем буквальное повторение предвари­тельного теста. Точность возрастает с увеличением сте­пени ковариации, и, хотя она обычно выше для экви­валентных форм «одного и того же» теста, чем для «различных» тестов, это чисто количественное разли­чие, причем такой надежный комплексный показа­тель, как, скажем, средний балл успеваемости ученика, может оказаться лучше короткого предварительного тестирования. Отметим, однако, что использование сред­него баллав качестве итогового показателя обычно не­желательно из-за его вероятной нечувствительности к X в сравнении с показателями, имеющими более тесную связь с содержанием и временем тестирования.

Неважно, как трактовать этот план с предваритель­ным псевдотестированием — как план 6 или как план 4. Он обладает достоинствами плана 6, избавляя экспери­ментатора от проведения настоящего предварительного тестирования, от повторного применения идентичного или весьма сходного по содержанию необычного мате­риала (как при изучении изменений социальных уста­новок). По этим причинам оценка плана 6 в отношении реакции на эксперимент будет несколько выше, чем для

планов 4 и 5. В социальных науках в целом это преимущество еще важнее, чем в педагогических исследованиях.

Факторные планы

На концептуальной основе трех последних планов, особенно планов 4 и 6, добавляя к ним новые группы с новыми X, можно построить сложные факторные планы, типичные для фишеровской традиции. В обычном однофакторном дисперсионном анализе мы будем иметь несколько «уровней» воздействия (Х ₁, Х ₂, Х ₃и т. д., а также, возможно, Х ₀«без X»). Если отсутствие X считать одним из уровней («режимов») эксперимента Х ₀, то в планах 4 и 6 будет по одной группе на каждый уровень. По плану 5 мы будем иметь две группы (прошедшую и не прошедшую предварительное тести­рование) для каждого режима, так что можно провести двухфакторный дисперсионный анализ. Нам неизвестно о применении более чем двухуровневых планов, анало­гичных плану 5.

Обычно, если интерес представляет влияние пред­варительного тестирования, применяется план 6, так как иначе требуется большое число групп. Очень часто используются две и более независимых эксперименталь­ных переменных, каждая из которых реализуется на нескольких «уровнях», для чего требуется ряд групп: Х_{a 1} Х_{b 1}, Х_{a 1} Хь ₂, Х_{а 1} Хь ₃ … Х_{а 2} Хь ₁и т. д.

Разработка соответствующих планов, сопровождае­мая попытками экономить, устраняя из них некото­рые из возможных перестановок из Х_а и Хь, породила пугающие тайны факторного планирования (рандо­мизированные блоки, расщепленные делянки, греко-ла­тинские квадраты, дробные реплики, смешивание и т. п.). В результате возникла пропасть между передо­выми и традиционными методами педагогического ис­следования. Мы надеемся перебросить мост через эту пропасть, сохраняя непрерывную связь с традиционны­ми методами и уповая на присущий каждому здравый смысл. По-видимому, большинство идей, необходи­мых для понимания планирования эксперимента, лег­че всего понять, если рассмотреть их на материале

планов с двумя экспериментальными режимами без до­полнительных усложнений. Вместе с тем полное изло­жение проблем традиционного характера позволит до­стичь понимания необходимости и роли современных подходов. Уже в связи с поисками наиболее эффектив­ного способа обработки результатов всеми признанного старого эксперимента по плану 4 мы познакомились с необходимостью ковариационного анализа, который пока почти не использовался в этих условиях. Точно так же при обсуждении плана 5, когда в связи с необ­ходимостью контроля за некоторыми факторами мы столкнулись с задачей двух режимов, мы отказались от t -критерия в пользу соответствующей модели диспер­сионного анализа.

Здесь мы не можем вдаваться в детали статистиче­ского анализа факторных планов или хотя бы привести их примеры. Элементарные аспекты этих методов с ориентацией на исследователей в области педагогики изложены Эдвардсом [33], Фергюсоном [36], Джонсо­ном и Джексоном [54] и Линдквистом [68]. Надо на­деяться, однако, что следующие несколько разделов по­зволят читателю составить себе известное представле­ние о некоторых возможностях и трудностях, связанных с обсуждаемыми в этой главе вопросами планирования эксперимента. Мы не станем рассматривать обычные соображения по поводу использования латинских квад­ратов и многих других неполных планов, где ради эко­номии в жертву приносится информация о факторных взаимодействиях. (Однако применение латинских квад­ратов взамен контрольных групп, когда невозможна рандомизация, будет рассмотрено ниже — см. квазиэкс­периментальный план 11.) Причина, по которой мы решили не обсуждать неполные планы, состоит в том, что подробная информация о взаимодействиях имеет прямое отношение к проблеме внешней валидности, осо­бенно в науке, где возникают трудности с воспроизве­дением результатов в разных условиях (см. Wilk, Kempthorne [132]). Мы хотели бы рассмотреть в этом разделе следующие понятия: взаимодействие, нестинг и перекрестная классификация, а также конечные, фикси­рованные, рандомизированные и смешанные факторные модели.