Метод поперечных срезов

 

Метод поперечных срезов предполагает тестирование разных людей разного возраста. По этой причине этим методом нельзя измерить непосредственно возрастные изменения, невозможно с его помощью и ответить на вопрос об индивидуальной стабильности во времени. Как мы видели, эти ограничения являются одним из оснований для использования лонгитюдного плана.

Но есть и другие недостатки. В связи с изучением разных выборок и разных возрастных групп возникает вероятность систематической ошибки при отборе. Возможно, сравниваемые группы различаются не только по изучаемой независимой переменной (в данном случае по возрасту), но и по другим параметрам, и именно эти последние различия обусловливают различия в значении зависимой переменной. Мы уже касались этого вопроса в главе 2, рассматривая особенности возраста как независимой переменной. Как отмечалось, цель состоит не в исключении всех межгрупповых различий, за исключением возрастных, а только тех, которые не имеют естественной связи с возрастом. Отмечалось также, что в большинстве случаев ответ на вопрос, какие параметры следует уравнивать, довольно очевиден — например, пол, расу, социальный класс, IQ. Однако теперь следует добавить, что на практике добиться желаемого соответствия не всегда просто. Обычно исследователи в области психологии развития отбирают испытуемых разных возрастов, используя разнообразные источники; новорожденных — из роддомов; младенцев — из семей, откликнувшихся на просьбу принять участие в исследовании; дошкольников — из детских садов; детей 5-11 лет — из начальной школы; подростков — из школ и колледжей. Эти различия в обстановке могут создавать различия и между популяциями. Поэтому, хотя исследователь может осознавать значение приведения в соответствие ряда параметров, сформировать действительно равноценные группы может оказаться довольно трудно.

Систематическая ошибка может также принимать форму избирательного отсева. Изначальная эквивалентность групп может растаять на глазах, если часть испытуемых откажется от продолжения обследования до его завершения. Проблема не только в том, что в одной возрастной группе оказывается больше выпадений, чем в другой. Суть проблемы та же, что и в лонгитюдном исследовании: те, кто выбывает, нередко отличаются от тех, кто остается. Поэтому валидности угрожает именно «избирательность» избирательных выпадений.

Нетрудно представить себе ситуацию, когда избирательное выпадение может исказить результаты сравнения возрастных групп. Предположим, что мы изучаем дошкольников и делим нашу выборку на младших (2,5-4 года) и старших (4-5,5 лет) детей, получая при этом две группы для сравнения. Процедура тестирования довольно утомительна, она требует от ребенка осмысления ряда инструкций и ответов на вопросы в течение весьма длительного периода времени. Не все дошкольники к этому готовы, и некоторые поэтому выбывают из исследования. Наибольшие шансы па выбывание у детей младшей группы. Наибольшие шансы на выбывание также у тех, кто обладает наименьшей компетентностью среди всех испытуемых из выборки. В таком случае мы останемся с двумя неравноценными группами: достаточно репрезентативной выборкой старших детей и явно нерепрезентативной по параметру уровня способностей выборкой младших детей. Очевидно, что любое такое выпадение снизило бы вероятность выявления улучшения результатов с возрастом.

Вернемся к вопросу о первичном отборе испытуемых. Я уже дважды говорил о том, что, как правило, выбор параметров для приведения в соответствие не представляет труда. Пора теперь обратиться к исключениям из этого «правила». Сомнения в том, по каким показателям следует уравнивать, чаще всего возникают в случаях, когда между группами очень большая разница в возрасте, и поэтому потенциально существует множество других различий. Поэтому эти сомнения наиболее сильны в ситуациях сравнения выборки пожилых с выборкой молодых людей. Наглядный пример — переменная образовательного уровня: сегодня процент лиц, окончивших среднюю школу, значительно выше, чем несколько десятилетий назад. Допустим, нам нужно сравнить 25-летних и 75-летних испытуемых. Если в обе возрастные группы мы отбираем по принципу случайности, молодые испытуемые в среднем окажутся образованнее пожилых. Тогда мы получим смешение возраста и уровня образования. Если мы включим в выборку пожилых людей только тех, у кого выше образовательный уровень, то получим равноценные выборки по параметру уровня образования, но за счет нерепрезентативности и искажения выборки пожилых людей в положительную сторону. Ни то, ни другое нежелательно; вероятно, если возможно, лучшим вариантом в этом случае будет совмещение двух подходов (см. Green, 1969). Однако главное это то, что при любой попытке сравнить взрослых испытуемых разных возрастов на определенном историческом этапе неизбежно происходит смешение возраста и уровня образования.

Сказанное выше о приведении в соответствие параметров группы фактически является частным случаем особенности, характерной для всех исследований методом поперечных срезов. Ранее отмечалось, что лонгитюдный подход к изучению возрастных различий неизменно связан со Смешением возраста и времени обследования. Добавим теперь, что использование метода поперечных срезов неизбежно связано со смешением возраста и поколения, или когорты. Поскольку испытуемые входят в разные возрастные группы, они появились на свет в разное время и росли в разных условиях. Один из примеров такого межпоколенного различия — несопоставимость образовательных возможностей, которые были у сегодняшних 25-летних к сегодняшних 75-летних людей. Можно привести еще массу примеров. Сегодняшние 75-летние люди, будучи детьми и подростками, пережили Великую Депрессию, их молодость совпала со Второй мировой войной, они достаточно долго жили без телевидения и других атрибутов современной жизни и т. д. Предположим теперь, что мы обнаружили различия в значении зависимой переменной между группой 25-летних и группой 75-летних лиц. Следует нам относить это различие на счет возраста или на счет разницы между поколениями?

Так же, как и в случае причин искажения валидности, рассмотренных в этой главе, степень смешения возраста и когорты зависит от характера проводимого исследования. Оценивая вероятность эффекта поколения, важно учитывать два фактора. Первый — тип изучаемой зависимой переменной. Если нас интересуют политические взгляды или результаты выполнения тестов интеллекта, тогда эффект поколения может быть достаточно выражен; практически, этот эффект был наглядно продемонстрирован в исследовании IQ (например, Schaie, 1994). Если нас интересуют изменения в частоте сердечных сокращений или остроте зрения, тогда эффект поколения, скорее всего, будет играть незначительную роль. В целом, чем более «универсальный», более «биологический» характер носит зависимая переменная, тем меньше вероятность того, что ее величина будет разной в разных когортах. Однако помните, что почти всегда возникают споры о том, насколько «универсальна», неспецифична конкретная переменная. Возможно, к примеру, что острота зрения изменяется от поколения к поколению как функция от изменения таких факторов, как уровень искусственной освещенности, наличие или отсутствие телевидения в годы становления индивида.

Другой фактор, который следует учитывать, — разница в возрасте. Эффект поколения становится особенно серьезной проблемой в исследовании групп с большой разницей в возрасте. В действительности, впервые вопрос межпоколенных различий встал в исследовании, направленном на сравнение выборок молодых и пожилых людей, и до сих пор наиболее часто он обсуждается именно в этом контексте. С другой стороны, психологу, сравнивающему 3- и 4-летних детей, нет необходимости беспокоиться о том факте, что одни дети родились в 1990 году, а Другие — в 1991. В границах детского возраста испытуемых обычно рассматривают как представителей одной когорты. Однако и здесь могут возникнуть сомнения. Что если сравнить когорту, выросшую без «Улицы Сезам», с когортой, выросшей с «Улицей Сезам»? Что если сравнить 11-летних детей, которые в начальной школе обучались по новому методу, с 7-летними, которых стали обучать по старой схеме? Мы живем во времена стремительных изменений в культуре и образовании, и эти изменения могут отражаться на результатах сравнения, по крайней мере, некоторых возрастных групп детей.

Последняя проблема, о которой стоит упомянуть, — это проблема эквивалентности измерений. Для сравнения уровня выраженности определенного поведения или определенной способности у разных возрастных групп необходима процедура точной оценки этой формы поведения или способности для каждой изучаемой группы. Однако зачастую тест, подходящий для одного возраста, не подходит для другого. Например, тест способности к классификации может быть точным индикатором уровня развития этих навыков у 7-летних детей, однако, с точки зрения речевых навыков, слишком сложным для многих 4-леток. Тогда в разных возрастных группах он будет измерять разные навыки: навыки классификации у 7-летних детей и объем словарного запаса у 4-летних. Заметьте, что тест все еще вскрывал бы истинные недовольно значимые возрастные различия: 7-летние дети по этому показателю действительно превосходят 4-летних, однако основанием для различий служит не то, что стремился оценить исследователь.

Проблема эквивалентности измерения выходит за рамки метода поперечных срезов. Она встает всякий раз при сравнении разных возрастных групп, поэтому равно актуальна и для лонгитюдного исследования. Однако форма, которую она принимает в лонгитюдном исследовании, несколько иная. Возьмем, к примеру, лонгитюдное изучение агрессии (например, Cairns, Neckerman, Ferguson & Gariepy, 1989). Исследователя, изучающего агрессию у детей сначала 4-летнего, а затем 12-летнего возраста, вряд ли будет интересовать сравнение выраженности агрессии у этих возрастных групп. Если бы в центре внимания находился уровень агрессии, тогда возникли бы серьезные осложнения, обусловленные тем, что формы, которые принимает агрессия, и обстоятельства, провоцирующие ее в 12-летнем возрасте, не те же, что в 4-летнем. Лонгитюдное изучение детей означает, что в центре внимания скорее всего будет находиться стабильность индивидуальных различий по параметру агрессии в процессе развития детей. Иными словами, вопрос состоит в следующем: остаются ли более (менее) агрессивными в 12-летнем возрасте дети, которые были более (менее) агрессивными в 4-летнем возрасте? Ребенок может быть крайне агрессивен и в 4 года, и в 12 лет, хотя частота и формы проявления агрессии изменяются. Этот акцент на относительном положении в группе, а не на абсолютном показателе, частично разрешает проблему эквивалентности измерения. Однако следует помнить, что в обеих возрастных группах необходимо использовать валидные методики измерения.

 

Более сложные планы

 

Из сказанного выше следует, что и лонгитюдный метод, и метод поперечных срезов имеют ряд недостатков. Таблица 3.1 наглядно представляет рассмотренные ранее проблемы. Некоторые из них, по крайней мере в принципе, разрешимы — например, систематическая ошибка при отборе в исследовании методом поперечных срезов. Однако другие недостатки присущи как лонгитюдному плану, так и плану поперечных срезов, и по этой причине их никак нельзя преодолеть. В частности, в исследовании методом поперечных срезов нельзя избежать смешения возраста и поколения, а в лонгитюдном исследовании — возраста и времени измерения.

В последние годы идет активное обсуждение недостатков традиционных лонтитюдных и поперечных планов, которое стимулировало разработку рода новых процедур для измерения возрастных изменений. Поскольку эти процедуры пока применяются в основном в исследованиях лиц пожилого возраста, их рассмотрение отложено до главы, посвященной старению (глава 13). Однако здесь можно сделать несколько предварительных замечаний.

Рисунок 3.1 схематически иллюстрирует планы, описанные выше. В таблице представлены возрасты, соответствующие определенным годам рождения и измерения. Лонгитюдный план соответствует любой строке таблицы. В этом случае выборка испытуемых, рожденных в одном году, регулярно обследуется в течение некоторого периода времени. Поперечный план соответствует любому столбцу. В этом случае отдельные выборки испытуемых разных возрастов обследуются в одно время.

 

Таблица 3.1 Недостатки лонгитюдного и поперечного планов

 

Лонгитюдный план	План поперечных срезов
Практические трудности (временные и денежные затраты)	Косвенное измерение возрастных изменений Невозможность применения для изучения индивидуальной стабильности
Вероятность устаревания методик Вероятность нерепрезентативности выборки Ограничение рамками одной когорты Вероятность избирательного выпадения Эффект повторного тестирования	Вероятность систематической ошибки при отборе
Трудность в установлении эквивалентных критериев	Вероятность избирательного выпадения
Смешение возраста и времени измерения	Трудность в установлении эквивалентных критериев
	Смешение возраста и времени рождения (когорты)

На рис. 3.1 изображен также еще один, не обсуждавшийся ранее вид плана — план с временным лагом. Его представляют диагонали таблицы. Мы могли бы изучать выборки 40-летних лиц в 1960 году, другую выборку 40-летних лиц в 1990 году, еще одну выборку 40-летних лиц в 2000 и еще одну — в 2010 году. Очевидно, что план с временным лагом не дает информации непосредственно о возрастных изменениях или возрастных различиях, поскольку обследуется только одна возрастная группа. Однако он может дать информацию о факторах, приводящих к смешению в лонтитюдных исследованиях и исследованиях методом поперечных срезов. В частности, обнаружив различия между нашими выборками 40-летних испытуемых, мы поймем, что эти различия отражают либо фактор когорты (главный источник смешения в поперечном плане), либо фактор времени тестирования (главный источник смешения в лонгитюдном плане), либо, естественно, комбинацию этих двух факторов. Невозможность определения, какой из факторов имеет первостепенное значение, свидетельствует о том, что план с временным лагом привносит свой собственный вид смешения — между когортой и временем тестирования.

Этот тип исследования используется довольно редко. Иногда сравнение с временным лагом возможно просто по причине естественного исторического хода науки. Например, Пиаже начал изучать понимание детьми принципа сохранения в 1930-1940-е годы. Следствием прихода популярности к его концепции несколько десятков лет спустя явилась вторая волна изучения понимания принципа сохранения, которая пришлась на 1960-е 1970-е годы. Вместе ранние и поздние исследования составляют план с временным лагом: две группы детей одного возраста, но появившихся на свет и проходивших тестирование в разное время. В этом случае не имело значения ни поколение, ни время тестирования, поскольку дети 1970-х выполняли задания на сохранение точно так же, как и дети 1930-х. Оценка уровня интеллекта дала совершенно иную картину. Результаты выполнения ребенком IQ-теста сравниваются с результатами детей того же возраста из нормативной выборки, которая набирается при создании теста, о чем более подробно будет рассказано в главе 11. Поэтому, скажем, 10-летний ребенок, выполняющий тест IQ в 1995 году, сравнивается с 10-летним ребенком, выполнявшим этот тест в 1975 году. Как правило, в этих сравнениях обнаруживается тенденция к улучшению результатов со временем (что, в действительности, является основанием для периодической перенормировки тестов интеллекта). Поскольку возраст остается неизменным, мы знаем, что улучшение должно отражать эффект либо времени измерения, либо (что более вероятно) когорты.

 

 

Рис. 3.1.,Примеры лонгитюдного плана, плана поперечных срезов и плана с временным лагом (числа, составляющие массив таблицы, соответствуют возрасту)

 

Лонгитюдный план, а также план поперечных срезов и план с временным лагом иногда называют «простыми». Они просты по сравнению с альтернативным, определенно не простым последовательным планом. Последовательный план соединяет в себе элементы лонгитюдного и поперечного планов и плана с временным лагом. Целью последовательного плана является разграничение эффектов возраста, поколения и времени измерения. Эти элементы могут по-разному сочетаться и анализироваться, отсюда несколько типов последовательных планов. В этой главе кратко и в общих чертах описано два типа. В главе 13 мы вернемся к теме последовательных планов и рассмотрим их конкретно, а не гипотетически, а также обсудим актуальную на сегодняшний день схему использования таких планов.

Сначала несколько слов о логике последовательных планов. В идеальном варианте нам бы хотелось иметь возможность оценить вклад каждого из трех потенциально значимых факторов - возраста, поколения и времени тестирования - в рамках одного аналитического метода. К сожалению, этому мешает их взаимозависимость; как только установлены любые два из них, автоматически устанавливаются и уровни третьего. Решив, к примеру, изучать определенные возрастные группы и определенные когорты, мы тем самым с необходимостью фиксируем время измерения, определяемое нужным сочетанием возраста и когорты. Следствием этой взаимозависимости является то, что в рамках одного аналитического метода в качестве независимых переменных могут выступать только два из трех факторов. В разных последовательных планах акцентируется внимание на разных факторах. В первом из приведенных ниже примеров независимыми переменными являются возраст и когорта, во втором — возраст и время измерения.

 

 

Рис. 3.2. Пример плана последовательности когорт (числа в таблице соответствуют возрасту)

Рис. 3.3. Пример плана последовательности времени (числа в таблице соответствуют возрасту)

 

Рисунок 3.2 иллюстрирует план последовательности когорт, при котором отбираются и регулярно обследуются в одном и том же возрасте равное количество лет испытуемые разных когорт. Таким образом, этот план состоит из двух (или более) накладывающихся друг на друга лонтитюдных исследований. В примере, который иллюстрирует рисунок, группы испытуемых, родившихся в 1940 и в 1950 годах, обследуются по три раза на протяжении 20-летнего периода. Такой план обладает рядом преимуществ перед стандартным лонгитюдным исследованием или исследованием методом поперечных срезов, поскольку: а) измерения происходят в разное время, переменная возраста не смешивается с переменной когорты (главное смешение в поперечном плане); б) выборки состоят из испытуемых, родившихся в разное время, лонгитюдное сравнение не ограничивается рамками одной когорты или одного поколения; в) разные возрастные группы обследуются одновременно, измерение происходит как в лонгитюдном, так и в поперечном направлении; г) одна возрастная группа обследуется в разное время, измерение происходит в направлении временного лага. Иными словами, этот план дает больше информации, чем любой из стандартных, и, таким образом, больше шансов вычленить вклад каждого из факторов.

Рисунок 3.3 иллюстрирует план последовательности времени, который включает в себя два (или более) исследования методом поперечных срезов, производимых в разное время. В этом примере, в 1990,2000 и 2010 годах сравниваются выборки 40-, 50- и 60-летних испытуемых. При обследовании в разное время испытуемые могут быть либо независимыми (то есть новые люди при каждом обследовании), либо те же (если первичная выборка изучается в лонгитюде). Этот план имеет то же достоинство, что и план последовательности когорт — он дает больше информации, чем простые планы. Его особым преимуществом является возможность разграничения переменных возраста и времени тестирования (главное смешение в лонгитюдном исследовании).

Если в разное время изучаются независимые выборки, удается избежать и некоторых проблем, связанных с лонгитюдным методом (избирательных выпадений, эффектов повторного тестирования).

Как уже говорилось, более подробно об этих планах можно узнать из главы 13. Однако здесь следует сделать несколько замечаний. Во-первых, очевидно, что последовательные планы, хотя и более информативны, требуют больше затрат — времени, усилий и денег, — чем простые поперечные и лонгитюдные планы. На реализацию плана, представленного па рис. 3.3, к примеру, ушло бы 20 лет, при этом нужно было бы сформировать (в случае использования независимых выборок) 9 групп испытуемых. Любой исследовательский проект предполагает выполнение ряда задач, только часть которых может быть выполнена на практике. Лучшими являются те планы, которые действительно можно реализовать.

Второе замечание касается критики, которой подвергаются традиционные лонгитюдный и поперечный планы. В некоторых случаях эта критика довольно сурова. Болте, Рис и Нессельроде (Baltes, Reese, & Nesselroade, 1977), к примеру, пишут, что «такие простые методы, как лонгитюдный и метод поперечных срезов, демонстрируют настолько низкий уровень контроля, что данные, полученные при помощи любого из них, по большей части невалидны и бесполезны для исследователя» (р. 124). Это серьезное обвинение, учитывая, что (по скромным оценкам) 99 % имеющихся у нас данных о возрастных изменениях получены в исследованиях методом поперечных срезов и в лонтитюдных исследованиях. Действительно ли почти все из того, что было сделано в психологии развития, бессмысленно?

Многие исследователи оспорили бы столь пессимистический вердикт. Действительно, цель качественного исследования заключается в том, чтобы минимизировать вероятность искажения валидности, и в идеале план должен исключать эту вероятность. К сожалению, никогда нельзя быть уверенными в отсутствии альтернативной интерпретации результатов. Суть в том, насколько правдоподобны эти альтернативные интерпретации. Особенно когда речь идет о выборке детей и особенно когда изучаются базовые формы развития (физическое созревание, константность восприятия; феномены, описанные Пиаже, языковые правила. — список можно продолжить), использование традиционных лонгитюдного метода и метода поперечных срезов вполне оправданно. Предположим, что мы изучаем концепцию Пиаже о принципе сохранения числа — то есть понимания того, что число объектов неизменно, несмотря на изменение их наложения, приводящее к кажущемуся противоречию, мы обнаруживаем, что 6-летние дети осознают сохранение числа, а 4-летние — нет. Крайне маловероятно, что этот результат является следствием факта рождения одних детей в 1988 году, а других — в 1990 году (если это исследование методом поперечных срезов) или фактом тестирования одной группы в 1992 году, а другой — в 1994 году (если это лонгитюдное исследование). Гораздо более правдоподобно (а на современном уровне понимания фактически бесспорно) то, что эти результаты отражают истинные возрастные изменения. В таких случаях при использовании метода поперечных срезов или лонгитюдного метода мы получаем данные достаточно валидные и достаточно ценные. (С другими аргументами в защиту традиционных методов, в особенности лонгитюдного, можно ознакомиться у McCali, 1977.)

 

Сравнение условий

Внутрисубъектные/межсубъектные планы

 

Обратимся теперь к вопросу о том, как сравнивать два и более видов тестовых или экспериментальных условий. Как уже отмечалось, в принципе, возможно два подхода; либо дать одним и тем же испытуемым все задания (поставить их во все экспериментальные условия), либо приписать разных испытуемых к разным экспериментальным группам. Первое называется внутрисубъектиым планом, последнее — межсубъектным планом. Поскольку рассмотрение этих двух подходов потребует постоянных перекрестных ссылок и сравнений, проще всего описывать их параллельно, а не по отдельности.

Как исследователю решить, осуществлять сравнение внутри группы или между группами? Как и в случае с лонгитюдным методом и методом поперечных срезов, зачастую определенную роль играет вопрос удобства. Обычно (когда конкретно, мы вскоре уточним) для внутрисубъектного исследования требуется меньше испытуемых. Предположим, нам нужно сравнить уровень трудности трех заданий, и мы знаем, что для выявления различий в трудности нужно по меньшей мере 20 испытуемых. Всегда, когда контингент потенциальных испытуемых ограничен, экономичность внутрисубъектного плана представляется довольно заманчивой.

Однако соображения удобства не всегда склоняют чашу весов в пользу внутрисубъектного подхода. За меньший размер выборки во внутрисубъектном исследовании приходится платить — конкретно необходимостью больше времени уделять каждому испытуемому либо за счет более длительных обследований, либо за счет большего их числа. Длительные или частые обследования подвергают серьезному испытанию терпение и мотивацию ребенка, особенно маленького, даже если исследователя не тревожит возможность того, что от ребенка требуется слишком много, это может беспокоить родителей или школьную администрацию: В таких случаях межсубъектный план, в котором требования к одному ребенку сведены к минимуму, является наиболее разумным выбором.

Статистические соображения также могут влиять на решение в пользу либо внутри-, либо межсубъектного плана. Статистические критерии, используемые для сравнения внутри группы, несколько отличаются от тех, которые используются для межгруппового сравнения. Более того, внутрисубъектные критерии зачастую обладают большей мощностью, чем межсубъектный — то есть, скорее выявят значимое различие, если оно действительно существует. Большая мощность этих критериев обусловлена уменьшением нежелательной дисперсии, которое обеспечивает внутрисубъектные план. Вспомним обсуждавшиеся ранее понятия первичной дисперсии и вторичной дисперсии, или дисперсии ошибки. Как отмечалось, целью качественного экспериментального плана является максимизация первичной дисперсии и минимизации нежелательной дисперсии, источником которой являются другие факторы. Было также отмечено, что одним из источников нежелательной дисперсии являются индивидуальные различия между испытуемыми. Обследование одних и тех же испытуемых в разных экспериментальных условиях позволяет снизить эту дисперсию и таким образом расширить возможности сравнения. Как следствие, повышается вероятность того, что показатель различия достигнет уровня статистической значимости.

И внутри-, и межсубъектный планы подвержены особым формам систематических ошибок. Очевидным недостатком межсубъектного плана является возможность и систематической ошибки отбора. Поскольку разные люди ставятся в разные условия, всегда существует вероятность того, что любые обнаруженные различия отражают не истинный эффект экспериментальных манипуляций, а изначальные индивидуальные различия между испытуемыми. Во внутрисубъектном плане, в котором каждый испытуемый обследуется при каждом из условий, эта вероятность отсутствует. Заметьте, что данное преимущество внутрисубъектного плана перед межсубъектным соотносится с ранее описанным преимуществом лонгитюдного метода перед методом поперечных срезов.

Существует два способа исключить возможность систематической ошибки отбора в межсубъектном исследовании (вспомните табл. 2.3). Первый — уравнять потенциально значимые переменные; ниже мы рассмотрим плюсы и минусы уравнивания. Другой подход был описан в главе 2: случайное причисление испытуемых к разным группам. Если размер выборки достаточно велик, если причисление действительно производится по принципу случайности, изначальные различия между испытуемыми будут находиться под контролем, а смешения субъектных переменных и условий удастся избежать. Как указывалось в главе 2, логика подхода, основанного на случайности, безупречна; проблема в том, чтобы обеспечить положительный ответ на оба «если».

Наиболее явная причина искажения валидности в рамках внутрисубъектных планов — вероятность эффектов повторного тестирования. Рассмотрим исследование, направленное на сравнение уровня трудности нескольких когнитивных заданий. Исследователь выбрал внутрисубъектный план, в котором каждый ребенок выполняет все задания. Поскольку на выполнение каждого из них требуется время, в процессе решения дети могут утомиться и потерять интерес. Поэтому успешность выполнения последних заданий может оказаться ниже успешности выполнения первых заданий. Или наоборот, в начале исследования дети могут испытывать некоторую робость и смущение, но освоиться в процессе тестирования. В этом случае успешность будет повышаться. В обоих примерах эффект повторного тестирования исказил бы результат сравнения трудности заданий, который собственно и интересует исследователя.

Описанные выше эффекты «врабатывания» и «утомления» попадают в разряд эффектов последовательности. Термин эффект последовательности характеризует любую общую тенденцию закономерного изменения успешности выполнения заданий от первых к последним. Обычно закономерное изменение заключается либо в общем повышении, либо в общем снижении успешности. Другая потенциальная проблема, связанная с внутрисубъектными планами, — это вероятность эффекта переноса. Об эффекте переноса говорят, когда ответ на одно задание (реакция в одних условиях) изменяется в зависимости от того, предшествует ему некое другое задание (другие условия) или следует за ним. Приведем пример, поясняющий это кажущееся довольно туманным определение. Представьте, что нужно сравнить уровень трудности двух заданий: Л и В. Допустим, что по отдельности эти задания могут правильно решить 50 % испытуемых. Однако оказывается, что если сначала идет задача Л, ее решение подсказывает путь решения задачи В, в результате частота правильных ответов на задачу В повышается до 70 %. Выполнение же задания В, если оно идет первым, подсказывает испытуемому пути решения, непригодные для решения задачи Л; в результате частота правильных ответов на задание Л падает до 30 %. Заметьте, что в этом случае в ходе экспериментального сеанса не обнаруживается ни общего улучшения, ни общего ухудшения; суть в том, что успешность выполнения одного задания зависит от того, идет оно до или после некоего другого задания. Хотя конкретные механизмы могут различаться, смысл эффекта последовательности и эффекта переноса общий: затруднение интерпретации при сравнении заданий или условий.

Чаще всего эффект последовательности создает проблемы в тех случаях, когда экспериментатор постоянно предъявляет задания в одном порядке. Отсюда рекомендация: при сравнении заданий или условий следует избегать одинакового порядка предъявления. Есть две альтернативы неизменной последовательности. Первая — рандомизация порядка заданий или условий. В определенных случаях, особенно когда количество заданий велико, рандомизация может оказаться весьма разумным решением. Однако зачастую рандомизации следует предпочесть контрбалансировку последовательности предъявления. Суть контрбалансировки легче объяснить на примере, чем через определение; простой пример представлен в левой верхней части табл. 3.2. Как можно заметить, контрбалансировка — это метод такого упорядочения заданий, при котором некоторое задание занимает разные позиции в ряду равное количество раз. Так, в данном примере задание А появляется одинаково часто на первом, втором и третьем месте; более того, оно равно часто предшествует заданиям В и С и следует за ними. В этим случае контрбалансировка полная — то есть использованы все возможные комбинации трех заданий. Очевидно, что с увеличением количества заданий возрастает и число возможных перестановок; 4 задания можно скомбинировать 24 способами (они представлены в верхней правой части табл. 3.2), а 5 заданий — 120 способами. В таких случаях полная контрбалансировка нецелесообразна; однако все еще можно отобрать такие последовательности, которые создавали бы достаточную сбалансированность. Примеры таких последовательностей для четырех и пяти заданий представлены в нижней части табл. 3.2.

Контрбалансировка обладает двумя преимуществами перед рандомизацией. Во-первых, она исключает вероятность смешения содержания задания с порядком предъявления, чего не может сделать рандомизация. Во-вторых, поскольку смешение устраняется, исследователь получает возможность сравнить разные последовательности предъявления и выделить любые эффекты последовательности или переноса, которые могут присутствовать в данных. Однако обратите внимание на то, что эти эффекты можно обнаружить, только если выборка достаточно велика и каждый вид последовательности представлен достаточно часто. Это замечание уточняет сделанное ранее заявление о том, что для внутрисубъектного исследования обычно требуется меньше испытуемых, чем для межсубъектного: всегда, когда имеет значение возможный эффект последовательности, количество испытуемых, необходимое для внутрисубъектного исследования, существенно возрастает.

 

Таблица 3.2 Примеры полной и частичной контрбалансировки

 

Полная контрбалансировка	Три задания	Четыре задания
	ABC АСВ ВАС ВСА CAB СВА	ABCD ABDC ACBD ACDB ADBC ADCB	BACD BADC BCAD BCDA BDAC BDCA	CABD CADB CBAD CBDA CDAB CDBA	DABC DACB DBAC DBCA DCAB DCBA
Частичная контрбалансировка	Четыре задания		Пять заданий
	ABCD BDAC CADB DCBA		ABCDE BEDCA CAEBD DCBEA EDACB

До этого момента мы рассматривали ряд факторов, которые должен учесть исследователь, делая выбор между внутри- и межсубъектным планом. Однако в некоторых случаях выбора просто нет; характер исследуемого вопроса сам диктует решение, каким должен быть план. В частности, всегда когда нужно выявить закономерности успешности выполнения заданий внутри группы, необходим внутри-субъектный план. Когда же нужно выявить определенные стойкие изменения как результат экспериментального воздействия, необходим межсубъектный план. Конкретизируем оба этих положения.

Замечание, касающееся выявления внутригрупповых закономерностей, перекликается с высказанным ранее аргументом в пользу лонтитюдных планов. Там мы указали на то, что везде, где речь идет об индивидуальной стабильности или индивидуальных изменениях во времени, требуется лонгитюдный подход, при котором испытуемые изучаются в процессе своего развития. Аналогично, везде, где речь идет о связи между двумя или более показателями в определенный момент времени, требуется внутрисубъектный подход, при котором одни и те же испытуемые оцениваются по ряду параметров. Предположим, что нам интересно, связано ли умение ребенка встать на чужую позицию с его способностью сообщать информацию другим людям (например, Shantz, 1975). Очевидно, что мы не можем оценить умение занимать чужую позицию у одной группы детей, а способность сообщать информацию — у другой, мы должны измерить оба параметра у всех детей. Предположим (возвращаясь к прежнему примеру), что мы хотим узнать, связаны ли показатели IQ Детей с их отметками в школе. Мы не можем оценить IQ в одной выборке, а IQ — в другой; вновь нужно измерить оба параметра у всех детей. Или допустим (предваряя пример, который более подробно разбирается в главе 11), что нас интересует последовательность овладения рядом когнитивных навыков. Действительно ли, к примеру, как утверждал Пиаже, дети осваивают принцип сохранения массы до принципа сохранения веса, а принцип сохранения веса — до принципа сохранения объема? Единственный способ узнать это — проанализировать представления детей о всех трех принципах. Эти примеры иллюстрируют основной мотив использования внутрисубъектного подхода: выявление взаимосвязей и закономерностей развития.

Замечание, касающееся экспериментального воздействия, приводящего к изменениям, в некотором отношении сходно с тем, что говорилось ранее об эффекте тестирования в лонтитюдных планах и эффекте переноса во внутрисубъектных планах. Суть в том, что опыт выполнения определенного задания или пребывания в определенных экспериментальных условиях может сделать испытуемого непригодным для оценки выполнения им других заданий или реакции в других экспериментальных условиях. Допустим, мы хотим сравнить эффективность нескольких методов обучения принципам сохранения (например, Smith, 1968). Мы набираем группу детей, не имеющих представлений о сохранении, и ставим их в условия обучения А. Вряд ли имеет смысл ставить затем этих же детей в условия В, так как, если условия А оказались эффективными, многие из детей уже будут владеть принципом сохранения! Тот же довод применим и в отношении любого исследования, цель которых добиться стойких изменений у испытуемых — программы вмешательства для так называемых неблагополучных детей, терапевтические программы для детей с психическими нарушениями, образовательные программы для родителей, ожидающих ребенка, и т. д. Во всех случаях, желая сравнить эффективность разных программ, мы должны использовать межсубъектный план, при котором разные испытуемые ставятся в разные экспериментальные условия. Обратите внимание также, что справедливость данного довода не ограничивается ситуациями активного изменения (вмешательство или терапия); он справедлив и для более локальных, краткосрочных изменений. Предположим, что нас интересует вопрос, помогает ли детям обучение проговаривать запоминаемое вслух при выполнении заданий на кратковременную память (например, Ferguson & Bray, 1976). Вряд ли дети, которых научили этой стратегии, перестанут ее использовать, как только мы перестанем давать соответствующую инструкцию; желая выявить эффект проговаривания, мы должны протестировать разные группы испытуемых. По поводу последнего примера и сделанного на его основе вывода может возникнуть возражение. В случае с проговариванием нас интересует не относительная эффективность нескольких видов экспериментального воздействия, а то, приведет ли оно вообще к улучшению по сравнению с исходным уровнем. Действительно, мы не можем сначала применить воздействие, а затем оценить успешность выполнения задания при его отсутствии. Но почему не сделать все в обратном порядке — то есть сначала измерить естественный уровень успешности выполнения ребенком заданий на память, применить воздействие, а затем вновь измерить память? Этот способ иллюстрирует план «Одна-группа претест-посттест» (Campbell & Stanley, 1966). Основанием для использования этого плана служит предположение, что любое повышение успешности от претеста к посттесту отражает эффект экспериментального вмешательства. Если это предположение валидно, тогда нет необходимости формировать отдельные группы испытуемых.

В ряде простых ситуаций план «Одна-группа» может отвечать целям исследования. Однако, как правило, он им не отвечает. Слабость такого плана явствует из сказанного ранее об экспериментальном контроле: он допускает смешение экспериментального воздействия с рядом других факторов, которые могут обусловливать изменения от претеста к посттесту. Возьмем в качестве примера для пояснения этого момента программы вмешательства. Представьте, что мы набрали группу неблагополучных 4-летних детей, дали им тест на готовность к школе, провели с ними программу, разработанную для развития школьных навыков, и обнаружили значительное улучшение. Свидетельство эффективности нашей программы? Необязательно. Возможно, что улучшение является следствием естественного биологического созревания в ходе взросления детей — того, что Кэмпбелл и Стэнли назвали переменной созревания. Возможно, что улучшение является результатом других событий в жизни детей, которые произошли за время обучения по этой программе, — того, что Кэмпбелл и Стэнли назвали переменной истории. Возможно, что улучшение является следствием практики, полученной в ходе претеста, — того, что Кэмпбелл и Стэнли назвали переменной тестирования. Или же улучшение является следствием проявляющейся при любом повторном тестировании естественной тенденции к повышению первоначально низких показателей, — того, что Кэмпбелл и Стэнли назвали переменной регрессии. Ни одну из этих альтернативных гипотез нельзя исключить; все их можно было бы отвергнуть, если бы включалась отдельная контрольная группа, не подвергающаяся экспериментальному воздействию.

И межсубъектный, и внутрисубъектный планы принимают разнообразные формы. Ниже рассматриваются два из наиболее значимых вариантов; план уравненных групп (вид межсубъектного исследования) и план временных серий (вид внутрисубъектного исследования).

 

Таблица 3.3 Относительные достоинства внутрисубъектных и межсубъектных планов

 

Фактор	Сравнение планов
Удобство	Во внутрисубъектном исследовании — меньше испытуемых; в межсубъектном исследовании — меньше времени на каждого испытуемого
Статистические критерии	Во внутрисубъектном исследовании — более мощные, чем в межсубъектном
Эффект повторного тестирования	Присутствует во внутрисубъектном исследовании,
	отсутствует в межсубъектном исследовании
Возможность систематической ошибки отбора	Присутствует в межсубъектном исследовании; отсутствует во внутрисубъектном исследовании
Анализ взаимосвязей внутри группы	Обязательно во внутрисубъектном исследовании; не возможно» межсубъектном исследовании
Процедуры, производящие стойкие изменения	Обязательно в межсубъектном исследовании; невозможно во внутрисубъектном исследовании

 

Планы уравненных групп

 

Для четкого сравнения разных экспериментальных условий необходимо, чтобы испытуемые, поставленные в разные условия, были эквивалентными с самого начала исследования. Мы уже рассматривали два метода обеспечения эквивалентности: случайное приписывание разных испытуемых к разным экспериментальным группам и тестирование каждого испытуемого во всех экспериментальных условиях. Добавим теперь третий вариант: использование планов уравненных групп, в которых параметры испытуемых приводятся в соответствие еще до приписывания к разным экспериментальным группам.

Как мы узнали из главы 2, практически любое межсубъектное исследование предполагает определенную степень уравнивания таких явных переменных, как возраст и пол. Тогда встал вопрос: зачем ограничиваться лишь явными переменными, почему не пойти дальше и не уравнять все потенциально значимые переменные? Небольшое замечание подскажет ответ на этот вопрос: невозможно выявить все потенциально значимые переменные, и даже если бы это было возможно, мы никогда не смогли бы добыть необходимые данные и провести необходимое уравнивание. Но все же неполное уравнивание предположительно лучше, чем никакое; почему же его не использовать? Оказывается, что эта процедура имеет как преимущества, так и недостатки.

Поскольку чаще всего при изучении детей производится уравнивание по IQ, я возьму эту характеристику в качестве примера. Желая уравнять детей по параметру IQ, мы должны сначала провести тесты интеллекта со всеми потенциальными испытуемыми (или, возможно, обратиться к школьной картотеке, где хранятся уже собранные данные об учащихся). Затем мы отбираем детей с одинаковыми или почти одинаковыми IQ. Количество детей в группах будет зависеть от количества экспериментальных условий — пары, если два типа условий, тройки — если три типа, и т. д. Работая с этими группами детей, имеющих одинаковые IQ, мы произвольно приписываем детей к разным экспериментальным ситуациям. Заметьте, что случайность приписывания сохраняет свое значение даже в плане уравненных групп. Заметьте также, что первоначальный подбор по IQ гарантирует то, чего не может гарантировать рандомизация: что в окончательном варианте экспериментальные группы будут равноценны по IQ.

Большим плюсом уравнивания является то, что оно обеспечивает четкий контроль переменных, которые в противном случае привели бы к появлению систематических ошибок. Если IQ действительно связан с величиной нашей зависимой переменной, то совершенно необходимо предотвращение смешения IQ и экспериментальных условий. Уравнивание также имеет ряд статистических преимуществ. Так же как и внутрисубъектные планы, план уравненных групп снижает нежелательную дисперсию и таким образом повышает мощность статистических критериев.

Основные недостатки уравнивания так или иначе касаются следующего вопроса: стоит ли оно того? Отбор, как правило, требует от исследователя приложения больших усилий, особенно если он должен предварительно протестировать всех потенциальных испытуемых (при отсутствии возможности воспользоваться уже собранными данными). Если переменная, по которой проводилось уравнивание, в

действительности не связана с величиной зависимой переменной, тогда уравнивание нам ничего не дает. Если выборка достаточно велика и используется случайное приписывание, группы, по всей видимости, при любых условиях будут эквивалентными, поэтому вновь уравнивание нам ничего не дает. Суть состоит в том, чтобы оценить эффективность затрат. Я уже отмечал, что планирование любого исследования связано с отбором нескольких подходящих приемов из большого набора потенциально информативных процедур. Тратить свое ограниченное время и усилия на процедуры, не повышающие качества исследования, — просто непрофессионально.

Помимо риска пустой траты усилий уравнивание иногда создает специфические трудности. В некоторых случаях прохождение испытуемыми предварительного тестирования может повлиять на их ответы при тестировании, имеющем экспериментальное значение (то, что Кэмпбелл и Стэнли назвали переменной реактивности). Возможно, к примеру, что некоторые дети испытывают тревогу, когда их забирают из класса для проведения теста интеллекта, и поэтому подозрительно относятся к дружелюбному экспериментатору, который приглашает их «пойти поиграть». Попытка создать игровую атмосферу для проведения исследования поэтому может свестись к нулю, что отразится на валидности. Уравнивание иногда приводит к выбыванию испытуемых. Если испытуемых подбирать описанным выше способом, единицей измерения становится уравненная группа, а не отдельный ребенок — к примеру, тройки подобранных по IQ детей в исследовании с тремя экспериментальными условиями. Если кто-то из тройки по той или иной причине выбывает, то нужно исключать и двух оставшихся. Везде, где велика вероятность выпадений, произведение уравнивания может оказаться невыгодным.

Есть ситуация, в которой уравнивание — заманчивый, но обычно ложный путь. Это случай, когда исследователь хочет уравнять изначально неэквивалентные группы. Мы уже встречались с примером этого, рассматривая различия в уровне образования между выборками молодых и пожилых людей. Обсудим еще один пример, взятый из работы исследователей Нила и Либерта (Neale & Liebert, 1986). Представьте, что вы хотите определить, добиваются ли те, кто окончил среднюю школу, большего материального благополучия, чем те, кто ее не закончил. Однако вас беспокоит, что эти две группы различаются по среднему IQ — допустим, 105 у выпускников и 90 у не окончивших. По причине несоответствия IQ любое из обнаруженных межгрупповых различий получает альтернативное объяснение: возможно, разница в благосостоянии является простым отражением различий в когнитивных способностях и не имеет ничего общего с окончанием или неокончанием школы. Поэтому вы решаете уравнять группы по параметру IQ Исключив IQ как потенциальную причину смешения, можно с большим основанием отнести различия в уровне благосостояния на счет преимуществ среднего образования.

Эта процедура имеет, по крайней мере, три недостатка, два из которых мы обсудим здесь, а рассмотрение третьего отложим до следующих разделов. Во-первых, данная процедура накладывает определенные ограничения на внешнюю валидность, поскольку по меньшей мере одна из двух групп не будет абсолютно репрезентативна (то есть либо нетипично высокий IQ у не окончивших школу, либо нетипично низкий IQ у окончивших школу). Во-вторых, приводя в соответствие

группы по одному параметру, мы тем самым систематически нарушаем соответствие по другим параметрам, связанным с окончанием школы. Предположим, вы решаете установить среднее значение IQ для обеих групп равным 90. В этом случае вы получите типичную группу не окончивших школу, однако ваши выпускники — в частности, потому что они преуспели несмотря на посредственный интеллект — скорее всего будут превосходить средний уровень по другим характеристикам (например, по мотивации, по поддержке со стороны семьи), которые вносят вклад в школьную успеваемость. И наоборот, установив средний IQ равный 105, вы получите типичных выпускников; однако теперь не окончившие школу будут иметь более низкие показатели по другим детерминантам школьной успеваемости. Приведение групп в соответствие по одному параметру может иметь незапланированный эффект, выражающийся в том, что в целом группы станут не более, а менее сходными.

Третий недостаток уравнивания неэквивалентных групп заключается в возможности эффекта статистической регрессии. В главе 4 мы обсудим то, как этот эффект проявляется при уравнивании в контексте общих рассуждений о статистической регрессии как одной из угроз для валидности.

 

Планы временных серий

 

Суть плана временных серий легче всего объяснить на примере. Целью проекта Холла и др. (Hall et al._t 1971) было отучить на специальных занятиях 10-летнего мальчика громко разговаривать на уроках. Их исследование, как и все исследования по плану временных серий, состояло из нескольких фаз. Первая фаза — исходный уровень — измерение исходной частоты изучаемых поведенческих проявлений в нормальных классных условиях. Как видно из рис. 3.4, случаи такого поведения были действительно частыми — 3-4 инцидента на каждые из пяти 15-минутных уроков. За измерением исходного уровня следовало первое экспериментальное воздействие: учитель игнорировал громкие разговоры, но проявлял повышенное внимание к продуктивному поведению ребенка. Очевидным результатом введения режима «избирательного внимания» стало резкое сокращение случаев громких разговоров, что иллюстрируют результаты на втором интервале на рисунке 3.4. За фазой экспериментального воздействия следовало возвращение к исходным условиям, при которых вновь резко возросла частота нежелательных действий. Наконец, на четвертой и последней фазе было восстановлено воздействие «избирательным вниманием», и уровень нежелательного поведения вновь снизился.

Исследование Холл и др. являет собой пример плана временных серий «А —В— А—В»; фаза исходного уровня (A1), первое применение экспериментального воздействия (В1), второй исходный уровень (А2) и второе экспериментальное воздействие (В2). Пронализируем суть каждой их этих фаз. Опенка начального уровня, очевидно, необходима для выявления возможного эффекта воздействия. Фаза первого воздействия тоже, конечно, неизбежна. Но почему не остановиться сразу после того, как экспериментальное вмешательство возымело действие — то есть зачем выходить:за рамки плана A—A? Ответ заключается в том, что простой план А—В не устраняет угрозы для валидности (созревание, историю и т. д.), обсуждавшиеся ранее при рассмотрении внутрисубъектных планов в целом.

 

 

Сеансы

Рис. 3.4. Пример плана временных серий. Уровень корректируемого поведения (громкие разговоры)