Порівняння, контроль, маніпулювання, генералізація як головні завдання експерименту

С помощью сравнения устанавливается, влечет ли за собой изменение значения независимой переменной изменение значения переменной зависимой. Например, если существует связь между некоторым методом преподавания и степенью усвоения материала студентами, то студенты обнаруживают более высокую успеваемость после применения данного метода. Для того чтобы установить совместную изменяемость метода преподавания и успеваемости, сравниваются успеваемость в группе студентов, подвергшихся воздействию переменной х (метода преподавания) с успеваемостью в группе студентов, не подвергшихся такому воздействию.

Иными словами, чтобы установить ковариацию, значения зависимой переменной замеряются до и после применения независимой переменной. Иная версия сравнения: данные по группе, где применялась независимая переменная, сравниваются с данными по группе, где независимая переменная не применялась. В первом случае группа сравнивается с самою собой, во втором — экспериментальная группа сравнивается с контрольной. Без сравнения никакой экспериментальный план невозможен.

Контроль — задача экспериментального проекта. Она направлена на устранение постороннего фактора, влияющего на причинную зависимость между изучаемыми переменными. Часто контроль обозначается как обеспечение внутренней валидности научного вывода и соотносится с ответом на вопрос: действительно ли причиной наблюдаемого события (значения переменной) является признак, рассматриваемый исследователем как независимый.

Для более или менее уверенного утверждения о причинной зависимости между переменными надо соблюсти три необходимых условия. Первое условие относится к временной последовательности: причина предшествует следствию, только после применения экспериментальной переменной наблюдается эффект. Второе условие состоит в статистической зависимости одного признака от другого; утверждение о причинной связи не может не опираться на установленную тесную корреляцию. Следует соблюсти третье условие — самое сложное: не должно быть иного правдоподобного альтернативного объяснения возникновения признака-следствия, кроме как связь с экспериментальным признаком. Иными словами, связь может казаться причинной, а на самом деле является результатом влияния посторонних («третьих») переменных. Экспериментатор обязан сделать все возможное для устранения этого «шума». Отсутствие каких-либо альтернативных объяснений и достаточная уверенность в том, что эффект вызван именно данной причиной, определяется как внутренняя валидность эксперимента. При соблюдении всех трех условий, т. е. внутренней валидности, можно уверенно утверждать о причинной связи между признаками. Правда, соблюсти все три условия еще никому не удавалось.

Генерализация — экспериментальная задача, завершающая цикл сравнения, манипулирования и контроля. Реакция на политические термины в устной беседе — одно, а в печатном тексте — другое. Нескончаемая смена контекстов открывает проблему внешней валидности — возможности обобщения, генерализации полученного заключения.

Ошибки внешней валидности связаны с двумя причинами. Первая — это нарушение репрезентативности отбора единиц исследования. Внешняя валидность отсутствует в тех случаях, когда план эксперимента основан на искусственных допущениях. В целом внешняя валидность тем больше, чем шире область распространения полученных выводов. Подтверждение внешней валидности достигается путем многочисленного воспроизведения эксперимента в новых условиях.

Проблемы внутренней валидности логически разрешимы посредством статистического контроля и оценивания. А внешняя валидность не имеет убедительного логического обоснования. «Если имеется внутренне валидный [экспериментальный] план,... — пишет Д. Кэмпбелл, — то эффект продемонстрирован только для тех конкретных условий, которые оказались общими для экспериментальной и контрольной групп.