Факторы, приводящие к снижению валидности исследования или к недостоверности результатов

В классической работе, посвященной применению эксперимента в социальных исследованиях, Д.Кэмпбелл приводит следующий список факторов – угроз валидности:

4. Фон (исторический фон)– влияние конкретных событий, которые происходят между первым и вторым измерением наряду с экспериментальным воздействием (Например, был начат показ нового телесериала по произведению Л.Н.Толстого, что привело к повышению интереса молодежи к отечественной литературе).

5. Естественное изменение – изменение испытуемых, являющихся следствием течения времени (не связанных с конкретными событиями). Например, взросление, усиление чувства голода, усталости.

6. Эффект измерения – влияние выполнение заданий, применяемых для измерения на результаты повторного исследования. (Например, повышение тестовой компетентности, изменение установок, научение)

7. Инструментальная погрешность – влияние калибровки, характеристик наблюдателя на результаты измерения.

8. Статистическая регрессия – фактор имеющий место тогда, когда группы отбираются на основе крайних оценок.

9. Отбор испытуемых – неэквивалентность групп по составу, вызывающее появление систематической ошибки в результатах.

10. Отсев – неравномерность выбывания испытуемых из сравниваемых групп

11. Взаимодействие фактора отбора с естественным развитием.

Все перечисленные факторы являются внутренними по отношению к проводимому исследованию. Поэтому нарушения валидности связанные с ними называют нарушениями внутренней валидности.

Раз существует внутренняя валидность, значит, есть и внешняя. Внешняя валидность нарушается, если нет возможности использовать результаты исследования из-за специфичности условий его проведения, выборок[14] испытуемых, возникновения эффектов "Пигмалиона", "Хоуторна", "плацебо".

Рассмотрим пример. Предположим, мы решили выяснить влияет ли потребление алкоголя на агрессивность, мы пригласили добровольцев в лабораторию. Там под нашим контролем каждый выпивал определенную дозу алкоголя. Для того чтобы создать атмосферу непринужденности мы поставили большой телевизор. Можно ли сказать, что поведение участников исследования будет таким же и в настоящем баре. Скорее всего, нет. Искусственность условий наверняка окажет сдерживающее влияние. Специфичность создаваемых для эксперимента условий оказывается проблемой, когда мы хотим обобщить результаты нашего исследования на случаи реальной жизни. Аналогичная ситуация складывается и участниками исследования. В идеале мы должны были бы провести исследование на всех людях, на которых мы хотим обобщить его результаты, но на это нам не хватит ни времени, ни денег. Поэтому в любом исследовании принимает участие, ограниченное число лиц, а значит возникает потенциальна угроза внутренней валидности. В свою очередь увеличение числа участников эксперимента повышает внешнюю валидность.

Рассмотрим теперь три важнейших эффекта взаимодействия экспериментатор – участник эксперимента, которые могут привести к нарушению внешней валидности.