Проблема качества психологической информации

Лекция №4.

Принцип надёжности характеризует отношения метода с другими элементами системы и обеспечивает инвариантность результата, полученного данным методом.

Надёжность – воспроизводимость результатов исследования, точность измерения, устойчивость результатов, получаемых с помощью определённой методики, во времени и по отношению к различным помехам (побочным переменным). Надёжность оценивает согласованность показателей, полученных на тех же самых испытуемых при повторном исследовании тем же самым методом или эквивалентной его формой.

Надёжность:

• это помехоустойчивость исследования, независимость его результатов от действия всевозможных случайных факторов;
• разнообразие внешних материальных условий исследования, меняющихся от одного исследования к другому (например, время суток, освещённость и др.);
• динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе исследования (например, скорость утомления, стабильные показатели темпа и точности действий и др.);
• информационно – социальные обстоятельства (наличие других людей в помещении).

Надёжность данных есть условие валидности исследования.

Принцип валидности характеризует отношения предмета с элементами системы исследования. Предмет исследования не должен подменяться в ходе исследования.

Валидность – соответствие конкретного исследования принятым стандартам.

Валидность – достоверность вывода, которую обеспечивают результаты реального исследования по сравнению с результатами безупречного исследования.

Виды валидности:

• Внутренняя валидность – соответствие конкретного исследования идеальному; оценивает изменение зависимой переменной, определяется влиянием независимой переменной. Повышение внутренней валидности связано с устранением результатов действия побочных переменных и с усреднением их изменчивости и нестабильности.
• Внешняя валидность – соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и/или обобщения результатов на другие объекты и условия исследования. Зависит от репрезентативности выборки и соответствия контролируемых в исследовании дополнительных переменных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выводы конкретного исследования на реальные условия, а не на лабораторные условия.
• Прогностическая валидность – информация о методике (тесте), характеризующая степень точности и обоснованности суждения о диагностируемом психологическом качестве по его результату спустя определённое время после измерения; чем лучше методика (тест) может прогнозировать критерий, тем выше его прогностическая валидность. (П. Клайн)
• Конструктивная (конструктная) валидность – характеризует точность реализации теоретической гипотезы в процедуре исследования. Является одним из проявлений внутренней валидности. Определяет область явлений, изучаемых в исследовании.
• Содержательная валидность – соответствие целей и процедуры исследования обыденным представлениям испытумого о природе изучаемого явления. Имеет мотивационное значение для испытуемых и является в некоторых исследованиях одной из составляющих внешней валидности.
• Критериальная валидность – отражает соответствие диагноза и прогноза, полученных на основе данных исследования, деятельностным и жизненным показателям; включает в себя текущую и прогностическую валидность.

Принцип репрезентативности определяет отношения объекта с предметом, условиями, методом и результатом. Объект должен быть выбран в соответствии с задачей исследования. Репрезентативность исследования (Р.Готтсданкер) – степень приближения реального исследования к одному из видов безупречного эксперимента (исследования).

Для устранения внутренних противоречий в теории или для преодоления рассогласований теории и экспериментальных результатов, формулируются научные предположения, называемые гипотезами.

Предпосылки планирования экспериментов. Планирование экспериментов и классификации экспериментальных схем.

1. Предпосылки планирования экспериментов (см. отдельно).
2. Подходы к определению термина «планирование эксперимента».

Можно выделить следующие традиции в понимании того, что следует считать планированием психологического эксперимента.

· Выбор схемы, или плана, получения данных для проверки каузальной гипотезы. Такому представлению о планировании, когда исследователь выбирает ту или иную из набора имеющихся схем, сравнивая их возможности с точки зрения решения проблем приближения эксперимента к безупречному, следует Р. Готтсданкер.

Он предлагает анализировать возможные экспериментальные схемы по следующим основным признакам:

- предлагаются ли сравниваемые условия НП одному и тому испытуемому или разным группам людей; в первом случае говорят об интраидивидуальных схемах, а во вторых – о межгрупповых; в качестве промежуточных схем выделяются кроссиндивидуальные, в которых предполагается предъявление всех условий НП каждому испытуемому, но их последовательности варьируют применительно к выделенным подгруппам;

- достигается ли условие выделения единичной НП, что характерно для лабораторных экспериментов, или НП представляется в комплексе других условий, в разной степени претендующих на выполнение условия соответствия экспериментальной модели той внешней реальности, на которую будет осуществляться обобщение;

- контролируются ли все те возможные источники возникновения угроз внутренней валидности со стороны побочных переменных (ПП), которые могут обеспечивать систематические, несистематические, сопутствующие смешения (НП с ПП) или ненадежность данных;

- является ли экспериментальная схема факторной или схемой с одной управляемой независимой переменной; предполагается ли при этом количественное измерение основных результатов действия переменных (и их взаимодействий при факторных схемах);

- достигается ли наилучшая репрезентативность реально проводимого эксперимента по сравнению с мысленными образцами, следование которым обеспечивало бы построение безупречного эксперимента.

При этом представление об эксперименте как гипотетико-дедуктивном методе опускается, а оценка психологических гипотез рассматривается в одном основном аспекте – контроля угроз внутренней и внешней валидности. Тогда основное внимание уделяется обоснованию преимуществ использованной стратегии подбора испытуемых в группы, их отбора из популяции или распределения экспериментальных условий в общей их последовательности при контроле факторов задач. По-разному при этом решаются проблемы планирования для достижения приемлемой надежности данных, что зависит от контроля несистематической изменчивости, вариабельности использованных переменных и выбранного числа опытов для разных экспериментальных условий. С точки зрения контроля факторов ненадежности данных обсуждаются и возможности проводить усреднение показателей ЗП по разным условиям или для разных групп испытуемых и т.д. За выбранным числом, приходящихся на одно и то же условие НП, стоит и принятый критерий количественной оценки необходимой величины экспериментального эффекта, без достижения которого экспериментальная гипотеза считается не выдержавшей опытную проверку и должна быть отвергнута.

Таким образом, выбор схем связан с содержанием гипотезы и предполагаемыми возможностями обобщения исследуемой зависимости.

• Выделение в общей проблеме определения структуры и методических средств исследования аспектов содержательного и формального планирования.

Содержательное планирование включает этапы формулирования экспериментальных гипотез и обоснования их интерпретационных компонентов, связанных с введением гипотетических конструктов.

Для проведения эксперимента как в лабораторных условиях, так и в «полевых» на этапе содержательного планирования обосновываются также его конструктная валидность, связанная с контролем путей конкретизации теоретических понятий в гипотетические конструкты, и приемлемость именно экспериментального (а не «пассивно-наблюдающего», корреляционного или другого) подхода к организации сбора данных для проверки психологической гипотезы. К содержательному планированию можно отнести и обсуждение используемого методического арсенала фиксации переменных, т.е. решение проблем операционализации переменных, и утверждение постулируемых или неявно присутствующих в формулировке экспериментальной гипотезы предположений о сути психологической причинности или виде психологических законов.

Рассмотрение соотношения в ожидаемых эмпирических данных закономерного и случайного – также проблема содержательного планирования, которая, однако, не всегда в достаточной степени эксплицируется исследователем. Данные, полученные для отдельного испытуемого или отдельной выборки испытуемых, могут рассматриваться как случайные в том смысле, что при большом числе испытуемых (или нескольких выборках) они окажутся нехарактерными для основного массива результатов. При использовании понятия распределения выборочных значений ЗП, включающем переход к статистическим решениям о его виде, отдельные данные являются уже составной частью ряда значений измеренной переменной. И здесь уже случайность означает лишь вариабельность самой переменной, а не степень отличия индивидуального случая от характерных, т.е. наиболее часто встречающихся, показателей. Понятие случайного используется также для указания на не запланированные экспериментатором факторы (например, ПП) и для подчеркивания того факта, что исследуемая каузальная связь вынуждена «пробиться» сквозь сумму других составляющих. То есть закономерная связь может проявляться лишь при определенном стечении обстоятельств, а не всегда, лишь при определенных сочетаниях свойств испытуемых, а не для всех испытуемых и т.д.

Предположения о характере закономерностей в социально-психологических исследованиях с преимущественно популяционным характером гипотез, т.е. заведомой связи обобщений с определенными условиями жизнедеятельности людей и реальной принадлежностью к определенной группе, позволяют связывать законообразность с сочетанием динамических, других детерминистских и собственно вероятностных закономерностей.

Введение принципа ограниченной законообразности позволяет не путать на этапах содержательного и формального планирования экспериментов характер используемых психологических объяснений применительно к так или иначе выделенной психологической реальности, всегда ограничиваемой тем или иным пониманием законообразности и предмета изучения, с одной стороны, и отношение к случайности как зашумленности опытных данных не учитываемыми переменными и как к условию вероятностной оценки детерминистски сформулированных психологических гипотез, с другой стороны.

Намечаемый путь от защищаемого теоретического понимания каузальной зависимости к эмпирически наполненным утверждениям как экспериментальной и контргипотезам завершает этап содержательного планирования, если не рассматриваются еще две проблемы: конкурирующих объяснений зависимости при тех же компонентах методического воплощения эксперимента и повышения уровня обобщения зависимости на основе проведения разных экспериментов, отличающихся как раз по компонентам его методического воплощения.

Данные проблемы могут в свою очередь включать решение вопросов о представленности в той или иной методической процедуре возможности измерения не только психологической переменной, но и соответствующего ей психологического конструкта. Эти решения в свою очередь будут учитывать элементы формального планирования, поскольку психологические измерения всегда будут носить приближенный характер. Ошибка измерений необходимо должна учитываться как основание установления разных зависимостей при некотором разбросе данных. Вероятностный характер оценки вида эмпирически установленной зависимости всегда будет оставлять открытым вопрос о переинтерпретации того гипотетического конструкта, который связывался с экспериментальным воздействием или с базисным процессом, реконструируемым по значениям ЗП.

Какое бы психологическое понятие ни использовал экспериментатор при формулировке каузальной зависимости, он обязательно оказывается перед необходимостью выбора из ряда возможных методических средств, уже разработанных для эмпирической репрезентации изучаемых базисных процессов (психического отражения, психической регуляции, психических свойств и т.д.), или создания новых методик, если для представления интересующих его переменных таковые пока отсутствуют. Разработка методического арсенала в свою очередь предполагает возникновение и возможность проверки новых психологических гипотез. Поэтому этапы содержательного планирования могут быть представлены как обоснования тех или иных специальных методик, т.е. могут быть внесены в другие работы, результаты которых уже будут использоваться при реализации экспериментальных планов.

Под формальным планированием при этом имеется в виду также выбор плана исследования, или экспериментальной схемы. Однако при выделении этапа содержательного планирования выбор планов как форм экспериментального контроля уже нельзя представить только на уровне сравнения их преимуществ между собой и с точки зрения возможностей последующих обобщений.

В любой области психологических знаний можно проследить взаимосвязи изменений исследовательских подходов и стоящих за ними способов реконструкции психологической реальности, с одной стороны, и относительную автономность использования экспериментальных схем – с другой. Содержательное планирование не заменяет собой, а предполагает переход к этапу формального планирования. Формальное планирование обычно выносится за скобки содержательного планирования только в той его части, где методические тонкости обоснования схемы не влияют принципиально на понимание изучаемых явлений или процессов. Но даже решение о том, проводить ли межгрупповой или интраиндивидуальный эксперимент, включает оценку возможности последующих обобщений представленной в гипотезе зависимости.

• Планирование с целью последующего использования статистических решений об экспериментальном факте.

Формальное планирование как выбор схем сочетается с обоснованием достоверности или значимости получаемых эмпирических результатов. Предполагается подразделение следующих задач формального планирования исследования: с целью обеспечения валидности эксперимента, с целью обеспечения условий для принятия решений об экспериментальном эффекте, или эффекте действия НП, и с целью применения схем обработки данных, адекватных метрике использования шкал и способу сбора данных. В узком смысле к «планированию эксперимента» относятся здесь два момента, связанных с учетом последующих статистических решений.

Во-первых, это обсуждение вопроса о том, как будет оцениваться экспериментальный эффект. Решение может касаться выбора между мерами связи и мерами различий. Статистические меры связи могут быть использованы для установления ковариации между НП и ЗП. Статистические меры различий могут свидетельствовать об отсутствии различий в значениях ЗП между разными экспериментальными условиям. Соответствующие статистические гипотезы уже не включают предположений о законообразном действии НП, а звучат только как гипотезы о сравнении выборочных показателей (средних, дисперсий и т.д.). при одном и том же экспериментальном плане возможно использование разных планов обработки данных. Вид экспериментальной гипотезы иногда подсказывает, какой способ установления экспериментального факта по выборочным значениям ЗП следует предпочесть.

Во-вторых, это установление минимального эффекта, достаточного для вынесения суждения о полученных различиях в экспериментальном и контрольном условиях или наблюдаемой связи между изменениями НП и ЗП. Установление минимального эффекта включает определение вероятности ошибок первого и второго рода (или α- и β-уровней). Для α-ошибки принимается общее правило указания процента или возможной вероятности отвергнуть нуль-гипотезу как гипотезу об отсутствии различий или об отсутствии связи, когда она верна. Для β-ошибки в силу ее связи с величиной устанавливаемого эффекта такого общего правила нет.

Для установления экспериментального эффекта не всегда требуются статистические решения. Если изменения в значениях ЗП при сравнении разных экспериментальных условий столь велики, то в силу их «очевидности» отпадает их необходимость в использовании статистических критериев для оценки их значимости.

Величина минимального эффекта связана с количеством опытных данных, т.е. с числом выборочных значений показателей ЗП. Увеличение выборки может существенно снизить величину эффекта, достаточного для принятия решения о действии НП. Но величина выборки связана и с решением задач содержательного планирования (контроля фактора времени в связи с утомляемостью испытуемых, контроля репрезентативности выборки по отношению к популяции и т.д.). Поэтому ссылка на статистические таблицы, в которых представлены связи величины минимального различия (значений ЗП) и α-уровней значимости применительно к использованию конкретных статистических критериев, не может служить достаточным основанием для определения необходимого числа проб или испытуемых.

Содержательные аспекты, связанные с выбором схем, предполагающих последовательные изменения базисных процессов или возможные одновременные измерения переменных на разных группах испытуемых, анализируются путем соотнесения моделей, стоящих за выбором планов «параллельного» или «последовательного» экспериментирования. При этом сами модели уже никак не могут быть отнесены к области психологических знаний. Но психолог так или иначе обосновывает применимость их для установления статистических закономерностей в полученных экспериментальных данных.

Это касается практически всех видов использования количественной оценки психологических эффектов. Детерминистски сформулированные психологические гипотезы включают этап вероятностной оценки полученного результата действия переменной. Переходя на уровень проверки статистических гипотез, психолог начинает работать с выборочными значениями переменных и вероятностными моделями для оценки статистических гипотез, обсуждая вопрос о применимости соответствующих моделей с точки зрения содержания переменных.

• Под планированием эксперимента могут понимать математическое планирование. Оно начинается с выбора математической модели, описывающей события и взаимосвязи между ними, а также включает указанные выше моменты определения минимальных эффектов и α-, β-ошибок.

Критерии классификации экспериментальных планов

1. Это критерий строго, или истинного, эксперимента, по отношению к которому можно выделить так называемые доэкспериментальные и квазиэкспериментальные планы. Д. Кэмпбеллом он связывается с возможностью рандомизации, т.е. случайного распределения разных уровней НП по экспериментальным и контрольным условиям, означающей также допущение об эквивалентности групп испытуемых в этих условиях. Сравнение групп, являющихся эквивалентными по всем факторам, кроме экспериментального воздействия, позволяет рассматривать сдвиг в значениях ЗП при сравнении экспериментального и контрольного условий именно в связи с воздействием этого фактора.

2. Это число осуществляемых экспериментальных воздействий; в соответствии с ним принято различать планы с одной НП и так называемые факторные планы с двумя и более независимыми переменными. Один или несколько экспериментальных факторов изменяются в ситуации – каждый из них может быть оценен с точки зрения шкалы, в которой представлены изменения переменной. Критерий разделения экспериментальных схем на качественные и количественные связан с учетом шкалы, в которой измерена НП. Качественными называются обычно эксперименты, в которых уровни НП заданы в классификационных признаках. Если между условиями НП может быть показано не только качественное различие, но и порядок в величине учитываемого признака, то это уже позволяет переходить к количественному эксперименту. Использование количественных изменений НП означает переход к многоуровневому эксперименту.

3. Осуществление эксперимента в соответствии с интраиндивидуальным или межгрупповым способами предъявлений условий НП (предложен Д. Кэмпбеллом).

Используемые обозначения:

Х – НП без указания уровней, Х΄ и Х΄΄- два уровня НП;

R – рандомизация, т.е. случайный порядок предъявления проб в последовательности либо случайная стратегия образования групп (случайная выборка из популяции или случайное разбиение имеющейся выборки на группы испытуемых);

О – измерение ЗП.

Лекция №5.