Образец матрицы для анализа заданий

Задания (вопросы, утверждения) только тогда следует включать в окончатель­ную версию опросника, когда они измеряют те же самые личностные особенно­сти, что и другие, предназначенные для этого задания. Для определения дискриминативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминантность задания, тем лучше задание. Это основной критерий. Как прави­ло, требуется минимальная корреляция в 0,2. Задания с отрицательной или нуле­вой корреляцией почти всегда исключаются.

При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы. В дополнение к изучению эффек­тивности и дискриминантности нужно определить то количество заданий, кото­рое потребуется для окончательной версии (не менее 20-30 заданий!) и насколь­ко хорошо они «вписываются» в ранее созданную для теста решетку. Например, можно включить задания с низкой дискриминативностью, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показате­лем эффективности при условии, что оно обладает достаточной дискриминантностью. Также важно обеспечить приблизительно равное количество прямых и об­ратных заданий. Для испытуемых разных полов необходимо выполнить отдель­ные процедуры анализа заданий.

8. Определение надежности теста. Надёжность – относительное постоянство и устойчивость результатов измерения при первичном и повторном его применении на одних и тех же испытуемых. Понятие надежности связано с понятием точности измерения. Если многократное измерение каждый раз дает абсолютно разное значение измеряемого показателя, значит, измерительная процедура не является надежной. Повторное применение надежного инструментария должно давать сходные результаты. Некоторые расхождения допустимы, но важно чтобы, они были незначительными. Надежность – критерий, который говорит о точности психологических измерений, т.е. насколько внушают доверие полученные результаты.

В тесте проверяется: 1) надежность самого измерительного инструмента (метод расщепления); 2) стабильность измеряемого признака; 3) константность, т.е. относительная независимость результатов от незначительных изменений в условиях проведения обследования (метод ретеста).

Метод расщепления. Обычно задания теста делятся на четные и нечетные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Если измерительный инструмент однороден, то большой разницы в успешности решения по таким половинкам не будет, следовательно, коэффициент корреляции будет достаточно высоким (не ниже r = +0,75).

Метод ретеста – повторное измерение интересующего качества на одной и той же выборке с использованием одной и той же измерительной процедуры при сохранении одних и тех же условий, но через определенный временной интервал. О стабильности измеряемого признака судят по коэффициенту корреляции между показателями первого и второго замера. Коэффициент корреляции должен быть не ниже r = +0,70. Очень многое в данном методе зависит от временного интервала. Если он небольшой, то испытуемый, уже знакомый с процедурой измерения, будет помнить результат и ориентироваться на него (либо подгонять под первоначальный, либо стремиться продемонстрировать «новый» результат). Это нежелательно, идет искажение надежности. Если времени слишком много, испытуемые забудут прежний результат, но и в самих измеряемых качествах могут произойти значительные изменения, т.е. ретест будет замерять уже новое качество, а не воспроизводить старый результат. Оптимальным считается временной интервал в 2 – 3 недели.

Метод параллельного измерения. Применяется для проверки константности методики. Коррелируются результаты двух экспериментов, проведенных в относительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффициент корреляции должен быть не ниже r = +0,80.

9. Определение валидность теста. Валидность – характеристики способности измерительной процедуры измерять действительно то, для чего эта процедура используется. Тест называется валидным, если он измеряет то, для измерения чего предназначен. Проверка измерительной процедуры на валидность называется валидизацией.

Очевидная валидность – описывает представление о тесте, сложившееся у ис­пытуемого. Тест должен восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с вызывающим уважение и в какой-то ме­ре трепет медицинским диагностическим инструментарием. Очевидная валид­ность приобретает особое значение в современных условиях, когда представление о тестах в общественном сознании формируется многочисленными публикация­ми в популярных газетах и журналах того, что можно назвать квазитестами, с по­мощью которых читателю предлагается определить все, что угодно: от интеллек­та до совместимости с будущим супругом.

Конкурентная валидность оценивается по корреляции разработанного теста с другими, валидность которых относительно измеряемого параметра установ­лена.

Прогностическая валидность устанавливается с помощью корреляции между показателями теста и некоторым критерием, характеризующим измеряемое свой­ство, но в более позднее время. По Л. Кронбаху, прогностическая валидность – наиболее убедительное доказательство того, что тест измеряет именно то, для чего он был предназначен. Основная проблема – выбор внешнего критерия (это особенно затруднительно при разработке личностных тестов).

Инкрементная валидность имеет ограниченное значение и относится к слу­чаю, когда один тест из батареи тестов может иметь низкую корреляцию с крите­рием, но не перекрываться другими тестами из этой батареи.

Дифференциальная валидность может быть проиллюстрирована на примере тестов интересов. Тесты интересов обычно коррелируют с академической успева­емостью, но по-разному для разных дисциплин. Ее значение так же ограничено.

Содержательная валидность – подтверждение того, что за­дания теста отражают все аспекты изучаемой области поведения. Обычно она определяется у тестов достижений. На практике для ее определения подбирают­ся эксперты, которые указывают, какая область (области) поведения наиболее важна, например, для музыкальных способностей, а затем, исходя из этого, гене­рируются задания теста, которые вновь оценивают эксперты.

Конструктная валидность демонстрируется полным, насколько это воз­можно, описанием переменной, для измерения которой предназначается тест. По сути дела, она включает в себя все подходы к определению валидности, которые были перечислены выше. Решение вопроса о конструктной валидности – поиск ответа на два вопроса: 1) существует ли реально некоторое свойство; 2) надежно ли измеряет данный тест индивидуальные различия по этому свойству.

Не существует какого-либо единичного пока­зателя, с помощью которого устанавливается валидность психологического теста. В отличие от надежности и дискриминативности, нельзя осуществить точные статистические расчеты, подтверждающие валидность методики. Однако разработчик должен представить весомые доказательства в пользу валидно­сти теста, что потребует от него психологических знаний и интуиции.

10. Определение объективности теста. Согласно Кеттэллу, измерительная процедура считается объективной, если ее цель скрыта от испытуемого (что не позволяет ему фальсифицировать результаты измерения) и данные, полученные с ее помощью, могут быть оценены независимо от лица, проводящего измерение и интерпретацию. Добиться независимости измерения психологических качеств и свойств от влияния субъективных факторов, связанных с особенностями личности экспериментатора и испытуемого, практически невозможно. Поэтому существует другое понимание объективности. Если использование в психологическом исследовании какой-либо измерительной процедуры разными исследователями при измерении одного и того же показателя на идентичных, но в тоже время разных выборках дает одинаковый результат, то данная измерительная процедура считается объективной. В этом определении акцент смещён с требования независимости на требование сохранения одинакового результата. Добиться сохранения одинакового результата возможно, для чего необходимо соблюдать меры по стандартизации основных составляющих измерительной процедуры (начиная от выбора заданий для испытуемого, времени для выполнения заданий, заканчивая процедурой регистрации данных, обработки и интерпретации результатов).

11. Стандартизация теста позволяет сравнить показатели, полученные одним испы­туемым, с таковыми в генеральной совокупности или соответствующих группах. Этим достигается адекватная интерпретация показателя отдельного испы­туемого. При стандартизации теста вводится поня­тие нормы, или нормативных показателей. Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объем и репрезентативность. В руководствах по тестам чаще всего указывается на то, что для простого уменьшения стандартной погрешности до­статочной будет выборка из 500 испытуемых. Однако репрезентативность выбор­ки не зависит от ее объема. Например, для того чтобы получить нормативные по­казатели для всей популяции детей, обучающихся в начальной школе, потребует­ся выборка объемом более 10 тысяч, тогда как выборка из такой ограниченной популяции, как пилоты авиакомпаний, не может быть столь значительной.

В некоторых случаях приходится формировать несколько групп стандар­тизации относительно возраста, пола, социального статуса и пр. Нормы находятся эмпирически, т.е. представляются в средних величинах и показателе стандартного отклонения.

Формула подсчета средней арифметической величины:

Формула вычисления среднего квадратического отклонения:

Статистические нормы задаются в соответствии со значениями средней арифметической величины и среднего квадратического отклонения измеряемого показателя.

Созданием стандартизованного теста и его публикацией обычно завершается работа психолога, но следует помнить, что с течением времени не­обходим пересмотр (ревизия) теста. Достаточно вспомнить о тестах интеллекта, нормы по которым устаревают через каждые 5 лет, и можно предполо­жить, что процесс их старения будет ускоряться.

Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Стандартизация (по А. Анастази)– это единообразие процедуры проведения и оценки выполнения теста. Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний. Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.