Надежность измерения социальных характеристик

Описанные выше способы построения шкал не дают полного представления о свойствах полученных оценок. Для этого необхо­димы дополнительные процедуры, результаты которых будем опи­сывать в терминах ошибок измерения. Назовем это проблемой на­дежности измерения. Рассмотрим ее решение на пути выявления правильности измерения, его устойчивости и обоснованности.

Компоненты надежного измерения. При изучении правильности устанавливается общая приемлемость данного способа измерения. Непосредственно понятие правильности связано с возможностью учета в результате измерения различного рода систематических оши­бок. Систематические ошибки имеют некоторую стабильную приро­ду возникновения: либо они являются постоянными, либо меняются по определенному закону.

Устойчивость характеризует степень совпадения результатов измерения при повторных применениях измерительной процедуры и описывается величиной случайной ошибки. Наиболее сложный вопрос надежности измерения — его обоснованность. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а пе некоторое другое, более или менее на пего похожее.

При установлении надежности следует иметь в виду, что в процессе измерения участвуют три составляющие: объект измере­ния, измеряющие средства, с помощью которых производится ото­бражение свойств объекта на числовую систему, и субъект, произ­водящий измерение. Предпосылки надежного измерения кроются в каждой отдельной составляющей.

Прежде всего сам объект в отношении измеряемого свойства может обладать значительной степенью неопределенности. Так, за­частую у индивида нет четкой иерархии жизненных ценностей, а следовательно, нельзя получить и абсолютно точные данные, ха­рактеризующие важность для него тех или иных явлепий.

Но может быть и так, что способ получения оценки не обеспе­чивает максимально точных значений измеряемого свойства. Напри­мер, у респондента существует определенная иерархия ценностей, а для получения информации используется поминальная оценка с вариациями ответов от «очень важпо» до «совсем неважно». Как правило, из приведенного набора все ценности помечаются ответами «очень важно», «важно», хотя реально у респондента имеется боль­шее число уровней значимости,

25!

Наконец, при паличии высокой точпости первых двух состав­ляющих измерения субъект, производящий измерение, допускает грубые ошибки. Например, в процессе клинического интервью, в хо­де которого должна быть выявлена система ценностей опрашивае­мого, интервьюер не смог довести до респондента суть беседы,. не смог добиться доброжелательного отношения к исследова­нию и пр.

Каждая составляющая процесса измерения может быть источ­ником ошибки, связанной либо с устойчивостью, либо с правиль­ностью, либо с обоснованностью. Однако, как правило, исследова­тель не в состоянии разделить эти ошибки по источникам их про­исхождения и поэтому изучает ошибки устойчивости, правильности и обоснованности всего измерительного комплекса в совокупности. При этом правильность (как отсутствие систематических ошибок) и устойчивость информации — элементарные предпосылки надеж­ности. Наличие существенной ошибки в -этом отношении уже сво­дит на нет проверку данных измерения на обоснованность.

В отличие от правильности и устойчивости, которые могут быть измерены достаточно строго и выражены в форме числового пока­зателя, критерии обоснованности определяются либо на основе ло­гических рассуждений, либо на основе косвенных показателей. В смежных с социологией науках, например в психологии, проб­лема обоснованности теста решается путем сопоставления его ре­зультатов с результатами внешнего критерия — с известной груп­пой или с данными реального поведения. В социологии такой при­ем, как правило, не удается использовать, поэтому обычно при­меняется сравнение данных одной методики с данными других методик или исследований, т. е. обоснованность устанавливается более косвенным путем. При этом, разумеется, не обязательно до-бив.аться полного соответствия результатов. Достаточным будет уста­новление общих тенденций, что зависит и от соотносительной зна­чимости самих критериев, и от их функции в общем замысле ис­следования.

Правильность измерения — выявление систематических ошибок. Прежде чем приступать к изучению таких компонентов надежно­сти, как устойчивость и обоснованность, необходимо убедиться в правильности выбранного инструмента измерения (шкалы или си­стемы шкал).

Возможно, что последующие этапы окажутся излишними, если в самом начале выяснится полная неспособность данного инстру­мента на требуемом уровне дифференцировать изучаемую совокуп­ность, или может оказаться, что систематически не используется какая-то часть шкалы или ее отдельная градация. Прежде всего» нужно ликвидировать или уменьшить такого рода недостатки шкалы и только затем использовать ее в исследовании.

Отсутствие разброса ответов по значениям шкалы. Попадание ответов в один пункт свидетельствует о полной непригодности из­мерительного инструмента — шкалы. Такая ситуация может воз­никнуть или из-за «нормативного» давления в сторону общепри-

пятого мнения, или из-за того, что градации (значения) шкалы п& имеют отношения к определению данного свойства у рассматривае­мых объектов (нерелевантны).

Например, если все опрашиваемые респонденты согласны с ут­верждением «хорошо, когда работа или задание требуют универ­сальных знаний», нет ни одного ответа «не согласен», остается только зафиксировать этот факт, однако подобная шкала не по­может дифференцировать изучаемую совокупность по отношению респондентов к работе.

Часто примером перелевантности являются многие исходпые шкалы методики семантического дифференциала Осгуда. Так, в ча­стности, при изучении установок инженера в работе измерения респондентов по шкалам «мужской—женский», «горячий—холод­ный» и др. давали оценку только в середине шкалы, в нейтральной точке. Уточнение позволило сделать вывод, что эти шкалы, по мне­нию респондентов, не имеют отношения к изучаемым установкам.

Использование части шкалы. Довольно часто обнаруживается, что практически работает лишь какая-то часть шкалы, какой-то один из ее полюсов с прилегающей более или менее обшир­ной зоной.

Так, если респондентам для оценки предлагается шкала, имею­щая Положительный и отрицательный полюса, в частности от +3 до —3, то при оценивании какой-то заведомо положительной ситуа­ции респонденты не используют отрицательные оценки, а диффе­ренцируют свое мнепие лишь с помощью положительных. Для того чтобы вычислить значение относительной ошибки измерения, ис­следователь должен знать определенно, какой же метрикой поль­зуется респондент — всеми семью градациями шкалы или только четырьмя положительными. Так, ошибка измерения в 1 балл мало о чем говорит, если мы не знаем, какова действительная вариация мнений.

Пример¹³. Девятнадцати испытуемым было предложено выска­зать отношение к трем понятиям по семи шкалам к каждому. Шкалы имели по 21 градации с крайними полюсами +10 и —10 и средней точкой 0. В целом получено 399 (19 -3-7) оценок со следующим распределением:

Балл /а.\ 10 9 8 7654 3210—1... —3-4,,. —6—7,,. — 1»