Искажающий эффект количественных индикаторов

Исследования по оценке эффективности в США ста­новятся признанным инструментом принятия социаль­ных решений. Определенные социальные индикаторы, отбираемые с помощью таких социологических методов, как выборочные обследования, уже получили этот ста­тус: таковы индексы безработицы и стоимости жизни, которыми располагает Статистическое управление мини­стерства труда. Поскольку они составляют постоянную часть процесса принятия политических решений, полезно рассматривать их по аналогии с голосованием в ходе по­литических выборов (Gordon, Campbell [46]; Campbell [18]). При таком широком подходе, подтверждаемом качественными социологическими исследованиями того,

как создается общественная статистика, я прихожу к следующим пессимистическим законам (по крайней мере, для практики США): чем более какой-либо количествен­ный социальный индикатор используется для принятия социального решения, тем больше будет он подвержен искажающим влияниям, и тем более вероятно он будет извращать, и нарушать социальные процессы, контроли­ровать которые он предназначен. Я проиллюстрирую эти два закона некоторыми примерами, которые я принимаю всерьез, хотя они и носят по преимуществу анекдоти­ческий характер.

Воспользуемся для примера сравнением статистики голосования и данными переписи в Чикаго. Процесс голосования сопровождается детально разработанными предохранительными мерами, рассчитанными на то, чтобы обеспечить его честность; в отношении процесса переписи таковых мало, и обойти их ничего не стоит. Тем не менее, в нашем регионе статистика голосования внушает подозрения, тогда как статистика переписи пользуется неограниченным доверием (если не считать неполного учета взрослых мужчин-негров). Я нахожу такой порядок относительного доверия оправданным. Лучше всего он объясняется тем фактом, что «голоса» постоянно используются — это связано с реальными последствиями, поскольку дело касается работы, денег и власти, — и поэтому испытывают на себе мощное дав­ление попыток исказить их. Данные же переписи до последнего времени не использовались у нас для вы­работки политических решений. (Даже конституцион­ное требование, согласно которому следует менять избирательные округа, чтобы приводить их в соответ­ствие с расселением после каждой переписи, игнориро­валось десятилетиями.)

Другой пример. В согласии с духом научного управ­ления, ответственной подотчетности, стратегии «PPBS» (о которой уже упоминалось) и т. п. полицейские уча­стки в некоторых административных округах оцени­ваются с помощью «показателя очистки», иначе говоря, пропорцией раскрытых преступлений, и в случае, когда этот показатель низок, следствием является значитель­ное давление со стороны администрации и обществен­ности. Сколник [84] показывает, что это давление вы-

зывает как искажение самого индикатора, так и кор­рупцию уголовного судопроизводства. Регистрация не всех поступающих от населения жалоб или регистра­ция их задним числом, уже после раскрытия преступ­ления, — таковы простые уловки, которые трудно разоб­лачить, поскольку отсутствует независимая регистрация жалоб. Более сложный случай коррупции возникает при сочетании «показателей очистки» с «заключением сделки о признании». Это переговоры истца и суда с обвиняемым, завершающиеся соглашением относи­тельно преступления, в котором обвиняемый готов при­знать себя виновным, и наказания, на которое он со­гласен. Тем самым сокращается стоимость и длитель­ность судебного разбирательства. Хотя этот обычай и является законным лишь частично, в большинстве случаев он, вероятно, не столь уж нежелателен. Одна­ко в сочетании с «показателями очистки» он, как обна­ружил Сколник, ведет к следующему злоупотреблению в отправлении правосудия. Для грабителя, пойманного с поличным, дело может кончиться тем, что он получит тем менее суровое наказание, чем большее число ранее совершенных и нераскрытых преступлений он готов взять на себя. Заключением сделки о признании он оказывает полиции большую услугу, улучшая «показа­тель очистки», а та в свою очередь гарантирует более мягкое наказание. Сколник полагает, что во многих случаях грабитель сознается в преступлениях, которых он на самом деле не совершал. Цифры преступности являются в целом индикаторами, подверженными иска­жению. Для многих преступлений изменение числовых показателей отражает скорее изменение активности полицейских, а не изменение числа актов правонаруше­ния (Gardiner [41]; Zeisel [105, 106]). Представляется достаточно хорошо документированным фактом то, что одна из широко известных преднамеренных попыток социального изменения — меры, принятые Никсоном против преступности, — имела своим главным след­ствием искажение количественных показателей пре­ступности (Seidman, Couzens [81]; Morrissey [70]; Twigg [91]), связанное с неполной регистрацией преступле­ний и их неправомерной квалификацией как менее серьезных.

Имеются данные о сходных искажениях, происходя­щих при пользовании административными записями также и других типов (Kitsuse, Cicourel [59]; Garfinkel [42]). Блаy [9] приводит целый ряд примеров того, как нормы производительности, установленные для работников правительственных учреждений, отрицатель­но сказываются на их деятельности, губительно влияя на эффективность программы. Оценивание служащих по числу посетителей, которые прошли «через их руки», привело в одном бюро по найму к поспешности и не­эффективности, как в интервьюировании, так и в реше­ниях об определении на работу. Количественная оценка персонала по числу трудоустроенных лиц привела к концентрации усилий на самых легких случаях и к иг­норированию тех посетителей, кто более других нуж­дается в помощи, — тактика, известная как «снимание пенок» (Miller et al. [68]). В пессимистическом очерке Риджуэя о дисфункциональных последствиях измере­ний выполняемых действий (Ridgeway [72]) приводится еще ряд примеров.

Весьма красноречивую иллюстрацию этого принци­па можно найти в одной экспериментальной программе компенсаторного образования. В эксперименте, прове­денном в городе Тексаркана и посвященном «кон­тракту о выполнении» (Stake [86]), дополнительное обучение менее подготовленных детей проводилось ли­цами, заключившими контракт, которые приходили в школы со специальными обучающими машинами и осо­быми инструкциями. Искажающие давления были весь­ма сильны, так как размер платы этим лицам зависел от оценок выполнения теста их учениками. Оказалось, что лица, заключавшие контракт, обучали ответам на конкретные вопросы теста, которые должны были ис­пользоваться при итоговом тестировании, и по результа­там которых и производилась выплата вознаграждения. Хотя они приводили в свою защиту логико-позитивист­ский, операционально-дефиниционалистский аргумент о том, что цель, на которую они согласились, была определена как улучшение показателей по одному только данному тесту, этот случай был расценен всеми как скандальный. Однако вопрос о том, насколько при­емлемо натаскивание учащихся на сходных вопросах из других тестов, дебатируется до сих пор. С моей

точки зрения, тесты успеваемости вполне могут служить ценными показателями общей школьной успеваемости в условиях нормального преподавания, ставящего своей целью общую образованность. Но когда тестовые оцен­ки становятся целью процесса обучения, они утрачива­ют свое значение как индикаторы образовательного ста­туса и в то же время извращают в нежелательном отношении процесс образования. (Использование «объек­тивных» тестов в курсах обучения и на вступительных экзаменах сопровождается, несомненно, подобными же погрешностями.) С компенсаторным образованием в це­лом связаны случаи еще и других искажений процесса измерения, таких, например, как проведение предвари­тельного тестирования в расчете на получение как мож­но более низких показателей, с тем чтобы итоговое тес­тирование обнаружило более значительное улучшение, или выбор для специального обучения только тех, кто при предварительном тестировании показал наихудшие результаты, так чтобы регрессия к среднему обнару­жила явное улучшение. Стэйк [86] приводит перечень еще и других проблем. Тесты успеваемости фактически являются индикаторами, весьма подверженными иска­жениям.

Эта серьезная методологическая проблема, воз­можно, является универсальной. Я убежден, что это одна из главных проблем, которые предстоит решить, если мы собираемся достичь осмысленных оценок на­ших усилий в осуществлении запланированных социаль­ных изменений. Эта проблема будет стоять тем острее, чем большее распространение получат количественные оценки социальных программ. Мы должны разрабаты­вать средства, позволяющие избежать этой проблемы, если собираемся идти вперед. Нам следовало бы изучать социальные процессы, посредством которых обнаружи­вается коррупция и искажение, пытаться проектировать социальные системы, наделенные этими средствами. В исследовании по теме «Контракт о выполнении» дан­ную проблему обнаружил «внешний оценщик». В одном из более поздних американских исследований такого рода роль «караульного» взял на себя Союз учителей Сиэтла. Мы должны искать и институционализировать подобные формы и средства, предотвращающие утрату объективности. Нам следовало бы, кроме того, изучить

институциональную форму таких индикаторных систем, как индексы переписи населения или стоимости жизни в США, которые представляются сравнительно не­восприимчивыми к искажениям. Многие коммента­торы, включая меня самого (Campbell [16]), считают, что применение многочисленных индикаторов, из кото­рых каждый признан несовершенным, облегчит решение проблемы; Риджуэй [72], однако, сомневается в этом. Имеются еще и другие проблемы, которые мож­но предвидеть в будущем. Особого внимания требует группа проблем, сконцентрированных вокруг использо­вания при оценке эффективности программ обследова­ний общественного мнения, вопросников или измерений социальных установок. В США дело идет к тому, что в скором времени нужно будет предварительно сооб­щать всем, кто участвует в подобных опросах, как бу­дут использоваться полученные данные, и высылать им копии результатов. Участники будут иметь право поль­зоваться этими результатами в своих собственных поли­тических целях. (Когда дело касается обследований общественного мнения, к которым прибегает правитель­ство США, существующего у нас статуса свободы ин­формации было бы достаточно, чтобы установить это право уже сейчас.) Можно ожидать, что в этих усло­виях использование опросов для оценки локальных программ правительственных служб, если оно будет осуществляться в сложных в политическом отношении сообществах, каковые мы находим в некоторых из на­ших беднейших городских кварталов, приведет к следу­ющим новым проблемам. Будут проходить политические кампании, рассчитанные на то, чтобы участники обсле­дования отвечали именно так, как угодно местным по­литическим организациям, — точно так же, как прово­дятся кампании, имеющие своей целью влиять на ре­зультаты голосования. Будут попытки того же порядка, что и подтасовка избирательных бюллетеней. «Ошибка интервьюера» станет проблемой в еще большей степени. Нужно ждать и эффектов «бэндвагона» ¹,то есть кон-

_________________________________________________________________________________

¹ Bandwagon (амер.) — сторона, победившая на выборах. Бук­вально обозначает автобус с музыкантами, сопровождающими пред­выборные и послевыборные действа. Эффект «бэндвагона» связан с отношением к движению, имеющему или получившему шансы на

формного влияния со стороны опубликованных резуль­татов предшествующих обследований. Появятся новые смещения вроде повышенного числа жалоб.

Мне думается, что обследования общественного мне­ния будут все-таки полезны, если принять соответству­ющие меры предосторожности. Это в большинстве своем проблемы, исследованием которых мы могли бы за­ниматься уже сейчас, предвосхищая будущие запросы. (Гордон и Кэмпбелл [46] приводят подробное обсуж­дение этих проблем на материале оценки эффективно­сти одной программы службы социального обеспе­чения.)

* * *