Измерение воздействий

ОКАЗЫВАЕМЫХ ЗАПЛАНИРОВАННЫМ

СОЦИАЛЬНЫМ ИЗМЕНЕНИЕМ ¹

Одна из отличительных особенностей всех современ­ных обществ состоит в том, что мы сознательно выби­раем и составляем проекты, которые призваны усовер­шенствовать наши социальные институты. Наше общее затруднение заключается в том, что наши проекты не всегда дают ожидаемые эффекты. Вполне вероятно, на практике все согласятся, что часто мы не можем опре­делить, оказал ли вообще данный проект какое-либо воздействие, — настолько сложен поток исторических изменений, идущих своим чередом, и так велико число других проектов, от которых можно ждать изменений тех же самых показателей.

Эта общая совокупность проблем в сочетании с яв­ной релевантностью процедур социального исследова­ния должна, по-видимому, неизбежно вести к появле­нию в большинстве стран особой отрасли методологии, а также специалистов-методологов, которые сосредото­чивают свое внимание на проблеме измерения воздей­ствий, оказываемых запланированным социальным из­менением. Настоящая работа основывается на допуще­нии, что эта методология в значительной своей части может быть с пользой для дела принята всеми, несмо­тря на различия в формах правления, а также в под-

_____________________________________________________________________________

¹ C a m p b e l l D. T. Assessing the impact of planned social change. — In: Social Research and Public Policies. Ed. by G. M. L y o n s. Hanover, New Hampshire, Univ. Press of New Eng­land, 1975. © University Press of New England, 1975. Один ва­риант работы был представлен на конференцию по социальной пси­хологии в Вышеграде (Венгрия), 1974 г. Публикуется с сокраще­ниями.

ходах к социальному планированию и выработке реше­ний. Методология оценки эффективности социальных проектов является одной из тех областей науки, кото­рые обладают достаточной универсальностью, чтобы сделать обмен научным опытом взаимовыгодным. Как часть этого обмена, настоящая работа информирует о методологии измерения эффективности программ в том ее варианте, который разрабатывается сейчас в США.

Наиболее распространенным в США наименованием этой развивающейся области исследования является «исследование по оценке эффективности», что в настоя­щее время почти всегда предполагает «оценивание про­грамм» (хотя термин «оценивание» уже давно употреб­ляется для обозначения процедур определения пригод­ности тех или иных лиц для выполнения тех или иных социальных ролей). В этой области уже имеется ряд публикаций — сборников и пособий (Suchman [87]; Caro [28]; Weiss [94, 95]; Rivlin [74]; Rossi, Williams [77]; Glaser [43]; Fairweather [39]; Wholey et al. [100, 101]; Caporaso, Roos [27]; Riecken, Boruch, Campbell, Caplan, Glennan, Pratt, Rees, Williams [73]). Издаются также журнал «Evaluation» и журнал, посвященный оценке программ в сфере образования, — «Evaluation Comment: The Journal of Educational Evaluations». Ряд других жур­налов, например «Social Science Research», «Law and Society Review» и др., публикует данные об исследова­тельских методах в этой области.

Специалисты приходят в эту область из самых раз­ных социальных дисциплин. Широко представлены эко­номисты. Вносят свой вклад специалисты в области исследований операций и других сфер «научного управ­ления». В работе участвуют статистики, социологи, психологи, специалисты в области политических наук, исследователи в сфере социального обслуживания, пе­дагогики. То, что их работы и рекомендации, в конеч­ном счете, сходны, свидетельствует о стремительном ста­новлении новой самостоятельной дисциплины, которая, отделившись от своих столь различных «родителей», может вскоре обрести свою собственную индивидуаль­ность.

Поскольку сам я пришел в эту область из социаль­ной психологии, я, хотя и рассматриваю то, над чем работаю сейчас, скорее как «прикладную социальную

науку», нежели как собственно социальную психологию, испытываю тем не менее потребность прокомментиро­вать тот особый вклад, который может внести социаль­ная психология в рассматриваемую область. Во-первых, из всех дисциплин, связанных с интересующей нас сфе­рой исследований, одна лишь психология характеризу­ется ориентацией на лабораторный эксперимент, и именно социальные психологи располагают наибольшим опытом распространения лабораторных эксперименталь­ных моделей на социальные ситуации. С тех пор как для уменьшения неопределенности того, «что чем вы­звано», в исследованиях по оцениванию программ по­является модель экспериментальной науки (см. осново­полагающую работу Шухмана [87]), это наиболее зна­чительный вклад, как в отношении общей ориентации, так и в отношении специфических умений.

Во-вторых, психологи лучше всего подготовлены к работе с критическими и аналитическими понятиями в области измерений. Психология благодаря давней тра­диции построения и критического анализа своих собст­венных мер разработала понятия и математические мо­дели надежности и валидности, в которых очень нужда­ется практика оценивания программ, даже, несмотря на то, что эти меры, вероятно, все еще непригодны для изучения некоторых специальных психологических проб­лем. Понятие отклонения, или «погрешности», в то ви­де, в каком оно разработано старой психофизикой при различении «постоянной ошибки» (bias) и «переменной ошибки» (ненадежности), а также более поздние труды по измерению личностных переменных и установок, включая измерение установок на ответ, галоэффектов, факторов социальной желательности, индексной корре­ляции, факторных методов и т. д. (Cronbach [33, 34]; Edwards [38]; Jackson, Messick [54]; Campbell, Siegman, Rees [25]; Campbell, Fiske [24]), также очень важны и не находят отражения в понятии валидности, если оно определяется как коэффициент корреляции с некоторым критерием. Конечно, это не является нашей монополией. В самом деле, кто, как не представители качественной социологии, исследует условия, при кото­рых складывает оружие социальная статистика (см., например, Becker et al. [6, 7]; Douglas [37]; Garfinkel [42]; Kitsuse, Cicourel [59]; Beck [5]), от кого, как не

от них, исходит необходимый скептицизм по поводу та­ких мер, как данные о частоте самоубийств и преступ­лений? Однако даже здесь именно у психологов оказа­лось достаточно опыта, чтобы различить степени валидности, располагающиеся между полной незначимостью и высшим совершенством, и именно у психологов яви­лось желание использовать, хотя бы критически, те меры, которые, как они знали, были отчасти ненадеж­ны и ошибочны.

В-третьих, многие методологические проблемы осу­ществления социальных проектов и измерения их воз­действий связаны с изучением социально-психологиче­ских аспектов взаимодействия между гражданами и проектами, или между гражданами и способами экспе­риментального воплощения проектов (рандомизация, контрольные группы), или между гражданами и специ­альными измерительными процедурами, используемыми при оценивании. Это специальные проблемы формиро­вания социальных установок и их влияния на ответы, явно находящиеся в сфере нашей компетенции.

После этих замечаний о профессиональных сторонах исследований по оценке эффективности программ в США я хотел бы перейти к проблемам, с которыми мы сталкивались до сих пор, и к решениям, которые нами предлагались. Замечу с сожалением, что со времени моей более ранней работы (Campbell [16]) мы ушли не слишком далеко; однако я попытаюсь привести но­вые иллюстрации.

Последующее изложение сосредоточено, таким обра­зом, на трудностях и проблемах, о которых я считаю необходимым предупредить. Если мы претендуем на то, чтобы быть методологами, мы тем самым намерены быть экспертами по этим проблемам, и, хотелось бы на­деяться, теми, кто вырабатывает решения. Не было бы нужды в такой специальности, если бы не существовали эти проблемы. С этой точки зрения не нужно никаких оправданий. Но мне хотелось бы привлечь новых участ­ников в новую профессию и вдохновить их на то, что­бы они посвятили свои усилия делу, которое может при­нести плоды только с большой отсрочкой. На потенци­альных новых участников, а также и на тех, кто уже занялся этим делом вплотную, полный перечень стоя­щих перед нами трудностей, включая проблему такого

использования наших умений, которое у нас самих не вызвало бы сожалений, может подействовать только расхолаживающе. Мы пока не можем предложить пол­ный перечень профессиональных умений, гарантирую­щих необходимую эффективность. В нескольких случаях успешного осуществления немногих выгодных программ, оцененных однозначно, общество вполне обходится (или могло бы обойтись) без нашей помощи. Мы все еще не можем привести примеров значительных вкладов в об­щественные нововведения, которыми эти последние были бы обязаны нашим методологическим умениям. Потребность в нашей специальности и конкретные ре­комендации, исходящие от нас, все еще должны быть обоснованы скорее обещаниями, чем уже достигнутыми результатами. Наши рекомендации априорны в том смысле, что они представляют собой экстраполяции в новом контексте, не прошедшие, однако, в этом контек­сте перекрестной валидизации. Что касается меня, то я склонен считать проблему проверки социальных образо­ваний реальностью настолько важной, что наши усилия и профессиональные обязанности полностью оправды­ваются обещанием. Я полагаю, что проблемы неодно­значности свидетельств в пользу эффективности про­грамм настолько близки общим проблемам научного вывода, что указанные экстраполяции в разработке ре­комендаций относительно процедур оценивания про­грамм при наличии соответствующей взаимной критики могут быть хорошо обоснованы. Как бы то ни было, исходя отчасти из представления о том, что слишком многочисленные обещания оказываются одним из основ­ных препятствий для осмысленного оценивания про­грамм, я стремлюсь, однако, с двойственных позиций дать честную пессимистическую картину этих про­блем.

Второй круг проблем связан с тем, что множество методологических трудностей неизбежно создается вза­имодействием различных аспектов политической ситуа­ции, образующих контекст социальных программ и их оценивания.

Именно в сфере методологических проблем, вы­званных к жизни политическими соображениями, теря­ют силу исходные посылки об универсальности наших методологических принципов, едва только мы сопоста-

вим практику резко отличающихся друг от друга соци­альных, экономических и политических систем. Ученым, собирающимся на международные конференции, боль­шей частью удается избежать разобщающих политиче­ских вопросов путем концентрации внимания на науч­ных задачах, которые объединяют их как ученых. Когда темой является измерение воздействия, оказываемого запланированными социальными изменениями, мы не можем позволить себе такую роскошь. И все же я не теряю надежды на разработку такой технологии, кото­рая принесет пользу любой политической системе. Я по­лагаю, что методология оценивания программ будет во многом независима от содержания самой программы. В пользу этого свидетельствует подчеркивание роли специалистов в области социальных наук, когда дело касается их помощи обществу при выявлении эффектов, вызванных происходящими в этом обществе политиче­скими процессами, и преуменьшение роли этих специа­листов в разработке новых программ. Возможна ли такая независимость от идеологии, и если да, то, как совместима она с долгом социального ученого способст­вовать развитию более аутентичного человеческого со­знания и созданию более человечных форм обществен­ной жизни, — вот вопросы, которые я пока что не рас­сматривал должным образом, не говоря уже об их ре­шении.

В последующих разделах я сгруппировал наши проб­лемы под тремя общими заголовками, однако не очень заботился о том, чтобы строго придерживаться этой рубрикации при обсуждении. Вначале идут специальные вопросы нашего научного сообщества: их следовало бы поставить даже в том случае, если бы ученые, оценива­ющие программы, стремились лишь к одноплановому оцениванию программ. Это «Метанаучные проблемы» и «Статистические проблемы». Последний раздел вклю­чает взаимодействие с общественным контекстом. В раз­деле «Проблемы политической системы» я обращаюсь к вопросам, которые касаются преимущественно поли­тических процессов и правительственных институтов. Некоторые из этих вопросов являются, вероятно, общи­ми для всех крупных бюрократических обществ, а дру­гие — специфическими для условий США.