Метанаучные вопросы

Количественная и качественная методология. Проти­воположность «качественной» и «количественной» форм знания, geisteswissenschaftlich (науки о духе) и naturwissenschaftlich (науки о природе), «гуманистиче­ского» и «сциентистского» подходов характерна сегодня для большинства социальных наук в США. В таких областях, как социология и социальная психология, мно­гие из наших самых талантливых и преданных науке исследователей все больше склоняются к качественно­му, гуманистическому подходу. В политической науке также существует разделение по этому признаку. Ка­жется, только экономика и география относительно сво­бодны от этого разделения.

Этот раскол проник, конечно, и в исследования по оценке эффективности, приняв здесь форму спора по поводу законности количественно-экспериментальной парадигмы при оценивании программ (см., например, Weiss, Rein [96, 97]; Guttentag [48, 49, 50]; Campbell [17, 19]). Разумеется, спор по данному вопросу ведется в несколько иных терминах. Критики, занимающие по­зицию, которую я называю гуманистической, доволь­но часто сведущи в количественных экспериментальных методах. Их специфические критические замечания не­редко хорошо обоснованы именно с позиций эксперимен­татора: эксперименты, связанные с использованием не­коей частной процедуры в каких-то частных условиях, совершенно неопределенны в плане установления того, что чем вызвано; системам измерения свойственна ни­чем не обоснованная жесткость, ограничивающая реги­стрируемые выходные данные заранее ожидавшимися параметрами; экспериментальная программа, сосредото­ченная на общем эффекте некоего комплексного воздей­ствия, часто игнорирует сам процесс, поэтому знание таких эффектов имеет сомнительное значение для по­вторного осуществления или улучшения программы; про­граммы широкого масштаба часто бывают безнадежно неопределенны во всем, что касается целей и релевант­ных индикаторов; изменения программы воздействия в ходе какого-нибудь улучшающего эксперимента, хотя и имеют решающее значение в практическом отношении, делают невозможным истолкование соотношения входа

и выхода; осуществление социальных программ часто обеспечивается несостоятельными с точки зрения экс­периментальных моделей способами; даже в тщатель­но контролируемых ситуациях экспериментирование является делом крайне утомительным и неопределен­ным; экспериментирование — слишком медленный про­цесс, чтобы быть полезным в политическом плане и т. д. Все эти соображения соответствуют истине и подчас до­статочно справедливы для того, чтобы побудить к энер­гичному поиску альтернатив. Однако предлагавшиеся до сих пор альтернативы качественного знания (см., напри­мер, Weiss, Rein, [96, 97]; Guttentag [48, 49, 50]) для меня неубедительны.

Я полагаю, что натуралистическое наблюдение за событиями является, в сущности, неопределенным осно­ванием для каузальных выводов, с помощью каких бы средств — качественных или количественных — такое наблюдение ни проводилось, ибо имеет место смешива­ние фактора отбора и воздействий. Всякая попытка уменьшить неопределенность будет приводить к тому, что условия будут становиться более «эксперименталь­ными». «Эксперименты» — это фактически и есть осо­бый тип специально разработанных условий наблюде­ния, оптимальный для каузального вывода. Проблемы вывода, связанные с оцениванием программ, присущи самой природе программ, осуществляемых в ходе соци­альных процессов. Экспериментальные планы не явля­ются источником этих проблем и фактически облегчают их решение, хотя часто лишь в небольшой степени.

В таких возражениях часто содержится неявный протест против подмены качественного знания косвен­ными и гипотетическими процессами научного познания. Но хотя я вынужден отвергнуть этот аспект гуманисти­ческой критики, существуют иные аспекты, побуждаю­щие к такой критике, к которым я могу всей душой присоединиться. Эти критические положения можно обозначить как «пренебрежение релевантными качест­венными контекстуальными данными» или «чрезмерная зависимость от небольшого числа квантифицированных абстракций, ведущая к игнорированию противоречащих им и дополняющих их качественных данных».

Под влиянием миссионеров из лагеря логического позитивизма представители количественной социальной

науки слишком часто исходят из предположения, что в истинной науке качественное обыденное знание заме­няется знанием количественным. В действительности дело обстоит совсем иначе. Скорее, наука зависит от обыденного качественного знания, даже если она в луч­шем случае и выходит за его пределы.

Чтобы подвергнуть сомнению обыденное понимание какой-то частности и внести в него поправки, следует доверять обыденному пониманию в целом.

С этим связано также подчеркивание в эпистемоло­гии качественного распознавания целостного образа как исходного по отношению к распознаванию атомарных частиц, могущих быть квантифицированными, в проти­воположность все еще широко распространенной логи­ческой атомистической интуиции (Campbell [13]). Та­кая эпистемология скорее фаллибилист ¹,чем провидец: она делает акцент на предположении о том, что при подобном распознавании образов допускаются ошибки, а не на признании способности восприятия служить надежной основой достоверности. Но она также видит в этом подверженном ошибкам, интуитивном, гипотети­ческом обыденном восприятии единственный возможный путь. Дело не в том, что перцептивные данные выше всякой критики (Campbell [15]), но они доступны кри­тике лишь благодаря доверию к другим многочислен­ным перцептивным данным того же гностического уровня.

Если мы применим такую эпистемологию для оценки эффективности программ, это сразу узаконит «описа­тельную» часть большинства отчетов и подскажет, что такая деятельность получает формальное признание в планировании и проведении исследований. Без этих материалов исследования по оценке эффективности недоступны интерпретации и в большинстве своем ин­терпретировались бы лучше, если бы этих материалов было больше. Тот факт, что содержание их субъектив­но и грешит ошибками, должен привести нас к более тщательному подбору лиц, привлекаемых для регистра­ции событий, и к подготовке формализованных про­цедур, с помощью которых все заинтересованные участ-

______________________________________________________________________________

¹ Фаллибилизм (от лат. fallere) — воззрение, основывающееся на утверждении подверженности познания разного рода ошибкам. — Прим. перев.

ники могли бы внести дополнения и исправления в офи­циальную версию. Следует предусмотреть использова­ние профессионально подготовленных историков, антро­пологов и специалистов в области качественной социо­логии. Без описательной части не обходится ни один заключительный отчет, и для ее подготовки должны использоваться самые совершенные качественные ме­тоды.

Следует также осознать, что как участники разра­ботки и внедрения планируемых изменений, так и на­блюдатели на протяжении веков не прибегали для оценки их ни к квантификации, ни к научному методу. Наши научные данные должны основываться на обыден­ном знании, научное знание должно превзойти, но не заменить обыденное знание. Однако при количествен­ных оцениваниях это обстоятельство обычно игнори­руется, разве что к делу приобщается несколько слу­чайно подобранных эпизодов. Согласно отстаиваемой мной эпистемологии, исследователю следует попытать­ся систематически учитывать все критические заме­чания и оценки с позиций здравого смысла в адрес программы, исходящие от клиентов, их семей и членов общины. Наряду с количественными процедурами, таки­ми, как вопросники и оценочные шкалы, которые из со­ображений удобства будут вводиться на этой стадии исследования в целях сбора и суммирования данных, должны быть предусмотрены и неколичественные мето­ды сбора данных — например, работа с иерархически организованными дискуссионными группами. Там, где подобные оценки приходят в противоречие с количест­венными результатами, последние следует брать под сомнение, пока не будут поняты причины расхождения. Конечно, ни те, ни другие методы не непогрешимы. Но вот что следовало бы запомнить многим из нас: коли­чественные результаты могут быть столь же мало за­страхованы от ошибок, как и качественные. В конце концов, измерительные приборы в физических лабора­ториях часто работают неадекватно, и неисправность обнаруживается лишь благодаря качественному знанию и предположениям по поводу того, что должен был бы показывать этот прибор. (Это весьма далеко от мифа о том, что метрические показатели операционально оп­ределяют теоретические параметры.)

Приходится, к сожалению, констатировать, что в американских работах по оценке эффективности про­грамм такое тонкое сочетание способов познания пока что не практикуется. Вместо этого наблюдается переход от одной крайности к другой. Когда для оценивания используются наблюдения антропологов, как это имеет место, например, при оценках моделей городов, они ско­рее замещают собой, чем дополняют количественные показатели, предусматривающие предварительное и ито­говое тестирование и сравнения с контрольными груп­пами. Актуальный пример — использование антрополо­гов в программе «Экспериментальные школы». В одном случае предполагалось участие группы из пяти антропо­логов, в течение пяти лет занимавшейся изучением систе­мы школьного образования для города с населением в 100 тысяч человек. Эти антропологи не имели ранее опыта изучения какой-либо другой системы школьного образования в США. Им не предоставили времени для специальной подготовки до введения программы, вместо этого они приступили к работе уже после того, как программа была начата. Их планы не предусматривали изучение какой-либо иной сравнимой системы школьно­го образования, не претерпевшей соответствующего из­менения. Для того чтобы поверить, что в таких неблаго­приятных для наблюдения условиях эти наблюдатели, использующие качественный подход, смогут прийти к заключению о том, какими именно характеристиками наблюдаемые ими процессы обязаны нововведениям, предусмотренным данной программой, нужно больше ве­ры, чем есть у меня, хотя, пожалуй, следовало бы воз­держаться от суждений до ознакомления с результа­тами. Более того, в исследовании делается упор на не­посредственные наблюдения самих антропологов, а не на их роль в отборе и использовании в качестве инфор­мантов тех лиц, которые сами вовлечены в изменения, осуществляемые по данной программе ¹. В результате —

_____________________________________________________________________________

¹ Подробнее о методе использования информантов в полевых исследованиях см. в следующей работе: C a m p b e l l D. T. and L e V i n e R. A. Field — Manual Anthropology. — In: A Handbook of Method in Cultural Anthropology. Ed. by R. Naroll and R. Cohen, Garden City, N. Y., The Natural History Press, 1970, p. 366—387.— Прим. ред.

тенденция игнорировать данные других наблюдателей, придерживающихся качественного подхода и находя­щихся в более благоприятных условиях, чем эти антро­пологи. К таким наблюдателям относятся родители, имевшие других детей, которые обучались в школе до ее преобразования, учителя, наблюдавшие именно эту систему до, во время и после преобразования, учителя, у которых до прихода в эту школу уже имелся опыт ра­боты в школах, сравнимых с новой по каким-то другим параметрам, и сами учащиеся. Желательно, вероятно, располагать большим массивом таких наблюдений, по­лученных с помощью вопросников. Поэтому естествен­ным было бы и желание задавать соответствующие вопросы до осуществления экспериментальной програм­мы и, кроме того, провести этот опрос в какой-нибудь школьной системе, не подвергшейся такой реформе, восстановив, таким образом, экспериментальный план и количественные обобщения качественных оценок. (Подробное обсуждение вопроса о качественном и коли­чественном подходах читатель может найти в работе: Campbell [20] ¹.)

Хотя вопрос о количественной и качественной ориентациях имеет большое практическое значение, он, тем не менее, как мне кажется, является, прежде всего, во­просом, входящим в компетенцию специалистов в облас­ти социальных наук и относительно независимым от более глобального политического процесса. То, какого подхода мы придерживаемся, во многом зависит от того, из какого подразделения в сообществе социальных исследователей затребована соответствующая рекомен­дация, что в свою очередь отчасти объясняется разоча­рованием в ранее применявшейся модели. Иными сло­вами, решение данного вопроса принадлежит нам.

Прочие вопросы, относящиеся к числу метанаучных, больше связаны с вненаучными вопросами о человече­ской природе, социальных системах и политическом процессе. Здесь я лишь классифицирую их, поскольку считаю, что первый шаг в их решении должен был бы состоять в достижении взаимопонимания между ме­тодологами — специалистами по оцениванию программ, а единство взглядов предполагает согласие не столько

______________________________________________________________________________

¹ См. перевод этой работы в данной книге.

по поводу деталей метода, сколько по поводу метанаучных вопросов.

Осуществление и оценивание программ. Одна из стратегий, утвердившихся в правительственных учреж­дениях США, наиболее тесно связанных с оцениванием программ, состоит в организационном отделении про­цесса осуществления программ от их оценивания. Эта рекомендация исходит от академической группы теоре­тиков научного управления, она получила распростра­нение в конце 60-х годов в правительственных кругах как «Система программирования, планирования и фи­нансирования», или «PPBS» ¹,согласно которой эти функции, как и функции надзора за программой или ее оценивания, должны были быть поручены отдельной ор­ганизационной единице, не зависящей от учреждений, решающих практические задачи. (Соответствующее из­ложение этой стратегии принадлежит Уильямсу и Эвансу [103].) Эта рекомендация основывается на теории организационного контроля, известной как принцип про­верок и балансов. Она подтверждается не только общи­ми наблюдениями, свидетельствующими о нежелании человека заниматься самокритикой, но особенно наблю­дениями из области давно принятой в США самоохра­нительной практики, при которой на отчеты о достиже­ниях и другие оценки программ в первую очередь с не­обходимостью возлагается задача оправдать бюджет следующего года. Как полагает типичный администра­тор программы совершенствования в США, будь это экспериментальная программа или одна из давно при­нятых программ, бюджеты должны получать непрерыв­ное оправдание. Для подобного администратора оценки программы вряд ли могут быть оторваны от этой не­прекращающейся отчаянной борьбы. В такой ситуации имеется глубочайший смысл в том, чтобы функцию оце­нивания программ осуществляло отдельное подразделе­ние, которому никакие бюджетные ограничения не ме­шают давать честные оценки. В этом отношении такая стратегия не вызывает возражений.

Мои собственные наблюдения, однако, приводят меня к выводу, что и эта стратегия не работает. Рассма-

_____________________________________________________________________________

^{1 См. о системе «}PPBS» в работе: Г в и ш и а н и Д. М. Орга­низация и управление. М., «Наука», изд. 2-е, 1972, с. 462—471. — Прим. ред.

триваемое разделение направлено против тех форм осу­ществления программ, которые оптимизировали бы ин­терпретацию данных оценивания. Такие формы сущест­вуют, и они к тому же дешевы, но они требуют усовер­шенствованного планирования и тесной кооперации ис­полнителя и оценщика. Внешние оценщики, помимо все­го прочего, лишены, как правило, фундаментального качественного знания о происходящем. Постоянный конфликт между оценщиками и исполнителями, который примет достаточно острые формы при общем локальном руководстве, имеет тенденцию к углублению. Пригод­ность мер для целей локальных программ и опасности особенно уменьшаются в условиях принятых в США процедур выполнения договорных исследований. Оцени­вание становится деморализующим фактором и источ­ником отвлекающего конфликта. Можно было бы наде­яться, что специализация способствовала бы притоку более опытных методологов. Если и есть такой вы­игрыш, он полностью уничтожается недостаточным экс­периментальным контролем.

Конечно, поднятые проблемы обязаны своим проис­хождением не только разграничению осуществления и оценивания. И доводы в пользу такого разграничения остаются весьма вескими. Тем не менее, эти проблемы вызывают беспокойство, и они достаточно взаимосвяза­ны, чтобы служить обоснованием для пересмотра этого принципа, особенно если учесть, что такое разграниче­ние, видимо, полностью отсутствует в экспериментальной науке. Возникает метанаучный вопрос о том, каким об­разом в науке, несмотря на погрешности исследователя, достигается объективность, а также об уместности этой модели для объективности в оценивании программ.

Обычно в науке тот, кто задумывает эксперимент, сам же регистрирует показания прибора. Соответствен­но существует проблема пристрастной мотивации. Ис­следователь почти неизбежно является пристрастным защитником какого-то одного результата опыта. Появ­ляются неопределенности в интерпретации. Под угрозой оказывается честное имя и дело всей жизни. Не все допущенные ошибки исправляются перед публикацией, причем ошибки, которые подтверждают гипотезу авто­ра, выявить гораздо труднее. Загадка о том, как наука обретает свою объективность (если только она ее

обретает), представляет собой метанаучный вопрос, ко­торый все еще не решен. Хотя ученые, по-видимому, чест­нее, осторожнее и самокритичней большинства других социальных групп, эти их качества являются скорее по­бочным продуктом социальных сил, порождающих науч­ную объективность, чем ее источником. Главными фак­торами служат, вероятно, традиция и возможность независимого повторения. Хотя философы и социологи науки лучше прояснят эти вопросы, методологи исследо­ваний по оценке эффективности программ должны про­являть внимание к возможностям моделей, применимых в их области. Забегая несколько вперед, отмечу, что я прихожу к следующей предварительной точке зрения.

Осуществление и оценивание программ совершенст­вования в США требуют сегодня большего энтузиазма, преданности и более высоких моральных качеств. Они могут быть усилены путем принятия в качестве модели экспериментатора-оценщика образа ученого. Если бы могли быть созданы условия для повторной перекрест­ной валидизации, а бюджет мог быть избавлен от угроз, проистекающих от негативных оценок (напри­мер, если бы исполнители программы могли полу­чить право переходить для достижения той же самой цели к альтернативным программам), то от политики разграничения осуществления и оценивания можно было бы отказаться.

Наш вопрос не требует сугубо однозначного ответа. Внешние оценки могут сочетаться с внутренними оцен­ками. Вероятно, внешнее оценивание можно было бы вполне безболезненно свести к проверке внутренних оценочных данных, поручив его кому-нибудь из методо­логов по оцениванию.

Максимизация повторения и критики. Продолжая разговор на ту же метанаучную тему, которая была за­тронута в предыдущем разделе, можно привести еще целый ряд рекомендаций относительно исследователь­ской стратегии. Некоторые из них противоречат орто­доксальным взглядам и практике, распространенным в США сегодня.

В настоящее время предпочтение отдается единич­ным, согласованным в масштабе страны оценкам даже в том случае, если нововведения по программам осу­ществляются во многих районах. Если бы задача состо-

яла в имитации научного подхода к объективной реаль­ности, оптимальным было бы, вероятно, разделить боль­шие эксперименты и общие оценки на части и заклю­чить вместо одного два или более контрактов, пресле­дующих общую цель, с тем чтобы получить какую-то возможность одновременного повторения. Компенсатор­ные образовательные программы (например, такие, как «Head Start», «Follow Through» и др. ¹) иногда прини­мают, согласно нашим основным оценкам, такой размах, что подобное разделение не способствовало бы значи­тельному увеличению расходов. Мы часто могли бы пре­дусматривать нашими планами сравнительную провер­ку при повторении, которая помогает науке оставаться объективной.

Положительным моментом исследований по оценке эффективности в США является широко распространен­ная защита и проведение от случая к случаю повторно­го анализа данных оценивания программ другими ис­следователями. «Фонд Рассела» финансирует целый ряд таких работ, в том числе оценку эффективности теле­визионных образовательных программ для дошкольни­ков (Cook et al.. [31]). Первоначальную правительствен­ную оценку (Cicirelli [29]) программы компенсаторного дошкольного образования повторно проанализировали Смит и Биссел [85] и Барноу [3]. Ведется дальнейшая работа в этом направлении. Так же обстоит дело и в отношении некоторых других классических иссле­дований по оценке эффективности, хотя они все еще не получили широкого распространения и многие дан­ные недоступны.

Одно из изменений, в которых нуждаются традиции исследования, или его этика — это отношение к «пока­заниям меньшинства» из состава исследователей. Эти­ческое правило, согласно которому данные оценивания должны быть доступны для критического анализа, сле­дует распространить и на сотрудников, которые прово­дили сбор данных и их анализ и которые очень часто прекрасно знают, как можно организовать эти данные, чтобы они подтверждали совсем иные выводы, а не те,

______________________________________________________________________________

¹ Здесь и далее автор использует принятые в США условные обозначения специальных образовательных программ, призванных компенсировать отставание в развитии и образовании, в частности, детей из плохо обеспеченных семей. — Прим. ред.

которые представлены в официальном отчете. В насто­ящее время любые действия подобного рода рассматри­вались бы как достойная осуждения нелояльность по отношению к организации. Из-за этого оказывается утраченным один из особенно компетентных источников критики, а тем самым и объективности. Официальное предложение подготовить отчет, полученное каждым членом группы специалистов по оценке эффективности от учредителя или администратора, в значительной мере способствовало бы в этом отношении освобождению, как от вины, так и от цензурных ограничений.

В этой связи нам следует иметь в виду две ценные модели социального экспериментирования. С одной сто­роны, модель большой науки, образец которой мы на­ходили в эксперименте «Негативный подоходный налог», он будет обсуждаться ниже. С другой стороны, модель недорогого «административного эксперимента» (Campbell [14], Thompson [89]), который состоит в том, что какая-нибудь административная единица, например город или штат (или предприятие, или школа), приме­няет новую стратегию таким образом, чтобы иметь воз­можность экспериментальной или квазиэксперименталь­ной проверки ее эффективности. «Практическое оцени­вание программ для местного управленческого персона­ла и персонала штатов» (Hatry et al. [51]) служит при­мером этого подхода. Чтобы административное экспери­ментирование давало объективное знание, нужна диффузная перекрестная валидизация, при которой го­рода, штаты, и т. п., приняв обещанные нововведения, подтверждают их эффективность посредством своей соб­ственной деятельности по оцениванию.

Децентрализация принятия решений обладает тем преимуществом, что она создает большее число соци­альных единиц, способных повторять и проверять соци­альные преобразования или одновременно изучать мно­жество оценок различных альтернативных решений. Даже в отсутствие планирования само существование в США правления штатов создает возможность квази-экспериментальных сравнений, что было бы недоступно в более интегрированной системе. Эту точку зрения хорошо обосновал Цейзель [105, 106], а примером мо­жет служить исследование Болдуса [2], о котором ниже говорится более подробно. Если предприятия,

школы или другие подобные им по размерам единицы могут осуществлять независимый выбор программ и если заимствуемые программы оцениваются столь же тщательно, как новые, цепная реакция заимствований самых многообещающих программ обеспечивала бы что-то наподобие валидизации науки.

Исследования по оцениванию — скорее нормальная, нежели экстраординарная наука. До сих пор, рассмат­ривая метанаучные вопросы, мы не обращались к ост­рым метанаучным проблемам, обсуждающимся в насто­ящее время в США. Из них в центре внимания оказы­ваются все еще те вопросы, которые были подняты в книге Т. Куна «Структура научных революций» [60]. Хотя я больше, чем Кун, подчеркиваю последователь­ность и относительную объективность науки, я нахожу в том, что он говорит, немало ценного и имеющего отношение к нашей проблеме. А именно: в научном развитии бывают нормальные периоды, когда суще­ствует общее согласие в отношении правил, с помощью которых решается, какая теория более валидна. В раз­витии науки имеют место и экстраординарные, или революционные, периоды, когда ученые должны делать свой выбор на основе правил, которые не являются элементами прежней парадигмы. После такой револю­ции выбор новой преобладающей теории первоначаль­но не обосновывается в терминах правил решения, принятых в предшествующий период нормальной науки.

В случае исследований по оценке эффективности куновская метафора «революция» может быть возвра­щена в политическую сферу. Ясно, что исследования по оценке эффективности осуществляются правитель­ством или по крайней мере не вызывают у него возраже­ний. Это предполагает наличие устойчивой социальной системы, характеризующейся социальными показателя­ми, которые остаются сравнительно постоянными, так что ими можно пользоваться для измерения воздействия, оказанного программой. Осуществленные программы должны быть достаточно малы по объему, чтобы не вы­звать серьезного нарушения в общей социальной системе. Обсуждаемая мной технология непригодна для измере­ния социальных воздействий какой-либо революции. Да­же в рамках стабильной политической ситуации ее при­ложения следует, возможно, ограничить сравнительно

второстепенными нововведениями. Это показывает, на­пример, Цейзель, рассматривая экспериментирование с правовой системой США. (Само собой разумеется, я не собираюсь строить на этом валидную аргументацию про­тив осуществления изменений, масштабы которых де­лают невозможным их оценивание.)