Оценивание программы ее участниками

Участники, как мы уже отмечали, будут, как прави­ло, занимать более благоприятные для наблюдения по-

зиции, чем антропологи или другие внешние наблюдате­ли новой программы. Они будут воспринимать условия, предшествующие запуску программы, с той же точки зрения, с какой они подходят к данной программе. По­этому их впечатления от программы будут более реле­вантными, прямыми, обоснованными и непосредствен­ными. Вместе взятые, они позволят благодаря своей большей многочисленности усреднить индивидуальные особенности наблюдателей, которые могут преобладать в отчете любого отдельного этнографа.

Хотя в процессе оценивания программы к участни­кам обращаются за изрядным количеством сведений, им редко прямо предлагают оценить программу, высказать суждение о ее адекватности, дать совет по поводу ее продолжения, прекращения, распространения или моди­фикации. Участников просят дать не оценку программ, а, скорее, сведения о них самих и их собственной адек­ватности. Мы теряем, таким образом, множество хорошо обоснованных мнений. Оценки учебных курсов состав­ляют здесь единственное исключение, и их лучшие об­разцы подтверждают компетентность участников как наблюдателей (см. Frey [41]).

Если говорить о программе компенсаторного началь­ного обучения, то многие матери располагают опытом относительно своих старших детей, которых они могут сравнивать с младшими, охваченными программой. Уча­стники эксперимента «Негативный подоходный налог» в Нью-Джерси¹имеют за плечами три года жизни в условиях весьма специфической системы денежных суб­сидий по доходу. Они располагают в качестве основания для сравнения, как своим собственным прошлым опы­том, так и одновременными впечатлениями своих столь же неимущих соседей, не охваченных эксперимен­том. Они знают, что участвуют в эксперименте, и долж­ны иметь множество впечатлений по поводу влияний, оказываемых этим экспериментом на их жизнь.

Нам следовало бы попробовать собрать суждения этих участников. В согласии с духом качественного обобщения качественных суждений нам нужно было бы,

_____________________________________________________________________________

¹ Подробнее об этой программе см. в статье «Измерение воз­действий, оказываемых запланированным социальным изменением» (с. 345). — Прим. ред.

вероятно, дать возможность участникам суммировать свои суждения непосредственно в личном общении, вна­чале, по-видимому, в малых группах, имеющих в своем составе протоколиста, а затем на оживленных совеща­ниях групп уполномоченных представителей. Собрания групп могли бы предлагать решения и ставить их на голосование, однако обычным итогом были бы словес­ные формулировки, отражающие неквантифицированное общее согласие.

Следует ли контрольным группам участников встре­чаться с экспериментальными, чтобы дать дополнитель­ное основание для сравнения? Если мы хотим исполь­зовать такие методы оценки, разве в этом случае не же­лательно иметь одновременно смежные альтернативные программы, с тем чтобы их участники на протяжении всего исследования имели возможность в процессе об­щей беседы сравнивать свои впечатления об этих аль­тернативах? Во всяком случае, собрания участников различных альтернативных программ для общего обме­на мнениями можно, по-видимому, считать плодотвор­ным способом получения компетентных качественных сравнений.

В программах компенсаторного начального обучения имеются еще и другие компетентные наблюдатели, чьи оценки остаются незарегистрированными, например учителя, работающие по этим программам, учителя первых классов, сами дети, охваченные программой. В экспериментах с «негативным подоходным налогом» на роль компетентных качественных наблюдателей, вполне достойных того, чтобы их выслушали, претен­дуют и постоянные социальные работники данной об­щины, и интервьюеры, и соседи по дому.

Роберт Вулф [98] предложил пользоваться для вы­работки единого решения процедурами судопроизводст­ва — слушанием сторон с привлечением свидетелей, таких, как причастные к программе родители, учителя и воспитанники, с адвокатами, ведущими перекрестный допрос, и состоящим из экспертов «судом». Он приво­дит один весьма убедительный случай из судебной практики, свидетельствующий о высокой валидности, обеспечиваемой процедурами судопроизводства, особен­но перекрестным допросом, ссылаясь среди прочих и на Левайна [60].

Однако процедуры обобщения качественных данных не представляются мне чем-то особенно существенным. Групповое мнение, если существует полное согласие, — это упрямый факт, который может быть обнаружен при помощи целого ряда методов. Я думаю, что основные важные данные об оценках программы ее участниками могут быть получены с помощью интервью, состоящего из прямых вопросов об эффекте, который имела про­грамма, и т. п. Ответы на эти вопросы могли бы быть в дальнейшем статистически обобщены. Правда, при этом иногда могут быть упущены из виду некоторые тонкости. Участники могли бы обнаружить их в ходе групповой дискуссии и прийти по их поводу к единому мнению. Столь же часто, однако, во время групповой дискуссии возможно доминирование какого-то одного участника, и тем самым будет утрачено преимущество усреднения, достигаемое при статистическом обоб­щении.

Для институтов и групп, которые будут служить по­стоянными полигонами изменений, вводимых с помощью программ, таких, как, например, система социального обеспечения или школы, Гордон и я [46] предложили, чтобы все группы участников (социальные работники и их клиенты, воспитанники, родители и учителя) за­полняли «годовой отчет по оцениванию программы», ко­торый мог бы играть роль предварительного тестирова­ния и построения временных рядов для квазиэкспери­ментальных оценок изменений.

Мы нуждаемся в опробовании целого ряда таких процедур. Как указано выше, они представляли бы собой методологически независимые перекрестные валидизации количественных результатов. С их помощью можно было бы выявить такие последствия применения программы, которые не предполагались при обследова­нии программы с помощью формальных измерительных средств. Они, по всей вероятности, подтвердили бы основные результаты, полученные по предусмотренным параметрам. В противном случае, как я уже говорил, нам следовало бы принять во внимание возможную ошибочность количественных процедур. Если я допускаю все это, то почему мне все же не хотелось бы, чтобы качественные процедуры применялись без количествен­ных? Потому, что я склонен признавать за количест-

венными методами, когда они основываются на твер­дом и проверенном качественном знании, возможность выйти за пределы, допускаемые качественным подхо­дом, и выявить тонкости, которые могли бы ускользнуть от качественного подхода.

В данный вопрос можно внести большую ясность, выяснив, какую еще полезную роль могли бы играть участники или наблюдатели из числа сторонников ка­чественного подхода в социальных науках, то есть как критики количественного подхода.

Если бы этнографам или историкам, занятым в про­грамме, а также участникам дискуссионных групп были предъявлены основные результаты и было разрешено их критиковать, мы получили бы ценный способ валидизации. С некоторыми результатами они были бы согласны. С другими не согласились бы и объясня­ли бы их как артефакты, обязанные своим происхож­дением тем аспектам ситуации, которые упущены из виду при количественных измерениях. Может оказаться, что некоторые результаты вызовут у них удивление, но, если они выдержат повторную проверку, они будут признаны валидными и этими наблюдателями. В этих последних случаях количественное знание действительно вышло бы за границы качественного знания.

Прежде чем будет завершен этот анализ, предстоит еще извлечь пользу из опыта наших многолетних иссле­дований суждений человека и их погрешностей. Следует пересмотреть перечни опасностей, угрожающих валидности экспериментов и измерений, сравнивая качествен­ный и количественный подходы по степени подвержен­ности каждой из них. Следует рассмотреть особые опасности, связанные с политикой оценивания — поли­тикой в рамках проекта и политикой, вызванной внеш­ними условиями. Каким образом эти давления влияют на количественное знание, с одной стороны, и качест­венное — с другой?

* * *

Подведем итоги. Проблема полярности количествен­ного и качественного подходов к исследованию социаль­ного действия остается нерешенной, если считать ее

решением преимущественное утверждение одного по сравнению с другим. Социальное познание — это в еще большей мере, чем познание физическое, рискованный и гипотетический процесс. При любом подходе всегда остается место для обоснованной критики. Каждый полюс сильнее всего в своей критике другого, но не в непогрешимости своих собственных притязаний на дескриптивное знание.

Постоянно выступая сам как сторонник количествен­ного экспериментального подхода к исследованию дейст­вия, я не могу рекомендовать ни ориентированную на качественный подход социальную науку, ни групповой процесс выработки группового согласия в качестве за­мещений количественного подхода. Но я настоятельно рекомендую оба подхода как необходимые, взаимно до­полняющие средства перекрестной валидизации.

В еще большей мере я стремился к тому, чтобы на­помнить моим коллегам — сторонникам количествен­ного подхода, что в успешных лабораторных науках квантификация строится на всепроникающих качествен­ных знаниях ученого и перепроверяется ими. Условия массового производства, характерные для количествен­ной социальной науки в области оценивания программ, таковы, что это качественное основание может быть в значительной мере утрачено. Если мы хотим оставаться в рамках истинной науки, мы должны восстановить в исследованиях действия эту качественную основу коли­чественного знания.