Заключение

Был дан сжатый обзор некоторых проблем, возник­ших в практике США при измерении воздействий, ока­зываемых запланированным социальным изменением. Разделы этой работы, где речь шла о проблемах, име­ющих отношение к политическим процессам, выглядят по преимуществу пессимистическими. Хотя здесь и имеются очень серьезные проблемы, общая картина все-таки не столь уж мрачна, как кажется. Отметим, что разделы о временны́х сериях и рандомизированных планах эксперимента содержат данные об успешном опыте, достойном подражания. И многие квазиэкспери­ментальные оценки эффективности, которые я раскрити­ковал, могли бы быть осуществлены лучше, если бы этого требовало сообщество методологов социальной науки. Существуют, однако, новые методологические проблемы, которые возникают, когда мы переходим от экспериментирования в лабораториях в область оценки

______________________________________________________________________________

успех, с подверженностью публики авторитарному давлению. О со­циально-психологической специфике «эффекта бэндвагона» см., в частности: C a m p b e l l D. T. On the possibility of experimenting with the «bandwagon» effect. — In: Readings in reference group theory and research. Ed. by Hyman H., Singer E. N. Y., The Free Press, 1968, p. 452—460. — Прим. ред.

эффективности социальных программ. При решении этих проблем мы испытываем потребность в новых со­циально-организационных усовершенствованиях.

ЛИТЕРАТУРА

1. A n d e r s o n J. K. Evaluation as a process in social systems. Unpubl. doct. diss. Northwestern University, 1973.

2. B a l d u s D. C. Welfare as a loan: An empirical study of the recovery of public assistance payments in the United States. — Stan­ford Law Review, 1973, 25, 123—250.

3. B a r n o w B. S. The effects of Head Start and socioeconomic status on cognitive development of disadvantaged children. Unpubl. doct. diss. University of Wisconsin, 1973.

4. B a u m a n R. A., D a v i d M. H., M i l l e r R. F. Working with complex data files: II. The Wisconsin assets and incomes studies archive. — In: R L. B i s c o (ed.). Data bases, computers, and the social sciences. N. Y., Wiley-Interscience, 1970, 112—136.

5. B e c k B. Cooking the welfare stew. — In: R. W. H a b e n s t e i n (ed.). Pathways to data: Field methods for studying ongoing social organizations. Chicago, Aldine, 1970.

6. B e c k e r H. M., G e e r B., H u g h e s E. C. Making the grade. N. Y., Wiley, 1968.

7. B e c k e r H. W. Sociological work: Method and substance. Chicago, Aldine, 1970.

8. B e r l i n e r J. S. Factory and manager in the USSR. Cam­bridge, Mass., Harvard Univ. Press, 1957.

9. B l a u P. M. The dynamics of bureaucracy (rev. ed.). Chicago, Univ. of Chicago Press, 1963.

10. B o r u c h R. F., C a m p b e l l D. T. Preserving confidentiality in evaluative social research: Intrafile and interfile data analysis. Paper presented at the meeting of the American Association for the Advancement of Science. San Francisco, February/March 1974.

11. B o x G. E. P., T i a o G. C. A change in level of non-sta­tionary time series. Biometrika, 1965, 52, 181 — 192.

12. B o x G. E. P., J e n k I n s G. M. Time-series analysis: Fore­casting and control. San Francisco, Holden Day, 1970.

13. C a m p b e l l D. T. Pattern matching as an essential in distal knowing. — In: K. R. H a m m o n d (ed.). The psychology of Egon Brunswik. N. Y., Holt, Rinehart & Winston, 1966, 81—106.

14. Campbell D. T. Administrative experimentation, institu­tional records, and nonreactive measures. — In: S t a n l e y J. C., E l a m S. M. (eds.). Improving experimental design and statistical analysis. Chicago, Rand McNally, 1967, 257—291. — Reprinted in: W. M. E v a n (ed.). Organizational experiments: Laboratory and field research. N. Y., Harper & Row, 1971, 169—179.

15. Campbell D. T. A phenomenology of the other one: Cor­rigible, hypothetical and critical. — In: M i s c h e 1 T. (ed.). Human action: Conceptual and empirical issues. N. Y., Academic Press, 1969a, 41—69.

16. C a m p b e l l D. T. Reforms as experiments. Amer. Psycho­logist, 1969b, 24,409—429.

17. C a m p b e l l D. T. Сonsidering the case against experimental evaluations of social innovations. Administrative Science Quarterly, 1970, 15,110—113.

18. C a m p b e l l D. T. Methods for an experimenting society. — Paper presented to the Eastern Psychological Association. Apr, 17, 1971, and to the American Psychological Association, Sept. 5, Wa­shington D. C, 1971.

19. C a m p b e l l D. T. Experimentation revisited: A conversation with Donald T. Campbell (by S. Salasin). Evaluation, 1973, 1, 7—13.

20. C a m p b e l l D. T. Qualitative Knowing in Action Research. — (Cм. перевод в данной книге.)

21. C a m p b e l l D. T., B o r u c h R. F. Making the case for randomized assignment to treatments by considering the alternatives: Six ways in which quasi-experimental evaluations in compensatory education tend to underestimate effects. Lecture delivered at the conference on Central Issues in Social Program Evaluation. Wa­shington, July 1973.

22. C a m p b e l l D. T., B o r u c h R. F., S c h w a r t z R. D., S t e i n b e r g J. Confidentiality-preserving modes of useful access to files and to interfile exchange for statistical analysis. National Rese­arch Council, Committee on Federal Agency Evaluation Research, Final Report, Appendix A., 1975.

23. C a m p b e 11 D. T., E r 1 e b a c h e r A. E. How regression artifacts in quasi-experimental evaluations can mistakenly make com­pensatory education look harmful. — In: J. H e l l m u t h (ed.). Com­pensatory education: A national debate, vol. 3. N. Y., Brunner/Mazel, 1970.

24. C a m p b e l l D. T., F i s k e D. W. Convergent and discrimi­nant validation by the multitrate-multimethod matrix. Psychol. Bull., 1959, 56, 81 — 105.

25. C a m p b e l l D. T., S l e g m a n C. R., R e e s M. B. Direction-of-wording effects in the relationships between scales. Psychol. Bull., 1967, 68, 293—303.

26. C a m p b e l l D. T., S t a n l e y J. C. Experimental and quasi-experimental designs for research. Chicago, Rand McNally, 1966. (Cм. перевод в данной книге.)

27. C a p o r a s o J. A., R o o s L. L., Jr. (eds.). Quasi-experimental approaches: Testing theory and evaluating policy. Evanston, 111., Northwestern Univ. Press, 1973.

28. C a r o F. G. (ed.). Readings in evaluation research. N. Y., Russell Sage Foundations, 1971.

29. C i c i r e 11 i V. G., et al. The impact of Head Start: An evaluation of the effects of Head Start on children's cognitive and affective development. A report presented to the Office of Economic Opportunity, June 1969. Westinghouse Learning Corporation, Ohio University.

30. C o n n e r R. F. A methodological analysis of twelve true experimental program evaluations. Unpubl. doct. diss., Northwestern University, 1974.

31. C o o k T. D., A p p l e t o n H., C o n n e r R., S h a f f e r A., T a m k i n G., W e b e r S. J. Sesame Street revisited: A case study in evaluation research. N. Y., Russel Sage Foundation, 1975.

32. C o o k T. D., C a m p b e l l D. T. The design and conduct of quasi-experiments and true experiments in field settings. — In: Dunnette M. D. (ed.). Handbook of industrial and organizational research. Chicago, Rand McNally, 1976.

33. C r o n b a c h L. J. Response sets and test validity. Educ. and Psychol. Measurement, 1946, 6, 475—494.

34. C r o n b a c h L. J. Further evidence on response sets and test design. Educ. and Psychol. Measurement, 1950, 10, 3—31.

35. D a v i d H. P. Family planning and abortion in the socialist countries of Central and Eastern Europe. N. Y., The Population Coun­cil, 1970.

36. D a v i d H. P., W r i g h t N. H. Abortion legislation: The Romanian experience. Studies in Family Planning, 1971, 2, 205—210.

37. D o u g l a s J. D. The social meanings of suicide. Princeton Univ. Press, 1967.

38. E d w a r d s A. L. The social desirability variable in perso­nality assessment and research. N. Y., Dryden, 1957.

39. F a i r w e a t h e r G. W. Methods for experimental social in­novation. N. Y., Wiley, 1967.

40. F i s c h e r J. L. The uses of Internal Revenue Service data.— In: B o r u s M. E. (ed.). Evaluating the impact of manpower pro­grams. Lexington, Mass., D. C. Heath, 1972, 177—180.

41. G a r d i n e r J. A. Traffic and the police: Variations in law-enforcement policy. Cambridge, Mass., Harvard Univ. Press, 1969.

42. G a r f i n k e l H. «Good» organizational reasons for «bad» clinic records. — In: H. G a r f i n k e l. Studies in ethnomethodology. Englewood Cliffs., Prentice Hall, 1967, 186—207.

43. G 1 a s e r D. Routinizing evalution: Getting feedback on effectiveness of crime and delinquency programs. Washington, D. C., Center for Studies of Crime and Delinquency, 1973.

44. G 1 a s s G. V., W i 11 s o n V. L., G o t t m a n J. M. Design and analysis of time-series experiments. Boulder. Colo., Univ. of Colo­rado, 1972.

45. G o 1 d b e r g e r A. S. Selection bias in evaluating treatment effects: Some formal illustrations. Discussion Papers, 123—172. Madi­son, University of Wisconsin, 1972.

46. G o r d o n A. C., C a m p b e l l D. T. et al. Recommended accounting procedures for the evaluation of improvements in the delivery of state social services. Dupl. paper, Northwestern University, 1971.

47. G o s 1 i n D. A. Guidelines for the collection, maintenance, and dissemination of pupil records. N. Y. Russell Sage Foundation, 1970.

48. G u t t e n t a g M. Models and methods in evaluation rese­arch J. for the Theory of Soc. Beh., 1971, 1, 75—95.

49. G u t t e n t a g M. Evaluation of social intervention programs. Annals of the New York Academy of Sciences, 1973, 218, 3—13.

50. G u 11 e n t a g M. Subjectivity and its use in evaluation research. Evaluation, 1973, 1, 60—65.

51. H a t r y H. P., W i n n i e R. E., F i s k D. M. Practical pro­gram evaluation for state and local government officials. Washington, D. C., 1973.

52. H e 11 e r R. N. The uses of social security administration data. — In: M. E. Borus (ed.). Evaluating the impact of manpower programs. Lexington, Mass., 1972, 197—201.

53. I k e d a K., Y i n g e r J. M., L a y c o c k F. Reforms as experi­ments and experiments as reforms. Paper presented to the meeting of the Ohio Valley Sociological Society, Akron, May 1970.

54. J a c k s o n D. N., M e s s i c k S. Response styles on the MMPI: Comparison of clinical and normal samples. J. of Abn. and Soc. PsychoL, 1962, 65, 285—299.

55. K e p k a E. J. Model representation and the threat of in­stability in the interrupted time series quasi-experiment. Doct. diss. Northwestern Univ., 1971.

56. K e r s h a w D. N. A negative income tax experiment. Scientific American, 1972, 227, 19—25.

57. K e r s h a w D. N. The New Jersey negative income tax expe­riment: a summary of the design, operations and results of the first large-scale social science experiment. Dartmouth/OECD Seminar on «Social Research and Public Policies. Sept. 13—15, 1974.

58. K e r s h a w D. N., F a i r J. Operations, surveys, and admi­nistration. Vol. IV of the Final Report of the New Jersey Graduated Work Incentive Experiment. Madison, Wisconsin, 1973.

59. K i t s u s e J. K., C i c o u r e 1 A. V. A note on the uses of official statistics. Social Problems, 1963, 11, 131—139.

60. Кун T. Структура научных революций. M., 1977.

61. K u t c h i n s k y B. The effect of easy availability of pornography on the incident of sex crimes: The Danish experience. J. of Soc. Iss., 1973, 29, 163—181.

62. L e v e n s o n B., M c D i 1 1 M. S. Vocational graduates in auto mechanics: A follow-up-study of Negro and white youth. Phylon, 1966, 27, 347—357.

63. L o h r B. W. An historical view of the research on the factors related to the utilization of health services. Dupl. Res. Report. Bureau for Health Services Research and Evaluation. Rockville, Md., U. S. Government Printing Office, 1972.

64. Lord F. M. Large-scale covariance analysis when the control variable is fallible. J. of the Amer. Statistical Association, 1960, 55, 307—321.

65. Lord F. M. Statistical adjustments when comparing preexi­sting groups. Psychol. Bull., 1969, 72, 336—337.

66. M c C a i n L. J. Data analysis in the interrupted time series quasi-experiment. Master's thesis. Northwestern Univ., 1975.

67. M i 1 1 e r A. R., The assault on privacy. Ann Arbor, Mich., Univ. of Michigan Press, 1971.

68. M i l l e r S. M., R o b y P., S t e e n w i j k A. A. V. Creaming the poor. Trans-action, 1970, 7, 38—45.

69. M o r g e n s t e r n O.. On the accuracy of economic observat­ions. (2nd ed.) Princeton, Princeton Univ. Press, 1963.

70. M o r r i s s e y W. R. Nixon anti-crime plan undermines crime statistics. Justice Magazine, 1972, 1.8—11.14.

71. P o r t e r A, C. The effects of using fallible variables in the analysis of covariance. Unpub. doct. diss., Univ. of Wisconsin, 1967.

72. R i d g e w a y V. Disfunctional consequences of performance measures. Administrative Science Quart., 1956, 1, 240—247.

73. R i e c k e n H. W., B o r u c h R. F., C a m p b e l l D. T., C a p 1 a n N., G 1 e n n a n T. K., P r a 11 J., R e e s A., W i l l i a m s W.

Social Experimentation: a method for planning and evaluating social intervention. N. Y., Academic Press, 1974.

74. R i v 1 i n A. M. Systematic thinking for social action. Wash­ington, D. C., The Brookings Institution, 1971.

75. R o s s H. L. Law, science and accidents. The British Road Safety Act of 1967. J. of Legal Studies, 1973, 2, 1—75.

76. R o s s i P. H. Practice, method, and theory in evaluating social-action programs. — In: S u n d q u i s t J. L. (ed.). On fighting poverty. N. Y., Basic Books, 1969, 217—234.

77. R o s s i P. H., W i l l i a m s W. (eds.). Evaluating social programs: Theory, practice, and politics. N. Y., Seminar Press, 1972.

78. R e u b h a u s e n O. M., B r i m O. G., Jr. Privacy and behavio­ral research. Columbia Law Review, 1965, 65, 1184—1211.

79. S a w y e r J., S c h e c h t e r H. Computers, privacy, and the National Data Center: The responsibility of social scientists. — Amer. Psychologist, 1968, 23, 810—818.

80. S c h w a r t z R. D., O r l e a n s S. On legal sanctions. Univ. of Chicago Law Review, 1967, 34, 274—300.

81. S e i d m a n D., C o u z e n s M. Crime statistics and the great American anti-crime crusade: Police misreporting of crime and political pressures. Paper presented at the meeting of the American Political Science Association. Washington, D. C., Sept. 1972.

82. S e g a l l M. H., C a m p b e l l D. T., H e r s k o v i t s M. J. The influence of culture on visual perception. Indianapolis, Ind., Bobbs-Merrill, 1966.

83. S h a v e r P., S t a i n e s G. Problems facing Campbell's «Experimenting Society*. Urban Affairs Quarterly, 1971, 7, 173—186.

84. S k o l n i c k J. H. Justice without trial: Law enforcement in democratic society. New York, Wiley, 1966.

85. S m i t h M. S., B i s s e l l J. S. Report analysis: The impact of Head Start. Harvard Educational Review, 1970, 40, 51—104.

86. S t a k e R. E. Testing hazards in performance contracting. Phi Delta Kappan, 1971, 52, 583—588.

87. S u c h m a n E. Evaluation research. N. Y., Russell Sage Foundation, 1967.

88. S w e e n J. A. The experimental regression design: An in­quiry into the feasibility of non-random treatment allocation. Unpubl. doct. diss. Northwestern Univ., 1971.

89. T h o m p s o n C. W. N. Administative experiments: The expe­rience of fifty-eight engineers and engineering managers. IEEE Transactions on Engineering Management, 1974, EM — 21, p. 42—50.

90. T h o r n d i k e R. L. Regression fallacies in the matched groups experiment. Psychometrika, 1942, 7, 85—102.

91. T w i g g R. Downgrading of crimes verified in Baltimore. Justice Magazine, 1972, 1, 15.

92. W a t t s H. W., R e e s A. (eds.). Final report of the New Jersey gratuated work incentive experiment. Vol. 1., Madison, Wis­consin, 1973.

93. W e b e r S. J., C o o k T. D., C a m b e 11 D. T. The effects of school integration on the academic self-concept of public school children. Paper presented at the meeting of the Midwestern Psycho­logical Association. Detroit, 1971.

94. W e i s s C. H. (ed.). Evaluating action programs: Readings in social action and education. Boston, Allyn & Bacon, 1972a.

95. W e i s s C. H. Evaluation research. Englewood Cliffs., Pren­tice-Hall, 1972b.

96. W e i s s R. S., R e i n M. The evaluation of broad-aim prog­rams: A cautionary case and a moral. Annals of the American Aca­demy of Political and Social Science, 1969, 385, 133—142.

97. W e i s s R. S., Re i n M. The evaluation of broad-aim pro­grams: Experimental design, its difficulties, and an alternative. Administrative Science Quart., 1970, 15, 97—109.

98. W e s t i n A. F. Privacy and freedom. N. Y. Atheneum, 1967.

99. W h e e l e r S. (ed.). Files and dossiers in American life. N. Y., Russell Sage Foundation, 1969.

100. W h o l e y J. S,, N a y J. N., S c a n l o n J. W., S c h m i d t R. E. If you don't care where you get to, then it doesn't matter which way you go. Dartmouth/OECD Seminar on Social Research and Public Policies. Sept. 13—15, 1974.

101. W h o l e y J. S., S c a n l o n J. W., D u f f y H. G., F u k u m o t o J., V o g t L. M. Federal evaluation policy. Washington, D. C., 1970.

102. W i l d e r C. S. Physician visits, volume and interval since last visit. U. S. 1969. Rockville, Md., National Center for Health Statistics, Series 10, № 75, July 1972.

103. W i l l i a m s W., E v a n s J. W. The politics of evaluation: The case of Head Start. The Annals, 1969, 385, 118—132.

104. W o r t m a n C. B., H e n d r i c k s M, H i l l i s J. Some reactions to the randomization process. Dupl. res. report, Northwestern Univ., 1974.

105. Z e i s e l H. And then there were none: The diminunition of the Federal jury. Univ. of Chicago Law Review, 1971, 38, 710—724.

106. Z e i s e l H. The future of law enforcement statistics: A summary view. — In: Federal statistics: Report of the President's Commission. Washington, D. C. U. S. Government Printing Office, vol. II, 1971, 527—555.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ¹

Административные, архивные и другие косвенные данные, использование 210, 255, 341, 351—353, 360—362, 364

«Административный экспери­мент», модель 334

Ad hominem, исследования 358, 359

Артефакты, таксономия 202—211, 233, 234

Асимметричный (уницентрированный) перевод 300—302, 312

Асимметрия сравнения единич­ных случаев 293

Байесова статистика, проверка при изучении единичных слу­чаев 290

«Бэндвагон», эффект 364, 365

Валидность

— внешняя 43, 45, 62, 63, 71—84, 86, 88—90, 94—99, 101—107, 113, 121, 130, 139—141, 150, 198, 200—206, см. так­же «эффекты взаимо­действия», «осведомлен­ность об эксперименте», «обобщение результатов», «нереактивные из­мерения»

— внутренняя 41, 42, 45, 50, 63—72, 86, 105, 106, 116—121, 130, 133, 150, 200—204, см. так­же «главный эффект»

— качественного подхода 271

— конструктная 41—43, 348

— научного вывода 193, 194, 206, см. также «метанаучные проблемы»

— неэкспериментального знания 43, 44

— полевого исследования и наблюдения 264

— социальные источники валидности науки 33, 356—359

— статистического вывода 40, 41, см. также «про­верка значимости, ста­тистической, эффекта воздействия»

— теории и научная рево­люция 335

— теории при изучении случаев 282—286, 288— 295

_____________________________________________________________________________

¹ Именной и предметный указатели составлены М. И. Бобневой.

Варьирование

— дополнительное 211

— качества данных 213

— систематическое (интер­полирующее и экстрапо­лирующее) 213—214

Взаимодействие

— монотонность 97

— определение категории 95—97, см также «эф­фекты взаимодействия», «смешивание», «валидность»

— переменных при изучении единичных слу­чаев 292, 293

Воспроизведение (повторение) эксперимента, требование

— истинного эксперимента 140

— оценивания программ 265, 333

— полевого исследования 266

— при использовании пере­водов вопросников и те­стов 310

— с использованием раз­личных методов (гетерометодное) 105—107, 152, 215—216

— экспериментального воз­действия 103, 104

Временных серий (рядов), экс­перимент по плану 114—123, 124, 144, 172, см. также «пре­рывных временных серий, эксперимент по плану»

Выборки

— выделение групп срав­нения при анкетирова­нии одной аудитории 156

— из конечной популяции 101

— интервьюеров 180

— источник систематиче­ской погрешности 145, 146

— когда невозможно слу­чайное комплектование групп 140, 142, 143

— по ситуации, ошибка 127, 128

— принадлежность к од­ной и той же популя­ции 136, 157, 158

— смещения выборки 76, 77, 147

— уравненные, в квази­эксперименте 155

— формирование подгрупп популяции по принципу «достойности» 161 — 172

— формирование блоков 91

— эквивалентные, ситуа­ций 123

— эквивалентные, экспери­ментального материа­ла 128—131

см. также «Репрезентативность», «Смещение, погрешности», «Рандо­мизация», «Попарное уравнивание», «Панель­ные исследования»

Главный (основной) эффект 71, 88, 89, 95—99, 139—140, 142, 143, 200—206, 209, 210, см. также «Валидность»

Демаскирование эксперимента 224—226, 229, 233

Децентрированный (симметрич­ный) перевод 300—302, 308, 309

Добровольное участие в экспе­рименте 62, 70, 71, 86, 87, 92, 136, 147, 209, 214, 215, 219

Добровольцы-испытуемые 209, 214, 215

Дозкспериментальные планы 48-62

Единичные случаи — см. «Ис­следование единичного слу­чая»

Естественное осуществление эксперимента 175

«Естественный эксперимент» 176, 177

Жребий 156, 354, 355

Замаскированные эксперимен­ты

— отказ от демаскировки 224, 225

— приемы маскировки ла­бораторных исследова­ний 220

— таксономия полевых 217, 221—234

— этические проблемы 222—227, 229, 232—233, 235

Искажающий эффект количест­венных индикаторов 359—364

Информанты, метод использо­вания 261, 266, 328

Исследование единичного слу­чая 48—50, 265—267, 278—297

Истинные (подлинные) экспе­рименты 62—107, 140, 144, 146, 147, 171, 206

Качественное знание, качест­венный подход

— валидное обоснование количественных данных 256, 267, 270, 271, 327

— в социальных науках 254, 255, 320

— зависимость количест­венного знания от 243, 272

— качественное обобщение качественных суждений 268—270

— при оценивании про­грамм 243, 253—257, 324—330

— полярность качествен­ного и количественного подхода 242, 271, 272, 297

— типы качественного оце­нивания 257—267, 324— 330, см. также «Обы­денное знание», «Метанаучные проблемы»

Каузальные связи и экспери­мент — см. «Эксперимент», «Корреляционные планы», «Корреляции», «Валидность»

Квазиэксперименты (квазиэкс­периментальные планы) 107—184, см. также «Оценивание эффективности социальных программ»

Контрольные выборки для пред­варительного и итогового тестирования, план 147—150, 172

Контрольные группы

— «двойной слепой экспе­римент» 66—81, 202, 220

— «боязнь оценки» 202, 203, 215, 219

— влияние ожиданий экс­периментатора на ре­зультаты эксперимента 202, 203, 233

— как средство контроля внутренней валидности, история использования 63, 105, 113, 114, 200— 202

— плацебо 70, 71, 105, 112, 201, 202, 219

— подвергающиеся допол­нительному воздействию 203—205, 219

— подвергающиеся «лож­ной операции» 201, 211

— применение в естествен­ных науках 200—202

— при оценивании про­грамм 338, 343, 348—350

см. также «Рандомизазация», «Попарное уравнивание», «Эквива­лентные группы», «пла­ны экспериментов»

Корреляции

— выявление ложных 213

— выявление отрицатель­ных 345

— источник погрешностей 178, 179

— обратная корреляция 175

— при предварительном испытании гипотез 174

— с третьей (сопутствую­щей) переменной 175, 342

см. также «Корреля­ционные планы» Корреляционные планы и пла­ны

ex post facto 172—181

Латинский квадрат

— в истинном эксперимен­те 140, 141

— вместо контрольной группы 94, 139—143

— для построения сбалан­сированных планов 138—143

«Ловушка сверхагитации», эф­фект 357, 359

Лонгитюдинальный подход 154—160, 178

«Лоскутные» планы 113, 144, 152, 160

Межкультурные сравнения как слабая форма квазиэкспери­ментального плана 279

Метанаучные проблемы

— влияние процесса ка­чественного оценивания программ на методы гу­манитарных наук 265

— объективность данных и пристрастность иссле­дователей 331, 332

— при оценивании про­грамм 324—336

— степень интеграции — унифицированности — науки 249

— эмпирический статус ме­тодологических требова­ний 198

см. также «Эпистемо­логия», «Качественное знание»

Методологические проблемы исследований

— конформизма 130, 131, 224, 226, 227

— межкультурных разли­чий 211—213, 245, 278—

280, 282, 291—297, 301, 302, 306, 308, 310— 315

— национальных предрас­судков 54, 74, 179—181

— общественного мнения 122, 144—146, 179, 180, 199—201, 230, 231, 248, 364

— оказания помощи и кон­тактов в общественных местах 229—233

— психотерапевтических 135—136, 144, 158

— социальных установок 154, 159, 177, 178, 219, 232, 310, 314, 315, 321, 364, 365

— убеждающих воздейст­вий 102, 206, 225, 226, 230

см. также «Панельные исследования», «Оцени­вание эффективности социальных программ»

Методы и приемы оценивания программ

— внешнее наблюдение 262, 330—336

— возможности экспери­ментального оценивания 162, 318—330

— выработка единого ре­шения участниками 268, 269

— использование инфор­мантов 328

— использование косвен­ных данных 338—340, 351—353, 360—362

— критерий отбора кан­дидатов 161, 168, 356

— недостатки количествен­но-экспериментального подхода 324, 327

— опыт участников 257—259

— системный анализ 261

— типы качественного оце­нивания 257—267

см. также «Квазиэкспе­риментальные планы», «Наблюдение», «Экспе­римент», «Качественное знание», «Оценивание эффективности социаль­ных программ»

Множественные серии измере­ний, план 150, 151, 172, 175

Модели дисперсионного анали­за — конечные, рандомизиро­ванные, фиксированные и смешанные 101

Модель исследования с исполь­зованием многих наблюдате­лей и множества объектов описания 294—297

Наблюдение, полевое

— методы 263, 264

— надежность и валидность 264

— разведение субъективно­го и объективного ком­понентов 293, 294

Надежность

— оценки эксперименталь­ной и контрольной группы 344

— полевого наблюдения 264

— теста при предваритель­ном и итоговом тести­ровании 344

Нарушение непрерывности рег­рессии как признак экспери-

ментального эффекта, план 160—172, 356

Независимые переменные как признаки классификации 97—101

Нереактивные измерения — 55, 210, 219, 221, 234, 255, 307, 314

см. также «Угрозы внешней валидности»

Нестинг, перекрестная класси­фикация 97—101

Неэквивалентная контрольная группа, план 56, 63, 64, 68, 113, 132—138, 147, 150, 172, 175, 182, 183

Обобщение (генерализация) ре­зультатов 91, 102—106, 131, 198, 205—207, 209, 218, 268, см. также «Валидность», «Угрозы внешней валидно­сти», «Эффекты взаимодей­ствия»

Обозначения, используемые при описании планов 47, 48

Обработка административных данных с учетом требования конфиденциальности, методи­ка 351—353

Обратный перевод вопросни­ков и тестов, методика 302— 305

Обыденное знание, здравый смысл

— в социальных науках 278, 279

— и научное знание 245— 247, 283, 326

— погрешности 287—289

— сомнение и доверие 279 см. также «Качествен­ное знание»

Осведомленность об экспери­менте 217, 221—231, 235, см. также «Замаскированные эксперименты», «Угрозы внешней валидности», «Эти­ческие проблемы исследова­ний»

Оценивание эффективности со­циальных программ

— в антропологических и этнографических иссле­дованиях 261—265, 328, 329

— влияние политической ситуации 32, 322, 323, 356—365

— информантами 328

— практические проблемы организации процесса 330—333

— представителями раз­личных социальных дис­циплин 271, 319—322

— специальными подразде­лениями 330—331

— участие социальных пси­хологов 320, 321

— участниками программы 267—271, 364, 365

— экспертами (качествен­ное оценивание) 258

Ошибка в независимых пере­менных 342

Панельные исследования 178—181, 199—201, см. также «Методологические пробле­мы исследования обществен­ного мнения»

Перекрестная валидизация

— в экспериментальном ис­следовании 38, 82, 122

— данных тестов социаль­ных установок данными невербальных тестов 314

— наук 29

— науки здравым смыслом 252—253

— количественных оценок качественным знанием 267, 270

— при оценивании про­грамм 259, 260, 334, 335

— эффекта эксперимен­тального воздействия с помощью различных методов 105—107, 152, 215, 216

Перекрестные планы 138

План эксперимента

— в традиции Фишера 34, 35, 63, 90

— и предварительное те­стирование 89, 198— 200

— и способ статистической обработки 35, 36, 84, 85, 260

— понятие 28, 34

— эмпирический продукт науки 200, 201

План Соломона для четырех групп 88, 89

Планы, не предусматривающие предварительного тестирова­ния 198—200

Планы с переключением 138

Погрешности — см. «Смеще­ния»

Полевые исследования, методо­логические проблемы

— воспроизводимость 266

— перенос лабораторных исследований в полевые условия 108—114, 138, 146, 151, 177

— стандарты регистрации данных 266

— стратегии 152—160, 310

— таксономия замаскиро­ванных 221—234

см. также «Методы и приемы оценивания про­грамм»

— этические проблемы 222—227, 229, 232, 233, 235, 331—333

Попарное уравнивание групп 35, 68, 135, 181—183

Поэтапные срезы, сравнитель­ное изучение 154—160

Правдоподобные конкурентные гипотезы 50, 66, 111, 112, 115, 140, 152, 174, 176, 197— 213, 215, 234, 256, 310

Предварительное и итоговое тестирование 50, 56—58, 71, 74, 75, 255, 256, 311, 342, 362, 363, см. также «планы экспериментов и квазиэкспе­риментов»

Предварительное и итоговое тестирование и контрольная группа, план 63—88, 201

Предварительное и итоговое тестирование на одной груп­пе, план 50—61, 201

Предварительное и итоговое тестирование на различных выборках, план 143—147, 172

Прерывные временны́е серии (ряды), план 336—341

Применение контрольной груп­пы и тестирования, осуществ­ляемого только после воз­действия, план 89—93

Проверка значимости в качест­венном исследовании 288—291

Проверка статистической зна­чимости эффекта воздействия 84—87, 88, 89, 92, 93, 94, 123, 124, 127, 128, 131, 142, 151, 166—171, 339—342, 344—356

Проверка (испытание) теории

— валидный выбор 91

— как процесс отбрасыва­ния несостоятельных ги­потез 109, 110, 194—197

— с помощью «степеней свободы» при изучении единичных случаев 282, 283, 285, 286, 288—295

Рандомизация

— единицы 81, 82, 348—350

— и обеспечение равен­ства 162

— как средство достиже­ния эквивалентности групп 35, 68, 86, 90, 135, 143, 207, 355

— коррекция (подгонка) регрессии как замеще­ние 341—345

— при интерпретации дан­ных 166, 167

— при компенсаторном обучении 344

— распределения испытуе­мых по группам для те­стирования 143

— распределения кандида­тов для участия в про­грамме 161, 162, 165, 167

— режима эксперимента для целых групп 85, 147

— уровни, на которых проводится 348—350

— уровни эквивалентности, достигаемые 150, 153

Регрессионные артефакты при оценивании программ 340, 342, 343

Регрессия

— дифференциальная 182

— множественная 171, 342

— подгонка в плане с пре­рывными временными сериями 337

см. также «Угрозы внутренней валидности»

Рекуррентный институциональ­ный цикл («Лоскутный план»), план 113, 144, 152—160

Рекуррентная форма экспери­мента с одной группой, план 123

Репрезентативность

— выборки 146, см. также «Выборка»

— временных интервалов измерения и воздейст­вия 124

— в естественных науках 207, 208

— в социологии и психологии 207, 208

— и фактор времени 207

— контрольной группы при оценивании программ 355

— объекта исследования 75

— опроса всей намеченной выборки 171, 172

— опроса и получения со­поставимых данных 171, 172

— результатов точных наук и воспроизводи­мость результатов 74

— результатов исследова­ния в отношении более широкой популяции 86

см. также «Выборка», «Валидность», «Угрозы внешней валидности», «Смещения»

Ретроспективное предваритель­ное тестирование 176—178

Сбалансированные планы 138—143

Смешивание 124, 209—211, 325

Смещения в результатах, по­грешности

— в рандомизированном эксперименте при оцени­вании программ 354, 355

— в результате отсева при оценивании программ 349, 350, 351

— измерительных прибо­ров 193

— и систематический эф­фект 154, 342

— как процесс спонтанной ремиссии 144

— коррекции между воз­действием и результа­том итогового тестиро­вания 178, 179

— «переменная» и «по­стоянная» ошибка 320

— при уницентрированном переводе тестов и вопросников 305, 306, 310—314

— таксономия погрешно­стей, связанных с глав­ными эффектами и эф­фектами взаимодейст­вия 202—211

см. также «Выбор­ка», «Репрезентатив­ность, «Угрозы внутрен­ней валидности», «Угро­зы внешней валидности»

Снижение качества

— валидности и надежно­сти теста для получе­ния интерпретируемых данных 307

— данных

— — как средство вы­явления ложных кор­реляций 213

— — как средство контроля конкурентных гипотез 211—213

Сомнение и доверие в процес­сах научного исследования 247—252, 279

Социальные индикаторы при оценивании программ 28, 340, 359—361

Социальные программы и но­вовведения

— дистрибутивные 343, 344

— критерии отбора канди­датов для участия 161—172

— компенсаторные 265, 268, 269, 333, 343-345, 363

— помощи нуждающимся 162, 345—347

— примеры программ, про­ходящих оценивание

333, 334, 337, 338, 345, 346, 360, 361

Сравнение при интерпрета­ции данных

— возможность сравнения в квазиэкспериментах 334—335

— и снижение качества данных 307, 308

— неинтерпретируемость сравнений двух единич­ных случаев 173, 280

— при оценивании про­грамм 341, 343

см. также «Эквивалент­ные группы»

«Степени свободы» в нестати­стической ситуации 282—289, 291—293

Тесты и вопросники, методоло­гические проблемы разработ­ки и применения

— вербальные и невер­бальные 314, 315

— использование эквива­лентных форм теста 311

— исследование процеду­ры тестирования 91

— надежность при предва­рительном и итоговом тестировании 344

— пересмотр версии теста на языке оригинала 307-309

— повторное применение того же самого теста 92

— погрешность 192

— построение вопросников 310

— разработка децентрированного теста 306—315

— смещения при использовании уницентрированного перевода 310—314

— «стандартизированная форма» 306, 307

— установка на ответы 209

см. также «Предва­рительное и итоговое тестирование»

Триангуляция данных, мето­дика 293—295

Угрозы внешней валидности (факторы, угрожающие)

— взаимная интерференция экспериментальных воз­действий 47, 122, 125, 126, 137, 138, 292, 293

— реактивный эффект (эф­фект взаимодействия тестирования и экспери­ментального воздейст­вия) 47, 74—76, 88, 90, 121, 137, 147, 151, 172, 210, 211

— реакция испытуемых на эксперимент 47, 80—84, 121, 125, 131, 137, 155, 210, 217—221, 231, 235

— эффект взаимодействия фактора отбора с экс­периментальным воздей­ствием 47, 76—78, 88, 122, 125, 137, 138, 146, 150, 172, 325

см. также «Эффекты взаимодействия»

Угрозы внутренней валидности (факторы, угрожающие)

— взаимодействие факто­ра отбора с естественным развитием 47, 133,

134, 151, 154, 160, 172, 203, 204

— другие факторы 47, 202—204

— естественное развитие 46, 51,53, 54, 64, 66, 79, 88, 120, 125, 132, 133, 134, 140, 144, 151, 154, 156, 171, 203, 204

— инструментальная по­грешность (нестабиль­ность измерительного инструмента) 46, 55, 56, 66—67, 78, 88, 120—121, 125, 132, 133 отбор испытуемых (фак­тор состава групп) 46, 60, 61, 62, 68, 69, 121, 125, 133, 151, 154, 158, 171, 206

— отсев (выбывание) 46; 62, 69, 78, 125, 154, 159, 171, 172, 183, 200—204, 349—354

— статистическая регрес­сия 46, 56—61, 67, 68, 121, 134, 146, 151, 154, 171, 203, 204

— и качественное знание 256

— фон (история) 46, 50, 64-66, 79, 88, 116-120, 125, 132, 133, 140, 142, 143, 154, 171, 205— 206, 256

— эффект тестирования 46, 54, 55, 66, 71, 74, 75, 88, 90, 125, 132, 140, 141, 145, 146, 154, 203, 204, 219

см. также «Главный эф­фект», «Оценивание эф­фективности социальных программ»

Учет сезонных тенденций при оценивании программ 337, 339, 340

Факторные планы 93—101

Фокальная депривация 355, 356

Хоуторнские исследования, эф­фект 42, 346, 347

Эквивалентные временны́е вы­борки, план 123—128

Эквивалентные группы

— контрольные, для срав­нения при оценивании программ 343

— неэквивалентные груп­пы до введения про­граммы 341

— неэквивалентные груп­пы при нарушении ре­грессии 171

— перед экспериментом 61, 62, 87, 123, 132, 135

— при сравнении 281

— уравнивание групп, ког­да невозможно их слу­чайное комплектование 140, 142, 143

— частные характеристи­ки и тенденции 147

Эксперимент

— естественный 176, 177

— истинный 62—107, 140, 144, 146, 147, 171, 206

— как средство проверки каузальных гипотез 39—43, 198—211, 325

— квазиэксперимент 107— 184

— многомерность 39

— несовершенство 45, 108—113, 324, 327

— ориентация психологов на 320

— полевой 221—234

— рекуррентный 123

— ротационный 36, 138 см. также «План экспе­римента», «Методы и приемы

оценивания про­грамм», планы

Эксперимент ex post facto, план 181—183, 343

Экспериментальная изоляция 51, 119, 120

Экспериментальные приемы ис­пользования переводов те­стов и вопросников 310

Эпистемология

— дескриптивная 30—32, 200, 204, 244, 245, 326

— качественного и коли­чественного подхода 243

— качественного распозна­ния образа 252, 326

— эволюционная 109—113, 244, 248

Этические проблемы исследо­вания

— анонимность респонден­та 92

— добровольное участие в исследовании 62, 70, 71, 86, 87, 92, 136, 219

— конфиденциальность данных в исследовании 351—353

— запрет на исследования «Ad hominem» 358, 359

— обман и демаскировка 224—235

— согласие на участие в эксперименте 223, 348—350

— устранение вторжения в личную жизнь 223

Эффекты взаимодействия 71, 88, 89, 95—97, 139—141, 198, 204, 205