Свойства теста

Какие другие важные следствия мы можем вывести из метафоры «тест — оружие»? Эта метафора поз­воляет нам точнее и глубже осознать ряд инструментальных требований к тестам, которым тесты должны со­ответствовать, а также нормативы применения тестов. Я вовсе не соби­раюсь здесь перечислять все психо­метрические свойства тестов, но все-таки некоторые наиболее важ­ные стоит упомянуть — хотя бы не строго, хотя бы чисто метафори­чески.

1. Надежность теста. Может ли быть надежным оружие, изготовлен­ное в кустарной полуподвальной ма­стерской, как говорится, «на колен­ках»? Это оружие будет стрелять ку­да попало — иногда в цель, но чаще вбок, а иной раз может и просто ра­зорваться в руках стреляющего. Тут уместно напомнить следующее: на­дежные тесты не создаются в кро­шечных лабораториях (и¹ тем более за письменным столом автором-оди­ночкой). Надежность теста не только проверяется на репрезентативной

Тест как оружие

(массовой) выборке, но просто не вырабатывается без обширной статистики. Репрезентативная вы­борка для стандартизации теста — это своеобразный полигон для обст­рела нового оружия. Только после таких полевых испытаний конструк­тор теста может внести целенаправ­ленные («зрячие») коррективы в пер­воначальную конструкцию своего оружия. Тем самым уже на примере этого одного свойства теста — на­дежности — мы видим, что нам дает в этом контексте метафора «тест — оружие». Плохое оружие не усилива­ет, а, наоборот, ослабляет пользова­теля, подвергает его риску. Но разве можно судить о качестве оружия во­обще по образцам кустарного ору­жия? Плохими являются не тесты во­обще, а ненадежные тесты.

2. Валидность теста. Напомним, что это мера пригодности теста це­лям психодиагностики, мера соот­ветствия измеряемому свойству. Ку­да будет стрелять оружие? Это зави­сит не только от надежности самого теста, но и от пользователя. Нена­дежный тест не может быть валид­ным. Эту аксиому теории измерения в данном контексте легко понять: ес­ли вы не попадаете с пяти шагов в си­луэт, то о какой валидности, о каком соответствии теста измеряемому свойству может идти речь, ведь вы же можете попасть с помощью тако­го «теста» не во врага, а в «своего» — того, кто рядом стоит, то есть «цеп­ляете» с помощью теста не целевое, а иное психическое свойство. Но если сам стрелок слепой, если он дальто­ник, который не различает цвета мундиров, в которые одеты свои и чужие, если он к тому же паникер, то будет в панике палить даже из на-

дежного стрелкового оружия и по своим, и по чужим. Таким образом, мы легко формулируем важное след­ствие: тест не может быть валидным в руках непрофессионала. Вот вам и еще одна аксиома тестологии, ко­торую, увы, так трудно бывает объ­яснить не только массовой аудито­рии, но и самим психологам, ибо при словах «надежность» и «валидность» в их сознании всплывают страшные и непонятные психометрические формулы. Поэтому эти понятия кажутся им скорее математически­ми, чем психологическими, то есть чуждыми их «гуманитарному интел­лекту».

Опять же вернемся в этом контек­сте к критике тестов. Можно ли су­дить о тесте и, тем более, тестах вооб­ще, если даже вполне качественное фабричное оружие передано в руки новобранцев-паникеров, которые то стреляют из пушки по воробьям (на­пример, применяют тяжелую бата­рею IQ вроде теста Векслера для диа­гностики дефицита внимания), то бросаются с пистолетиком тщетно обстреливать бронированный танк (пытаются понять природу и содер­жательный смысл внутреннего кон­фликта по цветовым предпочтениям в тестике Люшера, пригодного, по моему убеждению, лишь для гру­бой оценки фона настроения). Любо­му мало-мальски сведущему в воен­ном деле человеку как дважды два понятно: нет универсального ору­жия, и в разных условиях боя надо применять разное. Но психика чело­века — более тонкая, невидимая сто­роннему взгляду реальность, чем по­ле боя. И вот мы путаем все на свете: вялую позиционную перестрелку, ак­тивную артподготовку и яростную

А.Г. Шмелев

штыковую атаку в полный рост, ког­да пора доставать из-за пояса грана­ты. Когда вы проводите какую-ни­будь очень краткую пробу из не­скольких заданий (несколько спря­танных фигур из теста Готтшальда, несколько чернильных пятен Рорша-ха), то следует все-таки отдавать себе отчет в том, что вы с такой же веро­ятностью наткнетесь на диагностиче­ски ценную информацию, с какой можно поразить стальной ДОТ с по­мощью легкой пехотной гранаты. Результата, скорее всего, не будет ни­какого! Только следует ли после это­го делать вывод о том, что все тесты неэффективны? Я бы сказал, что мно­гие одиночные психологические тес-тики — это очень слабое оружие про­тив хорошо замаскированных укреп­лений, против глубоко эшелониро­ванной обороны многоэтажной чело­веческой психики, которая нараба­тывает ко времени социальной зрело­сти многие слои из весьма изощрен­ных механизмов психологической за­щиты. Тут мы подходим к проблеме достоверности — проблеме соотно­шения сознательных и неосознавае­мых механизмов психологической за­щиты от тестирования. Р. Кэттелл назвал это в свое время проблемой мотивационных искажений. Звучит красиво, хотя речь идет о некрасивых вещах — о более или менее осознава­емой лжи.

3. Достоверность. Это проблема фальсификаций. Сформулируем в этом контексте такой несколько парадоксальный профессиональ-

но-этический норматив: «Испытуе­мый имеет право на ложь». В самом деле, если тест — это оружие про­никновения в человеческую психику, то испытуемый имеет право на само­защиту — на то, чтобы сопротив­ляться этому проникновению. В кон­це концов, можно оправдать испыту­емого, сумевшего скрыть свои про­блемы, свои дефекты, мобилизовав­шись на социально-желательное вы­полнение теста: таким способом он проявляет в момент тестирования си­лу своих компенсаторных механиз­мов, умение решать задачки на мо­ральное развитие, умение решать задачки на интеллектуальное разви­тие и т. п.⁴, хотя, возможно, в по­вседневной жизни он ведет себя во­все и не так. Прочность брониро­ванного корпуса его судна, обеспе­чивающая ему непотопляемость, оказалась сильнее того удара, кото­рый психолог нанес из своего ору­жия. Честь и хвала такому испытуе­мому. Но этот тезис имеет и такое важное следствие: положительные результаты тестирования имеют меньшую ценность, меньшую пред­сказательную силу, чем негативные результаты.

Таким образом, если мы наконец разберемся в базисных представле­ниях о сущности теста, мы научимся адекватным образом его применять в социальной практике. До тех пор, пока мы неверно трактуем сущность теста, не видим адекватным образом ограничений в практике его исполь­зования, мы совершаем серьезные

⁴.

.

Тест как оружие

ошибки. Нужно ли запрещать рас­пространение оружия в обществе, где никто толком не умеет грамотно им пользоваться? По-видимому, все-таки разумнее не запрещать вовсе, а разумно ограничить более узким кругом подготовленных аттестован­ных пользователей! И предоставлять им следует только сертифицирован­ные инструменты, а не какие попало. Если горе-строители возводят мно­гоэтажные здания на болотах или зыбучих песках без закладки прочно­го фундамента, т. е. нарушают все правила технологии безопасного строительства, то таким образом здание не следует строить вообще; это не значит, что следует запретить и архитектурные институты, и все за­воды по производству стройматери­алов, и сами строительные организа­ции. Если кто-то использует опреде­ленные медицинские препараты не по назначению, превращая их в нар­котики, то это не значит, что следует запретить фармацевтическую про­мышленность, хотя строгость в кон­троле за распространением опасных

медицинских препаратов повысить, конечно, придется.

Тесты и экспертные оценки

По моему убеждению, стандарти­зованные тесты не дают основания для окончательного положительного диагноза (т. е. диагноза о пригоднос­ти к определенной деятельности), для этого они должны быть дополнены экспертными оценками (или другими менее стандартизованными диагнос­тическими процедурами, включаю­щими экспертные оценки в той или иной мере, как это, например, проис­ходит в проективных методиках).

Таким образом, позитивный ис­ход тестового испытания выступает логически необходимым, но не до­статочным условием для оконча­тельного позитивного заключения. Поскольку мне как тестологу, увы, хорошо известно, что с элементар­ной логикой у наших сограждан по­рой возникают серьезные пробле­мы⁵, схематизируем сказанное в виде следующей таблички.

	Вывод о пригодности	Вывод о непригодности
Позитивный исход теста	Нельзя сделать	Нельзя сделать
Негативный исход теста	Нельзя сделать	Можно сделать

⁵ Это показали, в частности, тестологические обследования десятков тысяч наших выпускни­ков школ и абитуриентов вузов в рамках проекта компьютеризованного тестирования «Телете­стинг» (Шмелев, 2000): наши российские учащиеся в массе своей демонстрируют поразительную беспомощность при решении простейших текстовых логических задачек, хотя при этом «щелка­ют как орешки» сложные математические уравнения (правда, опять-таки не имея ни малейшего представления о том, какие физические процессы могут быть описаны с помощью этих фор­мально-математических моделей).

А.Г. Шмелев

Поясним это на содержательном примере. Вначале возьмем самый тривиальный случай, далекий от психологии — уже упомянутый экзамен на знание правил дорожного движения. Если кандидат сдал тест по правилам, то ему еще нельзя вы­давать права: он должен пройти по­сле этого менее формализованный экзамен на практическое вождение. Если же кандидат провалил тест, то он не допускается до следующего испытания. В этом контексте самое время также сделать и такую ого­ворку: отрицательный результат тес­тирования — не приговор. Всем по­нятно, что правила можно выучить, прийти снова и пересдать экзамен.

Возьмем теперь менее очевидную (не оформленную пока нормативно) процедуру тестирования кандидата при приеме на работу на предмет уровня так называемой «корпора­тивной лояльности». Предположим, что испытуемому при этом предъяв­ляется совершенно примитивный тест-опросник, содержащий лобовые вопросы типа «Вам никогда не дово­дилось обманывать учителей при сдаче экзаменов в школе?» Как мы говорили выше, испытуемый в этом случае использует свое право на фальсификацию и отвечает: «Вер-

но, не доводилось». И какой вывод в данном случае мы сделаем? Ника­кой! Но если испытуемый вдруг сам в порыве откровенности отвечает: «Неверно, доводилось», — то по крайней мере насторожиться следует.

В еще большей степени этот прин­цип относится к базовым тестам на элементарные профессиональные знания. Если кандидат в бухгалтеры не может ответить на вопрос кон­курсного теста-опросника о том, что такое «план счетов», то следует ли дальше заниматься с этим кандида­том? Следует ли тратить дорогое вре­мя квалифицированных экспертов на детальное интервьюирование по­добного кандидата? Конечно, нет*.

Таким образом, я предлагаю бук­вально везде, во всех отраслях прак­тики использовать тест как первич­ный дешевый и формализованный фильтр, предшествующий примене­нию более сложных и дорогих экс­пертных процедур. В какой-то мере подобной логикой руководствуются в настоящее время специалисты по оценке персонала, которые при­меняют технологию «Ассессмент-центр» (2003).

Таким образом, приведенную вы­ше табличку следует изменить таким образом:

	Позитивный исход экспертной оценки	Негативный исход экспертной оценки
Позитивный исход теста	Вывод о пригодности	Вывод о непригодности
Негативный исход теста	Вывод о непригодности	Вывод о непригодности

⁶

Тест как оружие

Процедура	Прогностическая валидность
Интервью	0,1-0,3
Психологическое тестирование	0,3-0,5
Квалификационное тестирование	0,4-0,6
Ассессмент-центр	0,5-0,7

Как видим, для позитивного об­щего заключения требуется конъ­юнкция (логическое «И») двух неза­висимых событий — позитивного те­стового исхода и позитивного исхо­да экспертной оценки. Отсутствие хотя бы одного из позитивных исхо­дов не дает возможности делать об­щий позитивный вывод.

Качество такой двухфильтровой системы отбора в любом случае вы­ше, чем любой однофильтровой — основанной только на экспертных оценках или только на тестах. А раз­говоры о том, что в нашей стране ре­зультаты тестирования очень легко купить (увы, такие разговоры часто затевались, например, на дискуссион­ном форуме портала ЕГЭ), носят ли­бо сознательно демагогический ха­рактер, либо опять-таки выявляют де­фект логического мышления. Там, где можно купить результаты тестирова­ния, как правило, можно купить и ре­зультаты экспертной оценки, и нужно еще специально изучать, какой из фильтров по факту является менее продажным. Если даже при широком распространении теста происходит утечка ключей, негативный исход тес­тирования продолжает сохранять свою ценность, но особенно важно, чтобы после позитивного исхода в де­ло вступали неподкупные эксперты. Если мы связываем результаты двух процедур логическим «И», то число­вые результаты теста и экс­пертной оценки правильнее не суммировать, но умножать, то есть агрегировать не адди­тивно, а мультипликативно:

О= ТхЕ,

где Т — результат теста, Е — результат экспертной оценки,

О — общая оценка. Если любой из сомножителей принимает нуле­вое значение (оказывается ниже ми­нимального порога), то общий ре­зультат оказывается нулевым неза­висимо от значения второго сомно­жителя.