Дистанционное тестирование

Лекция 7. Виртуальные психодиагностические лаборатории, оn-line тестирование в Интернете

Дистанционное тестирование - это новый тип диагностической ситуации, определяемый тестированием в сети Интернет на основе Интернет-технологий, обеспечивающих распределение функций компьютерного образовательного или психологического тестирования

между локальным компьютером пользователя ("клиентом") и центральным компьютером разработчика ("сервером"). Это новая информационная технология, которая обеспечивает быстрое и широкое распространение качественных тестов, отвечающих международным научным стандартам [Шмелев, Бельцер, 1998,1999].

Процедура тестирования с помощью этой технологии выглядит следующим образом: пользователь получает на свой локальный компьютер только тестовые задания, а обработка данных производится на сервере у разработчика.

Технически существуют два варианта тестирования: в режиме on-line, так называемое "он-лайн-тестирование" (с подключением к Интернету), и в режиме off-line (без подключения к Интернету). В первом случае по сети передается либо гипертекстовая страничка с тестовыми заданиями, либо каждое отдельное задание, а пользователь отвечает на пункты теста, не выходя из сети Интернет. Очевидно, что такая разновидность тестирования требует и соответствующих технических возможностей - наличия оптоволоконных линий. Во втором случае пользователь "скачивает" себе на компьютер тестовые задания, выходит из Интернета, отвечает, а затем посылает свой протокол и получает результаты тестирования с помощью электронной почты. Для такой разновидности тестирования достаточно связи по телефонным сетям (через модемы).

Одна из первых отечественных разработок - созданная в 1997 году Интернет-технология "Телетестинг" [Шмелев, Ларионов, Серебряков, 1998; Шмелев, 2002]. В этой системе используется комбинированный подход: проведение теста в режиме off-line, а получение теста и обработка результатов - в режиме on-line. Первоначально система использовалась для тестирования знаний и проведения олимпиад. За пять лет (с 1997 по 2001 г.) в олимпиадах "Телетестинг" приняло участие около 60 тысяч старшеклассников и абитуриентов из более чем 100 городов России и ближнего зарубежья. Позднее система стала использоваться для психологического тестирования. Как отмечает А. Г. Шмелев (2002), в ходе олимпиады-98 участникам факультативно предъявлялся "Тест интеллектуального потенциала" (ТИП), уже в первый день было получено свыше 2000 протоколов по России, и тем самым задача получения репрезентативных норм на общенациональной выборке была решена с невиданной ранее скоростью.

Дальнейшие работы в области Интернет-технологий позволили в 1999 году впервые внедрить автоматическую обработку данных в режиме двухсторонних FTP-сеансов связи. Означает это следующее: на FTP-сервере для каждого регионального центра создавался отдельный каталог с личным паролем доступа, и после появления в этом каталоге файла с исходными протоколами (ответами на пункты теста) специализированная программа на сервере немедленно обрабатывала все присланные протоколы и создавала в этом же каталоге файл-таблицу с результатами, которую пользователь мог немедленно забрать на свой компьютер - в ходе одного двухстороннего сеанса подключения в режиме FTP. А. Г. Шмелев (2002) отмечает, что Интернет-технология является качественно новым этапом в развитии психологического тестирования. Во-первых, складывается интерактивная модель сотрудничества между пользователями и разработчиками тестов. При этом банки протоколов автоматически пополняются, что создает возможность внесения в методики своевременных корректив. Во-вторых, кардинально расширяется аудитория пользователей тестов и других процедур, включая и испытуемых, и экспериментаторов. В результате значительно повышается репрезентативность диагностических норм, популяционная устойчивость ключей и т. д. Если раньше на получение нескольких сотен протоколов уходили недели и месяцы, то теперь это можно получить за один день. В-третьих, резко расширяются возможности участия специалистов (в том числе из разных стран) по созданию корпоративных банков тестовых заданий и систем интерпретации результатов. В качестве примера такого сотрудничества можно указать проект под названием IPIP (International Personality Item Pool), который реализовал в Интернете Л. Голдберг (www.ipip.ori.org). В-пятых, в силу дистанционных отношений между экспериментатором и испытуемым становится более значимой роль мотивации самопознания, повышается роль добровольцев, которым необходимо "оплатить" их участие в пилотировании сырой версии методики с помощью автоматизированной интерпретации. Если в очном компьютерном тестировании экспериментатор может "на словах" пояснить испытуемому малопонятный для него профиль, то в заочном тестировании испытуемый хочет получить связный и понятный текст, так называемый "narrative report" - повествовательный отчет.

Один из важных вопросов психодиагностики - это сохранение психометрических параметров многофакторных тестов при использовании их в сети Интернет. Важным здесь является исследование, которое показывает, что в Интернете принципиально не меняются психометрические характеристики таких классических личностных вопросников, как, например, вопросника EPI (Г. Айзенка), выполненного в адаптации А. Г. Шмелева в 1984 году (Ромек, Сатин, 2000).

Сегодня создаются предпосылки для реализации в Интернете идеи "виртуальной лаборатории", в которой многие процессы и процедуры по созданию тестов будут осуществляться в интерактивном режиме онлайн. Один из прототипов такой лаборатории - раздел "Психоигротека" на сайте "Гуманитарные технологии" (www.ht.ru), другой образец предложен в русском Интернете Д. С. Сатиным (www.testology.psychology.ru).

В качестве примеров психосемантического подхода к исследованию личности можно указать опросник А. Г. Ларионова "Модель идеального руководителя" (www.ht.ru), в котором пользователям предлагается не только выбирать качества из заданного набора, но и формулировать собственные качества. При этом свободные формулировки анализируются с помощью банка в 2090 личностных черт, построенного в рамках проекта ТЕЗАЛ. В результате индивидуальная модель идеального руководителя строится в форме стандартного факторного профиля 15РФ.

Другой пример - это сетевая версия так называемого "Фототеста" (www.ht.ru). В этом случае пользователи оценивают фотопортреты с помощью факторных шкал Большой Пятерки, получают обратную связь о том, как точно они пользуются этими факторами в ходе визуальной диагностики, могут прислать собственный фотопортрет и получить его оценку со стороны независимых пользователей Интернета.

При постановке запроса на поиск «психологических тестов онлайн» (а в обыденном сознании психодиагностика = психологическое тестирование) «нашлось» 4000000 страниц. Наивно предполагать, что все ресурсы администрируются профессиональными психологами, а это, в свою очередь, кроме несомненной популяризации психологии вызывает и определенное недоверие к профессиональным психологам

Безусловно, большинство методик, используемых в on-line тестировании являются широко известными и не раз проходили апробацию как в «бланковой» так и компьютерной версиях. Поэтому целесообразно разобраться, насколько сама процедура Интернет-тестирования соответствует критериям психодиагностики.

Надежность. Следует допустить, что методика, прошедшая апробацию, обладает достаточной внутренней надежностью, а автоматизации обработки безусловно повышает воспроизводимость результатов.

Валидность. В данном случае оценивается, измеряется ли рассматриваемая характеристика или измерение отражает влияние других факторов. Диагностика в сети Интернет сталкивается с двумя проблемами валидности.

Во-первых, психолог не может отследить влияние посторонних факторов, которые могут непосредственно влиять на результаты, во-вторых – часто в самой методике имеются термины (вопросы, задания), требующие пояснения специалиста: сталкиваясь с такими заданиями, пользователь сети решает их, следуя своей интуиции, что также может искажать результат. Таким образом, исследователь может получить измерения совсем других характеристик.

Интерпретация данных, являясь профессиональной, а не популяризированной, также может ввести человека в заблуждение, т.е. неподготовленному человеку тяжело отличить «переключаемость внимания» от «устойчивости внимания» и зачастую одно принимается за другое.

Достоверность. On-line тестирование повышает достоверность полученных результатов, т.к. присутствует высокая степень анонимности.

Наличие репрезентативных норм результатов массового обследования. Безусловно, высокая доступность методик и возможность постоянного обновления «среднего» по результатам проведения диагностики позволяет вывести данную характеристику психодиагностики на уровень, недоступный бланковым исследованиям.

Технология регистрации результатов и предоставление обратной связи является унифицированной в рамках сети, хотя многие ресурсы поддерживают возможность связи с психологом, но ответ может носить отсроченный характер, что также осложняет получение квалифицированной помощи.

Характеристики психодиагностики, касающиеся личности диагноста, его профессионально-этических установок не могут анализироваться применительно к on-line диагностике, т.к. по сути диагност не персонифицируется. Разрабатываемые в данное время принципы диагностики в сети Интернет в ближайшем будущем разрешат данную проблему.

Следует привести и результаты некоторых исследований, в которых констатируется сохранение показателей надежности многофакторных тестов, разработанных с применением факторного анализа при их использовании в сети Интернет. В. Г. Ромек и Д. К. Сатин провели рефакторизацию данных, полученных по тестам уверенности в себе и Айзенка (EPI) на больших выборках (661 и 1637 человек), которая доказала, что надежность тестов при их использовании в сети Интернет не уменьшается при сохранении факторной структуры тестов. В то же время, усредненные значения по шкалам при тестировании в сети отличаются от данных, полученных на «бланковых» выборках. Авторы делают вывод о возможности использования тестов в сети, но оговаривают необходимость дальнейшего анализа специфики выборок пользователей сети Интернет. По мнению авторов, компьютерная сеть предоставляет несколько возможностей, которые отсутствуют при бланковом тестировании, а именно:

· низкую стоимость тиражирования материалов;

· широкий географический охват;

· не требуется непосредственного присутствия психодиагноста рядом с испытуемым.

Также авторы утверждают, что «Тестирование в сети происходит в отсутствие психолога, который мог бы проконтролировать ход диагностической процедуры, и от которого испытуемый получает интерпретацию результатов. Это ставит перед диагностом дополнительные задачи контроля переменных, связанных с ситуацией тестирования, а также задачу составления таких интерпретаций, которые бы не оставляли испытуемому возможностей для неверного истолкования».

Хотя исследование доказало надежность тестов при использовании их в сети Интернет, обнаружен ряд специфических факторов, которые могут повлиять на результат диагностики. Одним из таких факторов является мотивация испытуемых: в случае бланкового тестирования мотивация участия в тестировании варьирует от ориентации на получение интерпретации до желания помочь исследователю в осуществлении стандартизации теста. При проведении тестирования в сети Интернет мотивация тестирования ограничена мотивацией самопознания, так как исследователь не имеет никакого влияния на поведение испытуемого. К тому же сам выбор методики испытуемым может быть не случаен: может оказаться, что люди, испытывающие недостаточность, например, уверенности в себе, чаще проходят тест уверенности в себе, чем самоуверенные. Подобному искажению состава подвержены те тесты, в названии которых указана измеряемая ими психологическая черта.

Основные достоинства и недостатки проведения психологического исследования в сети Интернет подробно рассмотрела А.Е.Жичкина в статье «О возможностях психологических исследованиях в сети Интернет» [12]. Среди неоспоримых достоинств автор выделяет:

1. Экономия времени, средств, человеческих и других ресурсов. Фактор «экономии ресурсов» обычно является ключевым при принятии решения о проведении эксперимента в сети Интернет.

2. Возможность набрать большее число испытуемых, что обеспечивает и большую точность статистических выводов.

3. Расширение выборки по сравнению с традиционными формами, что позволяет снизить влияние культурно-специфичных факторов и дает возможность с большей уверенностью обобщать результаты исследования. Иногда проведение исследования в сети - единственный способ набрать необходимое количество испытуемых из целевой совокупности. Здесь проще найти специфическую группу испытуемых, труднодоступную в обычных условиях, в частности, - исследовать маргинальные социальные группы.

4. Легкость изменения методического инструментария на этапе его разработки и апробации.

5. Приближенность экспериментальной ситуации к условиям, в которых находится испытуемый, что обеспечивает большую экологическую валидность.

6. Снижение влияния экспериментатора.

7. Возможность предоставления индивидуальной обратной связи непосредственно после прохождения тестирования, что служит дополнительным фактором привлечения испытуемых.

8. Испытуемые в Интернете более откровенны, что снижает искажения данных под воздействием фактора социальной желательности. При опросах с использованием электронной почты выявлена меньшая потребность в одобрении, чем в традиционных исследованиях. При ответах на открытые вопросы по электронной почте испытуемые дают более подробную и развернутую информацию.

9. Появление дополнительных возможностей программного контроля за выполнением заданий. Эта позволяет решить проблему неполных ответов, их формата и последовательности выполнения заданий.

Однако подобные исследования сталкиваются с вышеуказанными проблемами, многие из которых связаны с такой характерной чертой Интернета как анонимность. В целях уточнения данных предлагается использовать следующие процедуры:

1. Одновременное проведение исследований традиционными способами и в сети Интернет с последующим сравнением их результатов.

2. Сравнение результатов, полученных в сети Интернет, с теоретическими представлениями и данными других исследований.

3. Неоднократное участие некоторых испытуемых в одном исследовании. Чтобы избежать повторных прохождений тестирования одними и теми же испытуемыми, применяется идентификация IP-адреса компьютера, на котором работает пользователь. Однако при неадекватном применении этой идентификации в исследовании не смогут принять участие другие пользователи того же самого компьютера. Поэтому в дополнение к идентификации IP-адреса часто организуется вход в тестирующую систему по паролям. И хотя ничто не ограничивает испытуемого пройти повторную регистрацию под другим именем с использованием другого пароля, эти меры существенно снижают вероятность повторных прохождений тестирования.

4. Влияние особенностей пользовательской аппаратно-программной базы (монитора, браузера) на восприятие стимульного материала. Учитывать это особенно необходимо в тех случаях, когда сама форма предъявления материала (цвет, яркость, конфигурация, время) играет важную роль при проведении исследования.

5. Отсутствие возможности у испытуемого при проведении исследования в Интернете задать экспериментатору вопрос о выполнении задания. Это может приводить к неверному пониманию заданий и, следовательно, искажению результатов. Поэтому инструкции должны быть наиболее полными и ясными; необходимо заранее информировать испытуемого о том, сколько времени займет у него участие в исследовании.

Проведенные исследования подтверждают возможность проведения эффективной психодиагностики (а также психологических исследований) в сети Интернет.

ОНЛАЙН-ТЕСТИРОВАНИЕ: оперативная диагностика в любой точке страны [17]

Ваша ситуация:

· Вы проводите подбор сотрудников в разных населенных пунктах страны;

· Вы хотите оперативно получать результаты тестирования с разных концов страны и самостоятельно принимать решения, находясь в центральном офисе;

· Вы не хотите приобретать дорогую диагностическую систему и размещать ее на своих информационных ресурсах.

В этом случае Вы можете воспользоваться Интернет-сервисом Лаборатории – ОНЛАЙН-ТЕСТИРОВАНИЕ.