Технология создания и адаптации методик

Нередко реальная ситуация использования теста включает в себя требования его доработки. Рассмотрим основные варианты таких ситуаций.

· Ситуация применения. Тест кем-то разработан (возможно, в других социокультурных условиях), известны тестовые нормы

 

· Ситуация адаптации. Тест кем-то разработан – проверены надежность и валидность, но отсутствуют тестовые нормы. Задача адаптации – построение тестовых норм.

 

· Ситуация конструирования. Есть концепция психического свойства, но нет «подходящей» процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениям прочих ресурсов. Надо «придумать» измерительную процедуру, проверить ее надежность, валидность, построить тестовые нормы.

Рассмотрим случай адаптации «переводного» теста. Укажем необходимые этапы эмпирико-статистической работы при адаптации многомерного переводного теста-опросника.

- Анализ внутренней валидности, внутренней согласованности пунктов, из которых состоит тест-опросник.

 

- Проверка устойчивости к перетестированию.

 

- Анализ корреляций с релевантным внешним критерием.

 

- Проверка или рестандартизация тестовых норм.

 

- Проверка воспроизводимости структуры отношений между шкалами.

Особые задачи ставят перед психологом ситуации «внутрикультурного переноса» тест а на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально – культурными особенностями. В этом случае необходимо:

ü проверить валидность методики, если методика чувствительна по своему содержанию к профессиональным или региональной специфике. Если результаты проверки валидности оказываются неудовлетворительными, то по собранным результатам следует провести простейший «анализ пунктов» – посмотреть не оказались ли некоторые пункты явно неинформативными, не оказались ли некоторые вопросы явно бессмысленными или слишком «прямыми», социально значимыми в данной ситуации;

ü проверка соответствия тестовых норм.

Измерительные методы (тесты) должны удовлетворять следующим требованиям:

· должны быть однозначно сформулированы цели, предмет и область применения методики;

· процедура проведения должна быть задана в виде однозначного алгоритма;

· процедура обработки должна включать статистически обоснованные методы подсчета и стандартизации тестового балла;

· тестовые шкалы должны быть проверены на репрезентативность, надежность и валидность в заданной области применения;

· процедуры, основанные на самоотчете, должны быть снабжены средствами контроля за достоверностью, позволяющими автоматически отсеивать недостоверные протоколы;

· головная методическая организация определенного ведомства (области применения) должна вести банк данных, собранных по тесту, и производить периодическую коррекцию всех стандартов методики.

Экспертные методы:

· инструкции к проведению должны пройти специальные испытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (текстов, рисунков, звуко или видеозаписей и т. п.);

· процедура обработки результатов должна включать в себя такое документирование промежуточных этапов обработки, которое позволило бы перепроверить конечный результат другому эксперту;

· пользователи-разработчики должны иметь возможность воспроизвести нормативное исследование по измерению экспертной согласованности на эталонном наборе данных;

· головная организация должна вести банк данных, обеспечивая подготовку пользователей и переподготовку (в соответствий с; пересмотренными стандартами методики).

Любая методика, не удовлетворяющая перечисленным выше требованиям, не может считаться профессиональной психодиагностической методикой.

Требования к психометрической подготовке психолога

Требования к психологу:

- психолог должен уметь квалифицированно разбираться с психометрической документацией в методической литературе по психодиагностике, должен знать, какие психометрические характеристики теста должны указать его разработчики, в какой степени эти психометрические характеристики соответствуют типу теста, с одной стороны, и актуальной задаче, для которой его требуется использовать, с другой стороны. Например, в тех случаях, когда требуется использовать тест для прогноза со значительным упреждением, а сведений о проверке прогностической валидности не получено, тест не может считаться готовым для решения данной задачи;

 

- психолог должен правильно определить, в какой мере известные тестовые нормы по требующейся методике применимы в его ситуации с учетом контингента испытуемых и типа диагностической ситуации, в какой мере имеет место ситуация «внутрикультурного переноса». При необходимости психолог должен уметь самостоятельно практически произвести рестандартизацию, построив и проанализировав распределение тестовых баллов;

 

- психолог должен уметь самостоятельно собрать данные, провести корреляционную обработку и измерить эмпирическую валидность – эффективность методики по отношению к заданному критерию. При необходимости психолог должен уметь самостоятельно конкретизировать операциональные индикаторы критериальной информации;

 

- психолог должен уметь самостоятельно определять появление слишком высокой погрешности в результатах, утрату методикой необходимого уровня надежности, при этом проверять свою гипотезу статистически;

 

- психолог обязан вести двойную документацию: все копии протоколов он должен быть готов передать в головную методическую организацию (научно-академическую или отраслевую) для пополнения «общего банка данных и совершенствования психометрических характеристик методики. Все модификации, вносимые в методику (формулировку инструкции, отдельных вопросов, последовательность предъявления), психолог должен согласовывать с головной методической организацией, так как самодеятельное введение на местах разнообразных частных модификаций влечет за собой утрату психометрической чистоты получаемых результатов, не ускоряет, а замедляет создание модификаций, адаптированных к специфическим условиям и обладающих необходимыми психометрическими свойствами. Тщательное соблюдение заданных методических стандартов – необходимый атрибут психометрической культуры психолога;

 

- психолог должен уметь самостоятельно выявлять и измерять уровень мотивационных искажений, обусловливающих фальсификацию испытуемыми тестовых данных, должен уметь корректно отсеивать недостоверные протоколы, статистически фиксировать достижение приемлемого уровня достоверности для массовых результатов в групповой психодиагностике;

 

- психолог должен овладевать приемами сложного количественного подсчета косвенных тестовых показателей, а также интегральных показателей, требующих агрегирования многообразной числовой информации. Он должен уметь поставить задачу программисту (или психологу-психометристу) для автоматизации подсчетов на ЭВМ.

Требования к психологу-психометристу:

Ø уметь самостоятельно планировать и осуществлять все этапы по психометрическому конструированию или адаптации психодиагностических методик: проверку надежности и валидности на уровне отдельных пунктов теста, отсев ненадежных и невалидных пунктов, построение и анализ распределения тестовых баллов, построение математического уравнения для прогнозирования или «решающего правила» для распознавания;

 

Ø уметь организовывать хранение и обработку психодиагностических данных на ЭВМ, владеть навыками работы с ЭВМ в режиме диалога в рамках стандартных операционных систем, интерпретаторов или компиляторов для языков высокого уровня, знать структуру используемых в психодиагностике баз данных и уметь управлять базами данных;

 

Ø уметь организовать работу психологов-психодиагностов по ведению документации к используемым методикам, по соблюдению методических стандартов, по сведению и интеграции результатов в общие банки психодиагностической информации;

 

Ø уметь вести картотеку методик в рамках заданной области (отраслевой психологической службы), тщательно иерархизируя методики по уровню психометрической обеспеченности, вести библиотеку методических материалов и методических рекомендаций к использованию стандартизованных методик.

Требования к пользователям-психологам:

1. должен знать и применять на практике общие, теоретико-методологические принципы психодиагностики, владеть основами дифференциальной психометрики, должен следить за текущей методической литературой по психодиагностике;

2. отвечает за решения, принимаемые на основе тестирования, обеспечивая их соответствие репрезентативности и прогностической валидности методики;

3. пользуется преимущественным правом на использование протоколов в соответствии с профессионально-этическими принципами и интересами психологии. Психолог обеспечивает необходимый уровень надежности диагноза, применяя параллельные стандартизованные и нестандартизованные методики, а также метод независимых экспертных оценок;

4. в подборе методик психолог исходит из требований максимальной эффективности диагностики – максимум надежности при минимуме затрат;

5. ведет научно-методическую работу, анализируя по собранным данным эффективность применения методики в заданной области;

6. обеспечивает тщательное соблюдение всех требований для проведения стандартных методик обследования;

7. обеспечивает конфиденциальность психодиагностической информации, полученной от испытуемого на основе «личного доверия».

8. Отдельные методики могут использовать специалисты в смежных с психологией областях: учителя, врачи, социологи, инженеры, экономисты и пр. Специалистам-смежникам необходимо:

9. предварительно проконсультироваться с психологами, работающими в данной практической отрасли;

10. если психологи предупреждают пользователя о том, что правильное использование методики требует общих знаний о психодиагностике или специальной подготовки (по овладению методикой), то пользователь обязан либо выбрать другую методику, либо пройти соответствующую подготовку;

11. пользователь, получающий доступ к методикам, содержащим профессиональные секреты, автоматически берет на себя обязательство по соблюдению всех требований профессиональной тайны;

12. пользователь следует всем этическим нормативам в проведении обследования по отношению к испытуемому и любым третьим лицам;

13. методики, не обеспеченные однозначной стандартной инструкцией, необходимыми показателями надежности и валидности, требующие параллельного использования высокопрофессиональных экспертных методов, не могут использоваться специалистами, которые психологами не являются;

14. любой пользователь методик (тестов) содействует психологам в соблюдении процедурных и этических нормативов, предпринимает меры для предотвращения некорректного использования методик.