Критерии и показатели для изучения результатов исследования

Исследователю необходима информация о результатах работы. Сбор, обработка и анализ такой информации позволяют оценивать и корректировать дальнейшую работу, выявлять эффективные педагогические средства, влияние различных условий на исследуемый процесс. Очевидно, что результат деятельности связан с целью, т. к. цель – это представление об ожидаемом результате. Результат в научном педагогическом исследовании измеряется в разных аспектах, по крайней мере в двух: с точки зрения выявления зависимостей и с точки зрения развития исследуемого явления, причём первый результат невозможно определить без изучения второго. Поэтому более подробно остановимся на втором аспекте изучения результатов исследования. 

«Любая осуществленная, завершенная деятельность непременно имеет некоторые видимые и невидимые, заметные и незаметные самому деятелю и другим последствия, которые и есть ее результат (или результаты). И это уже результат реальный, полученный, достигнутый вследствие осуществленной деятельности…»^[84]. 

Е. В. Титова предлагает различать следующие результаты:

− по времени фиксирования: итоговые, промежуточные, текущие;

− по факту преднамеренности: планируемые и стихийно полученные (незапланированные);

− по отношению к целям: «целесообразные» и «не целесообразные» (т. е. соответствующие поставленным целям и задачам и не соответствующие им – полностью или частично);

− по зависимости от субъекта: непосредственные и опосредованные, прямые и косвенные;

− по качеству: позитивные и негативные;

− по степени значимости: значимые и незначимые^[85]. 

При изучении результатов педагогической деятельности возникают сложности и проблемы, которые необходимо учитывать исследователю. 

1. Выбор, обоснование критериев и показателей оценки результатов педагогической деятельности. 

2. Рассмотрение многомерности результата, так как развитие одного явления связано с другим. 

3. Учёт разноуровневости результатов, т. е. важно оценивать не только итоговые результаты, но промежуточные и текущие, чтобы регулировать своевременно педагогический процесс, а это требует, вероятно, разработки дополнительных критериев. 

4. Отбор, разработка валидной методики оценки критериев и показателей. 

Исходя из указанных проблем, более подробно остановимся на разработке критериев и показателей определения результатов и методиках их измеряющих. 

Критерий – это признак, на основе которого производится оценка. Критерии конкретизируются показателями, которые можно «замерить» с помощью методик. Отметим, что трудно провести чёткую грань между критериями и показателями. Так, например, уровень развития самоуправления можно рассматривать как критерий развития коллектива и как показатель результата воспитательной работы педагогов. В этом случае следует иметь в виду, в какой системе исследуется явление. 

Требования, которые предъявляются к критериям и показателям:

− теоретическая обоснованность, т. е. критерии и показатели разрабатываются на основе имеющихся теоретических положений, раскрывающих как суть замеряемого явления, так и сам процесс разработки;

− объективность, которая достигается использованием различных источников информации при обосновании критериев и показателей и предполагает учет мнения различных специалистов в данной области знаний;

− конкретность, что означает соответствие критериев и показателей природе исследуемого явления, отражение в них специфических свойств и характеристик;

− замеряемость, т. е. возможность под выявленные показатели подобрать или разработать соответствующие методики, позволяющие фиксировать уровень развития исследуемого явления, результаты исследования. 

При изучении результатов исследования, на наш взгляд, целесообразно иметь в виду различные подходы по определению критериев и показателей. 

Условно можно выделить общие, специфичные и частные критерии и показатели. Например, существуют общие критерии и показатели развития воспитательной системы, пригодные для любого учреждения, разработанные В. А. Караковским. В то же время необходима конкретизация, уточнение, дополнение критериев и показателей развития воспитательной системы детских домов или учреждений дополнительного образования. В результате появятся специфичные критерии и показатели. В конкретном детском доме будут дополнены общие и специфичные критерии и показатели частными, отражающими особенности состава воспитанников, актуальные проблемы, которые решаются в конкретном учреждении. 

Справедливо рассмотрение В. А. Караковским критериев факта и критериев качества при изучении развития воспитательной системы, что переносимо, на наш взгляд, на любой исследуемый процесс. Так, например, повышение познавательной активности детей будет проявляться в развитии мотивации, интереса (критерий качества), а также в улучшении успеваемости (критерий факта). 

При изучении результатов исследования можно замерять непосредственные и опосредованные критерии и показатели. Например, при проведении исследования по теме «Взаимодействие детей разного возраста в игре как фактор их социального развития» автор замерял непосредственно взаимодействие детей в игре. Но развитие взаимодействия отражается на социальном развитии детей, поэтому исследователь определял и динамику их социального развития. 

В ряде случаев следует замерять не только прямые, но и косвенные результаты исследовательской деятельности и, соответственно, определять прямые и косвенные критерии и показатели. Прямые показатели замеряют развитие исследуемого явления, а косвенные связаны с развитием всей системы и подтверждают результативность проведенной работы. Изучение эффективности предпрофильной подготовки (прямые критерии) целесообразно подкрепить изучением динамики развития воспитательной системы или результатами обучения учащихся (косвенные критерии результатов исследования). 

Мы предлагаем также различать результативные и процессуальные критерии, которые важно определять при проведении ряда исследований, т. к. результаты исследования определяются не только динамикой исследуемого явления, но и тем, как реализуются те или иные принципы, технологии, методики для развития явления и процесса. Например, по теме «Развитие аналитических умений учащихся в процессе проектной деятельности» исследователь определяет критерии и показатели развития аналитических умений и показатели грамотного использования проектной деятельности (реализация требований, технологии проектирования). 

Таким образом, при изучении результатов исследовательской деятельности важно иметь в виду самые разные аспекты критериев и показателей. Их выбор зависит от специфики исследуемого процесса. В то же время успешность психологопедагогического исследования подтверждается не только положительной динамикой исследуемого явления или процесса, но и в целом развитием образовательного процесса в учреждении. Поэтому важно отслеживать развитие косвенных критериев и показателей. 

Как справедливо отмечает В. И. Загвязинский и Р. Атаханов, в зависимости от содержания работы образовательного учреждения или их системы приоритет может быть отдан разным критериям, но при этом важно учитывать пять критериев: образовательный, социологический, индивидуально-личностного развития, воспитанности, здоровья и психического комфорта.

Далее авторы раскрывают примерное содержание этих основных компонентов, называя их комплексными^[86]. 

Определяя комплексные критерии и показатели успешности исследования следует учитывать, что они связаны с профилем образовательного учреждения. Наиболее общим подходом для определения качества образования, воспитания, обучения является степень достижения поставленных целей, адекватных современным требованиям. Все данные берутся в динамике за определенный период. 

Результаты исследования могут быть признаны успешными, если по критериям исследуемого явления и критериям развития образовательного учреждения достигнуты положительные результаты или получены положительные сдвиги по отдельным критериям при условии, что нет ухудшения по другим. Если по какому-либо критерию допущено ухудшение, то общие результаты не могут удовлетворять исследователя. Возникает вопрос о коррекции, замене используемых средств или приостановлении преобразований до выяснения причин ухудшения показателей^[87]. 

Приступая к определению или разработке критериев и показателей, следует иметь в виду следующее:

- универсальных критериев для изучения развития даже хорошо известного процесса не существует, каждый исследователь обосновывает свой вариант, исходя из задач исследования и условий, в которых проводится исследование;

- критерии и показатели развития явления могут корректироваться по ходу исследования, по мере развития явления или в связи с изменением условий проведения исследования;

- процесс разработки критериев и показателей достаточно длительный и сложный, требующий участия специалистов; полезно привлечение к этой деятельности всех участников исследования, что также формирует их отношение, активную позицию к исследованию, стимулирует самооценку. 

Процесс разработки критериев и показателей для изучения результатов исследования можно условно представить следующими этапами:

1) изучение литературы и других источников с целью определения сущности, структуры, особенностей развития исследуемого явления;

2) выявление компонентного состава исследуемого явления, определение его основных характеристик;

3) определение подходов к разработке критериев и показателей с учётом выявленных основных характеристик;

4) выявление критериев и показателей развития исследуемого явления;

5) разработка (обсуждение) критериев и показателей в творческих группах участников исследования (возможный этап);

6) составление первого варианта критериев и показателей;

7) экспертная оценка специалистами предложенного варианта критериев и показателей;

8) уточнение, корректировка критериев и показателей;

9) обработка полученных данных с целью установления корреляционной зависимости между критериями и показателями исследуемого явления;

10) оформление окончательного варианта критериев и показателей для изучения результатов исследуемого явления;

11) составление методики для замера уровня развития явления. 

Как уже отмечалось, кроме прямых критериев и показателей, необходимо иметь в виду комплексные (косвенные), которые подтверждают результативность исследования. В приведенном выше примере это может быть в целом рост подготовленности студентов к педагогической деятельности. 

Подчеркнем, что прежде чем разрабатывать собственный вариант критериев и показателей для определения результатов исследования, следует изучить тщательно литературу, т. к. существует множество методик, замеряющих развитие разных психолого-педагогических явлений. В частности имеются конкретные методики, замеряющие уровень развития самоуправления в коллективе (М. И. Рожков), взаимодействие участников образовательного процесса (Л. В. Байбородова) и т. д. 

В завершении следует обратить внимание исследователей на следующее:

− если критерии и показатели разработаны и научно обоснованы автором впервые, то это является научной новизной исследования;

− если дополнены отдельные критерии или показатели к уже ранее разработанным для оценки исследуемого явления, то это можно отнести к теоретической значимости исследования;

− методики, разработанные или отобранные автором, составляют важную сторону практической значимости исследования. 

Материал для выполнения практических заданий ^[88]

Для того чтобы объективно судить о качестве подготовки будущих учителей к воспитательной деятельности в условиях села, необходимо разработать систему критериев и показателей подготовленности студента к реализации воспитательных функций с учетом специфических особенностей сельской малочисленной школы. 

Поскольку подготовленность характеризуется как совокупность сформированных знаний, профессиональных умений и навыков, позволяющих реализовывать полученные знания в практической работе, личностных качеств, необходимых для успешного выполнения задач воспитания, то в качестве показателей должны рассматриваться знания, умения и личностные характеристики, которыми должен обладать педагог. 

Первым шагом в разработке системы показателей стало изучение и анализ существующих в педагогических исследованиях точек зрения на содержание профессиограммы педагога данной квалификации, что позволило выявить основные группы знаний, умений и личностных характеристик. 

На основе анализа изученных подходов был составлен перечень профессиональных характеристик (знаний, умений, качеств), которые могут оказывать значительное влияние на успех воспитательной деятельности педагога в сельской школе. Выборка составлялась на основе психолого-педагогической литературы по проблеме подготовки студентов к организации воспитательной работы (в том числе и в СМШ), общепедагогической профессиограммы (Л. Ф. Спирин). 

Для определения наиболее значимых показателей подготовленности был использован метод экспертных оценок и изучено мнение по данной проблеме лиц, связанных с подготовкой и деятельностью сельского учителя. 

Опрос проводился с помощью анкет, построенных на основе шкалирования и ранжирования. В качестве респондентов были выбраны учителя сельских школ и сельских малочисленных школ, преподаватели педагогического университета.