Требования к оценочным средствам независимой оценки качества подготовки обучающихся с учетом этапности формирования общепрофессиональных компетенций, установленных ФГОС

 

ОПК в зависимости от своей сложности, этапности формирования и длительности могут быть разделены на несколько уровней сформированности. Уровни сформированности компетенций – это планируемые результаты обучения по каждой дисциплине (модулю) и практике – знания, умения, навыки и (или) опыт деятельности, характеризующие этапы формирования компетенций и обеспечивающие достижение планируемых результатов освоения образовательной программы. Обычно на практике выделяют три уровня: базовый (минимальный, пороговый), продвинутый (углубленный) и высокий[2].

Пороговый уровень предполагает, как правило, общее представление об изучаемом предмете, основных закономерностях функционирования объектов профессиональной деятельности, методов и алгоритмов решения практических задач.

Продвинутый уровень предполагает решение типовых задач, способность принятия профессиональных и управленческих решений по известным алгоритмам, правилам и методикам.

Высокий уровень предполагает готовность решать практические задачи повышенной сложности, нетиповые задачи, принимать профессиональные и управленческие решения в условиях неполной определенности, при недостаточном документальном, нормативном и методическом обеспечении.

Количество уровней компетенций и принципы их выделения в существующих в настоящее время образовательных программах могут различаться.

Принципами выделения уровней могут являться:

– сложный, «сквозной» характер компетенций, которые формируются у обучающегося на разных этапах освоения образовательной программы;

– направленности (профили) образовательных программ: одна и та же компетенция может быть сформирована на более высоком уровне у узкопрофильных специалистов.

– типы программы: академический или прикладной: практико-ориентированные профессиональные компетенции на более высоком уровне формируются в программах прикладного бакалавриата или магистратуры;

– конкретного вида профессиональной деятельности: обучающийся, осваивающий соответствующий вид деятельности как основной, достигает углубленного и (или) продвинутого уровня освоения компетенции; пороговый уровень освоения компетенции достигается обучающимся, осваивающим соответствующий вид профессиональной деятельности как дополнительный[3].

В основе технологии проведения НОКО лежит особенность формирования ОПК разными дисциплинами, поэтому их оценка должна быть связана с полидисциплинарным подходом.

Для оценки уровня освоения компетенций целесообразно применять многостадийные полидисциплинарные измерители, гарантирующие целенаправленность оценки компетенций, позволяющей прогнозировать успехи в дальнейшей профессиональной деятельности после окончания обучения с высокой объективностью.

Основные преимущества многостадийных измерений:

- стимулирование освоения содержательных стандартов всеми студентами;

- стимулирование преодоления пороговых баллов всеми студентами;

- проведение множественных высококачественных процедур оценки, повышающих достоверность решений при аттестации и принятии управленческих решений в образовании;

- возможность оценки прогресса учебных достижений студентов на протяжении определенного промежутка времени.

При многостадийных измерениях обеспечивается рост валидности выводов за счет:

- увеличения вероятности того, что оценки более полно и обоснованно представят измеряемый конструкт (охват большего объема содержания или признаков проявления компетенций, использование различных форм заданий);

- возможности получения многогранной оценки учебных достижений за счет использования заданий различных форм, в том числе и практико-ориентированных заданий для оценивания уровня освоения компетенций;

- использования оценочных рубрик для заданий с конструируемым ответом повышает валидность оценок в тех случаях, когда эти рубрики включают не только описание правильного и частично правильных ответов, но и учитывает структуру содержания ответа на задание и структурные связи компонентов измерителя.[4]

Оценочные средства для определения уровня сформированности компетенций представляют собой специально разработанные методические и контрольно-измерительные материалы, позволяющие объективно и корректно определять соответствие результатов и процесса учебно-профессиональной деятельности студентов, а также освоенных ими компетенций требованиям, установленным нормативными документами, образовательными и профессиональными стандартами[5].

Требования к оценочным средствам для проверки уровня сформированности компетенций:

1. Интегративность (междисциплинарный характер, связь теории и практики);

2. Проблемно-деятельностный характер;

3. Ориентация на применение умений и знаний в нетиповых ситуациях;

4. Актуализация содержания профессиональной деятельности в заданиях;

5. Экспертиза в профессиональном сообществе

6. Связь критериев с планируемыми результатами

Одними из наиболее применяемых оценочных средств высокой степени формализации являются стандартизированные тесты. Их использование имеет следующие преимущества перед другими видами оценочных средств:

- повышение полноты охвата содержания оцениваемого объекта (компетенции, дисциплины) путем варьирования числа заданий в тесте;

- повышение степени достоверности, уровня объективности и надежности результатов измерений;

- высокая достоверность статистической оценки трудности заданий;

- повышение эффективности контроля путем оптимизации трудности, валидности и других свойств тестовых заданий при создании теста;

- обеспечение высокой сопоставимости оценок за счет применения математических моделей и методов обработки результатов.

Перечисленные преимущества базируются на основных принципах формирования содержания теста:

- принципе репрезентативности, обеспечивающим оптимальную полноту и правильность пропорций содержания теста;

- принципе значимости, предписывающем включение в тест наиболее значимых элементов содержания;

-принципе системности, предполагает подбор упорядоченных содержательных элементов, отвечающих требованиям системности и связанных между собой определенной иерархией и общей структурой знаний.

Основные требования тестологии к оценочным средствам в тестовой форме:

- надежность – степень повторяемости или степень постоянства эмпирических измерений, то есть результатов тестирования. Надежность теста отражает точность и устойчивость результатов тестирования к воздействию посторонних случайных факторов. Тест называется надежным, если он дает одни и те же (или очень близкие) показатели для каждого испытуемого при повторном тестировании. Надежность теста оценивается математическими методами. Одной из характеристик надежности теста является коэффициент надежности, который для надежной интерпретации полученных результатов стремится к единице;

- валидность теста – это характеристика теста, которая показывает, в какой мере тест измеряет именно то качество, для измерения которого он создан. Чем выше валидность теста, тем более обосновано использование результатов тестирования для выводов и предсказаний. Для теста наиболее важными являются содержательная и критериальная валидности. Содержательная валидность определяет соответствие тестовых заданий содержанию нормативных документов (ФГОС, образовательной программе и др.). Она определяется путем экспертных оценок. Критериальная валидность характеризует степень уверенности, что первичный тестовый балл реально отражает достижение определенного уровня знаний или навыков. Она определяется статистическими методами после апробации теста в различных условиях. Количественной характеристикой валидности являются оценка для содержательной и степень сходства для критериальной валидности, которые для валидного теста не должны принимать значения меньше 0,8.

В тестологии существует множество статистических характеристик тестов и тестовых заданий, которые определяют их качество. Среди них основными и наиболее используемыми являются:

- критериальный балл – минимальное количество баллов, которое необходимо набрать испытуемому, для успешного прохождения теста;

- коэффициент решаемости заданий, который определяется долей студентов, верно выполнивших данное задание. Значение коэффициента решаемости для эффективного задания не должно быть менее 0,4;

- дифференцирующая способность – разность значений: коэффициента решаемости задания для сильной группы студентов и коэффициента решаемости задания для слабой группы студентов. Значение дифференцирующей способности для эффективного задания не должно быть менее 0,3;

- коэффициент точечно-биссериальной корреляции заданий связывает выполнение конкретного задания с выполнением всего теста. Для качественных заданий коэффициент точечно-биссериальный корреляции для правильного ответа 0,3 – 0,5, а для дистракторов превышает по модулю значения из интервала (-0,2) – (-0,1).