Принципы и механизмы обеспечения объективности НОКО. Принципы оценки образовательной деятельности образовательной организации на основании полученных результатов

Используемые в рамках НОКО оценочные средства, технологии и механизмы должны обеспечивать объективность проведения процедуры оценивания качества подготовки обучающихся и результатов оценки.

Для обеспечения соблюдения данного требования в ходе проведения НОКО используются единые банки ФОС, разработанные преподавателями ведущих вузов, прошедшие процедуру сертификации и соответствующие Необходимо соответствие ФОС принципам объективности, валидности, надежности и др.

Предотвращение утечки информации о содержании ПИМ обеспечивается соблюдением разработчиками ПИМ договора о неразглашении информации, а также хранением ФОС на серверах в защищенном режиме. Обучающиеся получают доступ к материалам для независимого оценивания только в момент проведения сеанса тестирования.

Процедуры контроля и оценки качества знаний проводятся в электронной форме через онлайн-тестирование посредством сети Интернет. Разрабатываемая технология наиболее эффективна при проведении экзамена непосредственно на территории ОО – участников НОКО. В соответствии с предлагаемой технологией экзамен проводится с применением технологии прокторинга, позволяющей идентифицировать личность тестируемого и исключить нарушение экзаменуемыми правил поведения во время проведения процедур контроля.

Основные форматы проведения прокторинга:

— очный прокторинг («живой» прокторинг), который проводится в центре тестирования; при этом за тестируемым через монитор наблюдает живой человек (проктор), контролируя поведение на экзамене, а выполненные задания оцениваются отдельно;

— онлайн-прокторинг, предполагающий дистанционное тестирование с использованием интернета.

При проведении онлайн-экзамена используются следующие типовые режимы:

— синхронный прокторинг (система «проктор – человек»), когда проктор непосредственно во время экзамена следит за студентом;

— асинхронный прокторинг (система «проктор – компьютер»), при котором действия тестируемого фиксируется программным обеспечением (запись веб-камеры и рабочего стола), анализ записи прокторы производят позднее;

— автоматический прокторинг (система «человек и компьютер»), когда анализ изображений и принятие решения о нарушениях принимается не человеком-проктором, а специализированным алгоритмом или системой.

НОКО проводится с использованием прокторинга в смешанном режиме (сочетание синхронного и асинхронного прокторинга), позволяющего контролировать процесс проведения экзамена в онлайн-режиме через передачу видеоинформации о процессе тестирования. При этом обеспечивается получение достоверной и полной информации о процедуре проведения контрольных акций с верификацией личности тестируемого. Наблюдение за тестируемыми проводится дистанционно, для чего аудитории для проведения экзамена обеспечиваются видеокамерами и компьютерным оборудованием, отвечающими предъявляемым техническим требованиям. Видеотрансляция ведется непрерывно с момента начала экзаменационного сеанса до его окончания, в том числе на портале, и, кроме того, сохраняется в архиве. В течение экзаменационного сеанса прокторы ведут непосредственное наблюдение, а после окончания экзаменационного сеанса получают доступ к архивным записям.

Надежность и объективность процедуры обеспечиваются также случайной рассадкой обучающихся по местам в аудиториях; прохождением тестирования по индивидуальному набору заданий сертифицированного банка; восстановлением сеанса тестирования с сохраненными ответами и оставшимся временем в случае технического сбоя; отказоустойчивостью как на аппаратном, так и на программном уровне, в том числе при помощи репликации данных между основным и резервным серверами.

Проверка результатов НОКО проводится на основании единой модели оценивания, не только обеспечивающей объективность и прозрачность процедуры, но и позволяющей сравнивать индивидуальный уровень знания каждого обучающегося с требованиями ФГОС и результатами других обучающихся.

Разработка ФОС исключительно для автоматической проверки с помощью компьютера устраняет риски влияния субъективного фактора на результаты оценивания, имеющие место при ручной проверке правильности решения заданий. Кроме того, автоматизированная проверка результатов экзамена гарантирует экономию времени при проведении массовой оценки результатов обучения, широкий охват тестируемых в сочетании с индивидуальностью проведения процедуры контроля.

После окончания экзамена результаты автоматически выводятся на экран компьютера и размещаются в личных кабинетах обучающихся. По итогам процедуры НОКО образовательным организациям предоставляется доступ к рейтинг-листам обучающихся, а также для каждой ОО – участницы НОКО может быть сформирован развернутый отчет в форме педагогического анализа результатов, в котором рассмотрены количественные и качественные показатели участия в интернет-тестировании. Полученный ОО педагогический анализ может быть использован для принятия организационных и управленческих решений с целью повышения качества образования. При ежегодном участии в НОКО ОО получит возможность использовать результаты экзамена для проведения мониторинга качества подготовки обучающихся. Кроме того, по итогам успешного участия в НОКО ОО может получить сертификат качества, подтверждающий соответствие уровня обучения студентов требованиям ФГОС.

Таким образом, разрабатываемая система проведения НОКО должна обеспечить объективность и достоверность процедуры в условиях массового контроля при дистанционном оценивании уровня подготовки обучающихся в соответствии с требованиями ФГОС ВО и предполагает проведение тестирования в любой точке доступа к сети Интернет, использование единого сертифицированного банка ПИМ, широкий охват тестируемых в сочетании с индивидуальностью проведения процедуры контроля, реализацию единого подхода к оценке результатов, экономию времени при проведении массовой оценки результатов обучения, оперативность статистической обработки информации, доступность и прозрачность информации о результатах.