Оценка. Критерии оценки

14.1. Критерии оценки:

14.1.1. Определение. Выполненные конкурсные задания оцениваются в соответствии с регламентами начисления баллов, принятыми в Союзе на основании требований к компетенции, определяемых Техническим описанием. Все баллы и оценки регистрируются в Автоматизированной системе подведения итогов (CIS).

14.1.2. Аспекты субкритериев. Каждый критерий подразделяется на один или несколько Субкритериев. Каждый Субкритерий подразделяется на несколько Аспектов субкритерия, за которые начисляются баллы. Аспекты оценки могут быть либо субъективными, либо объективными.

14.1.3. Количество аспектов.

- Количество Аспектов оценки должно составлять от 50 до 300 шт. Оптимальное количество составляет в пределах от 75 до 200 аспектов.

- Если число Аспектов по какой-либо специальности превышает 300, то Дирекция должна подтвердить Техническому директору Союза, что Жюри сможет без спешки завершить процесс оценки в пределах отведенного времени.

14.1.4. Максимальная объективность оценки. Эксперты должны стремиться к тому, чтобы максимально повысить объективность оценки.

14.1.5. Обоснование и система начисления баллов. Конкурсные задания оценивают только навыки и знания, указанные в Техническом описании. В пределах каждой компетенции Эксперты оценивают выполненные конкурсные задания в соответствии с согласованными с Международным экспертом или Менеджером компетенции Критериями оценки.

14.2. Оценка субъективных показателей:

14.2.1 Регламент использования веерных табличек.

Оценка каждого Аспекта при субъективной оценке выполняется пятью Экспертами. Каждый Эксперт начисляет баллы от 1 до 10, которые указываются на табличках. Таблички следует использовать следующим образом: Экспертам необходимо выбрать нужную табличку с оценкой самостоятельно, после чего все Эксперты одновременно поднимают и показывают таблички по команде лидера группы (эксперт ответственный за работу группы при субъективной оценке).

При субъективной оценке по 10-ти бальной шкале применяются следующие принципы начисления баллов:

1-4: ниже промышленного стандарта до среднего уровня;

5-8: на среднем уровне или выше промышленного стандарта;

9-10: блестящая или выдающаяся работа.

Для записи окончательных баллов используется распечатанная из CIS рукописная оценочная ведомость (оригинал). После заполнения рукописных оценочных ведомостей, проставленные оценки вносятся в CIS. После внесения оценок в CIS, Эксперт, ответственный за внесение, должен распечатать заполненные оценочные листы по каждому участнику и передать их Эксперту-компатриоту на проверку и сравнение с рукописными заполненными формами. После проверки, Эксперт-компатриот ставит подпись на всех листах обоих вариантов бланков оценки и передает их Главному эксперту. Бумажные формы оценочных ведомостей Главный эксперт после подписания Экспертом-компатриотом передает в Оргкомитет. Оргкомитет хранит указанные бумажные формы в течение как минимум 2 недель после завершения Чемпионата как контрольный документ.

14.2.2. Расчет присужденного балла.

Каждый Эксперт начисляет балл от 1 до 10 за каждый Аспект Субкритерия. Эти баллы не могут различаться больше, чем на 3. После выполнения этого требования, баллы вносятся в CIS, а CIS удаляет самый высокий балл (или один из них, если их несколько) и самый низкий балл (или один из них, если их несколько) из начисленных. Средний из трех оставшихся баллов делится на 10 и умножается на максимальный балл по данному Аспекту, чтобы получить балл, который будет выставлен конкурсанту в конечном итоге.

Если конкурсант не выполнял какой-либо Аспект Субкритерия, то он получает от Экспертов ноль баллов. Такой результат вносится в CIS путем пометки «попытка отсутствует» («Non-attempt»).

14.2.3. Использование оценочных ведомостей

По каждому критерию Технического описания Жюри описывает и вносит в Ведомость оценки субъективных показателей подробности Субкритерия и Аспекты Субкритерия, по которым выставляется оценка, вместе с максимальным баллом за каждый Аспект Субкритерия. Для регистрации начисленных баллов используется соответствующая Ведомость оценки субъективных показателей.

Когда используются коллективные оценочные ведомости, содержащие несколько имен конкурсантов, то создается также мастер-форма, в которую заносятся все баллы из каждой индивидуальной Экспертной формы, для внесения данных в CIS. Такая форма затем хранится как контрольный документ.

14.3. Оценка объективных показателей

14.3.1. Процесс. Оценка каждого Субкритерия и его Аспектов выполняется тремя Экспертами.

14.3.2. Использование форм.

Для каждого Критерия Технического описания Жюри описывает и вносит в Формы оценки объективных показателей описание Субкритерия и Аспекты оцениваемого Субкритерия вместе с максимальным баллом по каждому Аспекту. Для регистрации начисленных баллов используется соответствующая Форма оценки объективных показателей.

Когда используются коллективные оценочные ведомости, содержащие несколько имен конкурсантов, то создается также мастер-форма, в которую заносятся все баллы из каждой индивидуальной Экспертной формы, для внесения данных в CIS. Такая форма затем хранится как контрольный документ.

14.4. Процесс оценки

14.4.1. Начало Чемпионата. До того, как Система информационной поддержки Чемпионата будет готова к началу Чемпионата, Главный эксперт должен известить специалистов CIS о том, что все подготовительные задачи завершены и критерии выбраны.

14.4.2 Оценка субъективных показателей происходит до оценки объективных показателей.

Когда оцениваются как субъективные, так и объективные показатели, субъективная оценка выставляется первой. Оценки, вносимые от руки в ведомости, вносятся туда чернилами.

14.4.3. Группы оценки.

Эксперты из Жюри организуются таким образом, что объективную оценку каждого Аспекта Субкритерия производят по 3 Эксперта, а субъективную – по 5 Экспертов. Каждая группа оценки должна оценивать одни и те же аспекты Субкритерия по каждому конкурсанту для обеспечения стандартизации оценки. Для равенства оценки каждая группа должна по возможности оценивать одно и то же количество оценок.

14.4.4. Эксперты-компатриоты и оценка Конкурсантов.

Эксперты-компатриоты не оценивают Конкурсантов, с которыми они аккредитованы. В случае участия Эксперта-компатриота Конкурсанта в оценке используются следующие сценарии:

- к группе Экспертов при оценке присоединяется дополнительный Эксперт, который выставляет оценку вместо Эксперта-компатриота;

- в случае оценки объективных показателей (где группу оценки составляют три Эксперта), оценка Эксперта-компатриота исключается из решения о присуждаемом балле;

- в случае оценки объективных показателей (где группу оценки составляют пять Экспертов), вместо оценки Эксперта-компатриота конкурсанту начисляется средний балл из оценок других четырех Экспертов;

- 100% членов Жюри дают свое согласие на оценку Экспертами Конкурсантов из своего региона.

Любой из приведенных выше сценариев или дополнительный сценарий, разработанный Экспертами, необходимо оформить отдельным протоколом.

14.4.5. Запрет на выставление оценки в присутствии конкурсанта. Оценка не выставляется в присутствии Конкурсанта, кроме тех случаев, когда в Техническом описании указано иное.

14.4.6. Ежедневная оценка.

День оценки по каждому из критериев указывается в CIS. Результаты оценки, оцениваемым в какой-либо определенный день, вносятся в CIS, утверждаются и заверяются Главным экспертов до 12:00 следующего дня. Форма утверждения для CIS должна быть получена до 20:00 этого дня. Утвержденные результаты должны быть получены специалистами CIS до 20:00 последнего дня конкурсной части Чемпионата.

Все индивидуальные ведомости Экспертов должны быть подписаны всеми членами оценочной группы.

14.4.7. Проверка и сдача ведомостей оценки.

Баллы и/или оценки переносятся из рукописных оценочных ведомостей в CIS по мере осуществления процедуры оценки.

После выставления оценок и/или баллов во все оценочные ведомости за какой-либо день (или же всех оценок/баллов за весь конкурс по специальностям, для которых отсутствуют определенные оценочные дни), запись о выставленных оценках в CIS блокируется.

После блокировки записи об оценках в CIS, все оценочные ведомости, включая Итоговую оценочную ведомость, за определенный день распечатываются и складываются в «Пакет оценки компетенций». Доступ к этому Пакету имеет только Главный эксперт, Эксперт с особыми полномочиями, ответственный за внесение оценок в CIS, а также администратор CIS.

Главный эксперт дает на проверку Экспертам-компатриотам итоговые оценочные ведомости (распечатанных с системы CIS) их Конкурсантов для сравнения с рукописными ведомостями. Любые возникшие вопросы Эксперты могут обсудить с Главным экспертом, группой, оценивавшей Конкурсанта и Экспертом, ответственным за внесение оценок в CIS. В случае обнаружения несоответствий рукописных данных с электронными записями, Эксперт, ответственный за внесение оценок в CIS, должен внести в электронные формы соответствующие правки.

Если обнаружена некорректная оценка или ошибка в рукописной форме, каждый Эксперт из оценочной группы по данному аспекту должен заверить форму подписью рядом с внесенным исправлением (каждое исправление должно быть заверено всеми экспертами оценочной группы), обозначив тем самым свое согласие с внесением данного исправления. После внесения изменений в рукописную форму, Эксперт, ответственный за внесение оценок в CIS, должен внести правильные оценки в электронную форму.

После внесения всех исправлений, Эксперты-компатриоты должны вновь сверить рукописные и распечатанные из CIS ведомости оценки и подписать их только в случае полного соответствия форм.

Главный эксперт подписывает итоговую оценочную ведомость, содержащую результаты по всем Конкурсантам и передает ее в офис CIS. Главный эксперт обязан обеспечить конфиденциальность информации по полученным результатам до окончания Церемонии награждения. Никто не имеет права требовать от Главного эксперта разглашения информации по любому из Конкурсантов. После завершения Церемонии награждения Главный эксперт должен сообщить результаты Конкурсантов персонально каждому Конкурсанту и его Эксперту-компатриоту.

По окончании данной процедуры дальнейшие или новые возражения по утвержденным оценкам не принимаются.

Завершение начисления баллов.

Оценку конкурсных заданий и внесение баллов в CIS необходимо завершить к 22:00 последнего дня Чемпионата.

Окончание Чемпионата.

Жюри не освобождается от своих обязанностей по оценке до тех пор, пока Оргкомитет Чемпионата не передаст «Пакет оценки компетенции» и другой оценочный материал специалистам CIS, и не получит от них подписанное подтверждение выполнения необходимых задач.

14.5. Публикация результатов.

Участникам предоставляются официальные результаты по каждой компетенции, с указанием всех конкурсантов, набранных ими баллов, полученных медалей и нагрудных знаков; эти результаты размещаются на официальном сайте Чемпионата.