Система функциональных показателей, оцениваемых при сертификации

Согласно введенному определению качества функционирования АИС основными свойствами, определяющими качество, являются:

· адекватность функционирования АИС;

· наличие технических возможностей АИС к взаимодействию, совершенствованию и развитию;

· надежность и своевременность представления информации и выполнения функциональных технологических операций;

· полнота, безошибочность, актуальность и конфиденциальность представляемой информации.

Основой для формирования функциональных показателей, оцениваемых при сертификации, является анализ свойств создаваемой АИС с учетом технологических возможностей разработчика.

Очевидно, что для оценки адекватности функционирования, наличия технических возможностей АИС к взаимодействию, совершенствованию и развитию, надежности и своевременности представления информации необходимо использовать наработанный потенциал международных и отечественных стандартов в области оценки качества ПО и надежности функционирования АИС, а также в области систем качества. Основным здесь является утвержденный в 1991 г. международный стандарт ISO/IEC 9126 «Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению». При отборе минимума стандартизируемых показателей выдвигались и учитывались следующие принципы: ясность и измеряемость значений, отсутствие перекрытия между используемыми показателями, соответствие установившимся понятиям и терминологии, возможность последующего уточнения и детализации. Выделены характеристики, которые позволяют оценивать программные средства (ПС) с позиции пользователя, разработчика и управляющего проектом.

Рекомендуется шесть основных характеристик качества ПС, каждая из которых детализируется несколькими (всего 21) субхарактеристиками. Функциональная пригодность детализируется пригодностью для применения, точностью, защищенностью, способностью к взаимодействию и согласованностью со стандартами и правилами проектирования. Надежность рекомендуется характеризовать уровнем завершенности (отсутствием ошибок), устойчивостью к ошибкам и перезапускаемостью. Применимость предлагается описывать понятностью, обучаемостью и простотой использования. Эффективность рекомендуется характеризовать ресурсной и временной экономичностью. Сопро-вождаемость — удобством для анализа, изменяемостью, стабильностью и тестируемостью. Переносимость предлагается отражать адаптируемостью, структурированностью, замещаемо-стью и внедряемостью. Характеристики и субхарактеристики в стандарте определены очень кратко, без комментариев и рекомендаций по их применению.

Близким к описанному стандарту по идеологии, структуре и содержанию является стандарт ГОСТ 28195-89 «Оценка качества программных средств. Общие положения». Он определяет иерархическую структуру, номенклатуру и содержание понятий качества ПС. На верхнем, первом, уровне выделено шесть показателей — факторов качества: надежность, корректность, удобство применения, эффективность, универсальность и сопровождаемость. Эти факторы детализируются в совокупности с 19 критериями качества на втором уровне. Дальнейшая детализация показателей качества представлена метриками и оценочными элементами, которых насчитывается около 240. Каждый из них рекомендуется экспертно оценивать в пределах от 0 до 1. Состав используемых факторов, критериев и метрик предлагается выбирать в зависимости от назначения, функций и этапов жизненного цикла ПС.

В стандарте ГОСТ 28806-90 «Качество программных средств. Термины и определения» формализуются общие понятия программы, программного средства, программного продукта и их качества. Даются определения 18 наиболее употребляемых терминов, связанных с оценкой характеристик программ. Уточнены понятия базовых показателей качества, приведенных в ГОСТ 28195-89.

В перечисленных документах представлена широкая номенклатура показателей, которая заметно различается, и общее описание их содержания. Материалы имеют справочный характер и не содержат рекомендаций по выбору и упорядочению необходимого минимума критериев в зависимости от особенностей объекта и среды разработки. Кроме того, для большинства показателей отсутствуют методики их измерения и сопоставления с требованиями спецификаций, а также рекомендации, на каких этапах разработки их целесообразно применять. Для многих показателей допускается использование метода экспертных оценок, что в условиях отсутствия обоснованных требований к уровню квалификации экспертов не гарантирует объективности оценок этих показателей. Более того, описания показателей качества ориентированы на высококвалифицированных системных аналитиков и заказчиков ПО и АИС, которым предоставляется возможность выбирать необходимую номенклатуру характеристик в соответствии с назначением, областью применения и конкретными особенностями создаваемых изделий.

С учетом вышеизложенного для сертификации качества функционирования АИС предлагается следующая система функциональных показателей:

1) для оценки адекватности функционирования АИС:

· потенциальная способность (неспособность) реализованной на предприятии системы качества по обеспечению условий для достижения требуемого качества функционирования АИС;

· соответствие (несоответствие) реальных функциональных возможностей ПО декларируемым в программной документации;

· соответствие (несоответствие) реальных функциональных возможностей аппаратных средств декларируемым в технической и эксплуатационной документации;

· наличие (отсутствие) закладных элементов в программном обеспечении и закладных устройств в аппаратных средствах;

2) для оценки технических возможностей АИС к взаимодействию, совершенствованию и развитию:

· соответствие (несоответствие) функциональным требованиям стандартов в области взаимодействия АИС, сопровождаемости ПО и его переносимости на различные вычислительные платформы в рамках жизненного цикла АИС;

3) для оценки надежности и своевременности представления

4) информации и выполнения функциональных технологических

5) операций:

· средняя наработка на отказ программно-технических средств (ПТС) АИС;

· среднее время восстановления ПТС АИС после отказа;

· коэффициент готовности ПТС АИС;

· вероятность надежного представления запрашиваемой выходной информации или выполнения технологической операции;

· среднее время реакции АИС на запрос или на выполнение технологической операции;

· вероятность представления запрашиваемой информации или выполнения технологической операции за заданное время;

6) для полноты, безошибочности, актуальности и конфиденциальности представляемой информации:

· вероятность обеспечения полноты отражения в базе данных АИС реально существующих объектов учета предметной области;

· вероятность отсутствия случайных ошибок во входной информации;

· вероятность отсутствия случайных технологических ошибок со стороны обслуживающего персонала;

· вероятность отсутствия компьютерных вирусных искажений в АИС;

· вероятность сохранения актуальности информации в БД на момент ее использования в АИС;

· вероятность предотвращения несанкционированного доступа к программным и информационным ресурсам АИС;

· вероятность сохранения конфиденциальности выходной информации.