Стандартизация тестирования

ГОСТ ИСО МЭК 121.19-2000 – данный стандарт содержит указания, которые определяют порядок тестирования продукта на соответствие его требованиям качеству. Эти указания охватывают тестирование характеристик присущих аналогичным продуктам, а так же тестирования характеристик указанных в описании продукта. ГОСТ описывает только функциональное тестирование. Стандарт рассматривает тестирования продукта в необходимых для него системах.

1. Организация работ по тестированию. Описание продукта в документации пользователя, программы и любые данные, поставляемые как части пакета программ, должны быть протестированы на выполнение ими формулировок требований. Программы должны быть протестированы во всех системах. При наличии нескольких вариантов программы должен быть протестирован каждый из них. Программа и данные должны быть протестированы и использованием контрольных примеров, разработанных на основе описания продукта и документации пользователя. Контрольные примеры должны быть методологически проработаны.

2. Установка. Если в соответствии с описанием продукта, установка пакета может быть выполнена пользователем, то должна быть проверенна инсталляция программ, и протестирована возможность установки пакета согласно описанию.

3. Выполнение программы. Контрольные примеры должны охватывать все функции приведенные в описании продукта и документации пользователя, а также учитывать комбинации функции, характерные для рабочих задач. Программы должны быть протестированы по всем граничным значениям. При тестирование должны быть использованы исходные данные и последовательности команд, которые в документации пользователя не рекомендуются или объявляются запрещенными. Протоколы по каждому тесту должны содержать информацию достаточную для повторения тестов. Данная информация должна содержать: для каждого контрольного примера. Включаются все результаты, включая все ошибки, выявленные при выполнении теста.

4. Штат-персонал, вовлеченные в тестирование.

5. Отчет о тестировании должны быть суммированы цели и результаты тестирования, описанные в протоколе для каждого теста. Отчет должен иметь следующую структуру:

a. Обозначение продукта.

b. Вычислительные системы, использованные при тестировании, а именно технические средства, программные средства и их конфигурация.

c. Использованные документы, включая их обозначения.

d. Результаты тестирования описания продукта, документация пользователя программы данных.

e. Перечень несоответствия требованиям.

f. Перечень несоответствия рекомендациям, либо перечень неучтенных в продукте рекомендаций, либо формулировка того, что продукт не был протестирован на соответствие рекомендаций.

g. Дата окончания тестирования.

6. Дата окончания тестирования.

7. Дополнительное тестирование. Когда продукт, который уже был протестирован, тестируется повторно с учетом результатов предыдущего тестировании, тогда выполняются следующие требования:

a. Все измененные части документа, функций и данных должны быть протестированы как новый продукт.

b. Все неизменные части, на которые могут влиять измененный части или изменения в системе должны быть протестированы, как новый продукт.

c. Все другие части должны быть выборочно протестированы.