Тестирование программных средств

Таблица 5.

Основные тесты и их продолжительность

№ теста	Описание	Желаемый результат	Полученный результат	Длительность теста, сек.
	Выбираем ввод данных из файла	Появляются окно для выбора файла и кнопки «Ок» и «Отмена».	Появляются окно для выбора файла и кнопки «Ок» и «Отмена».	0,047
	Выбираем ввод данных с клавиатуры	Появляется кнопка «Подготовить форму для ввода данных с клавиатуры». В поля необходимо ввести размерность и точность, затем нажать на эту кнопку.	Формируется сетка для ввода коэффициентов матрицы, максимальное собственное число которой и нужно посчитать.	0,360
	Ввод данных из существующего файла	Считывание данных из файла. Вывод данных на экран.	На экране появляется матрица с коэффициентами, полученными из файла, а так ее размер и точность
	Ввод данных из существующего файла, структура которого не соответствует необходимой	Информарование пользователя о несоответствующей структуре файла	Система зависает.	-
	При выборе ввода данных с клавиатуры указываем размер 3 (и точность 1) и нажимаем «Подготовить форму для ввода данных с клавиатуры».	Появление матрицы размером 3 на 3.	На экране появились сетка размера 3х3 полей для ввода данных	0,328
	При выборе ввода данных с клавиатуры указываем размер -1 (и точность 1) и нажимаем «Подготовить форму для ввода данных с клавиатуры».	Сообщение о некорректном вводе	Сообщение о неправильном вводе размера матрицы. Значение поля, в котором указан размер, установится в значение по умолчанию.	0,125
	При выборе ввода данных с клавиатуры указываем размер 1.2 (и точность 1) и нажимаем «Подготовить форму для ввода данных с клавиатуры».	Сообщение о некорректном вводе	Сообщение о неправильном вводе размера матрицы не поступает. Размер матрицы задан неверно. Система зависает.	-
	При выборе ввода данных с клавиатуры указываем размер 2а (и точность 1) и нажимаем «Подготовить форму для ввода данных с клавиатуры».	Сообщение о некорректном вводе	Сообщение о неправильном вводе размера матрицы не поступает. Размер матрицы задан неверно. Система зависает.	-
	При выборе ввода данных с клавиатуры указываем точность а (и размер 3) и нажимаем «Подготовить форму для ввода данных с клавиатуры».	Сообщение о некорректном вводе	Сообщение о неправильном вводе точности не поступает. Размер матрицы задан неверно. Система зависает.	-
	При выборе ввода данных с клавиатуры указываем точность 0 (и размер 3) и нажимаем «Подготовить форму для ввода данных с клавиатуры».	Сообщение о некорректном вводе	Сообщение о неправильном вводе точности не поступает. Размер матрицы задан неверно. Система продолжает работу.	0,328
	Указываем размер 3 и точность 0,0001. Нажимаем «Подготовить форму для ввода данных с клавиатуры». Заполняем сетку числами 1 2 3 4 5 6 7 8 9 И нажимаем кнопку “Ввести данные”	Отсутствие каких-либо ошибок, программа должна продолжать работать	Отсутствие каких-либо ошибок	2,023 (не учитывается время на заполнения полей пользователем, но учитывается время на нажатие кнопки «Ввести данные»)
	Указываем размер 3 и точность 0,0001. Нажимаем «Подготовить форму для ввода данных с клавиатуры». Заполняем сетку числами 1 2 3 4 5 6 7 8 9 Нажимаем кнопку “Ввести данные”. Нажимаем кнопку «Вычислить результаты».	Нахождение максимального собственного числа.	Вывод полученного результата на экран.
	Указываем размер 4 и точность 0,0001. Нажимаем «Подготовить форму для ввода данных с клавиатуры».Заполняем сетку числами 1 2 3 5 4 5 6 9 7 8 9 10 4 8 11 16 Нажимаем кнопку “Ввести данные”. Нажимаем кнопку «Вычислить результаты».	Нахождение максимального собственного числа.	Вывод полученного результата на экран.
	Указываем размер 5 и точность 0,0001. Нажимаем «Подготовить форму для ввода данных с клавиатуры».Заполняем сетку числами 1 2 3 5 5 4 5 6 97 7 8 9 10 11 4 8 11 16 3 5 6 8 3 11 Нажимаем кнопку “Ввести данные”. Нажимаем кнопку «Вычислить результаты».	Нахождение максимального собственного числа.	Вывод полученного результата на экран
	Указываем размер 5 и точность 0,0001. Нажимаем «Подготовить форму для ввода данных с клавиатуры».Заполняем сетку числами 1 2 3 5 5 4 5 р 97 7 8 9 п0 11 4 8 11 16 3 5 6 8 3 11 Нажимаем кнопку “Ввести данные”.	Сообщение о некорректном вводе данных.	Сообщение о некорректном вводе данных не поступает. Коэффициенты матрицы введены не верно. Система зависает.	2,01
	Записать в файл результат решения системы из теста №10	В файл должны быть записаны следующие элементы: Размер матрицы, точность вычислений, матрица, максимальное собственное число.	В файл записываются необходимые данные.
	Записать в файл результат решения системы из теста №11	В файл должны быть записаны следующие элементы: Размер матрицы, точность вычислений, матрица, максимальное собственное число.	В файл записываются необходимые данные.

МЕТРИКИ ТЕСТИРОВАНИЯ

Метрики прогнозирования дефектов. По некоторым данным, количество дефектов, оставшихся после автономного и интеграционного тестирования, колеблется в диапазоне от 1 до 14 на KSLOC, а в среднем - 10, то есть, до 1%. Для прогнозирования количества дефектов на уровне отдельных компонентов (до начала тестирования) можно использовать зависимость:

, где

V-размер в условных единицах функциональности, 1.2 - показатель степени.

Метрики оценивания. Предназначены для оценивания текущего состояния ПС (метрики продукта) в процессе тестирования. Основные категории метрик оценивания:

a) метрики подсчета дефектов.

b) метрики тенденций дефектов.

c) метрики надежности.

Таблица 6.

Метрики подсчета дефектов

Метрика	Обозначение	Формула	Значение
Количество дефектов	Дфакт	Сумма всех дефектов	Дфакт = 6
Плотность дефектов	Пл_Дфакт	Пл_Дфакт = Дфакт/Размер	Пл_Дфакт = 6/894 = 0,0067

Метрики тенденций дефектов (или профили дефектов) - группа метрик, которые предназначены для определения тенденций дефектов в ПС, а также динамики устранения дефектов. Профили дефектов могут вычисляться по любой классификационной категории: приоритетам устранения, типам, серьезности.

Таблица 7.

Метрики профилей дефектов

Метрика	Обозначение	Формула	Значение
Профиль открытых дефектов	Пр.Доткр	Пр.Доткр = Доткр/Дфакт	Пр.Доткр = 1
Профиль закрытых дефектов	Пр.Дзакр	Пр.Дзакр = Дзакр/Дфакт	Пр.Дзакр = 0/1=0
Профиль серьезности	ПрСер	ПрСер = Дсер/Дфакт	ПрСер = 0/1 = 0
Средний возраст открытых дефектов	ВОЗРоткр	ВОЗРоткр = Днейоткр/Доткр	ВОЗРоткр = 0/1 = 0
Средний возраст закрытых дефектов	ВОЗРзакр	ВОЗРзакр = Днейзакр/Дзакр	ВОЗРзакр = 0

Метрики надежности - вычисляются по данным об отказах и требуют помимо подсчета отказов (дефектов) измерения интервалов времени между отказами.

Таблица 8.

Метрики надежности

Метрика	Обозначение	Формула	Значение
Интенсивность отказов	FR	FR = Дфакт/Т	FR = 6/1=6 отк/час
Среднее время между отказами	MTBF	MTBF = Tc/Дфакт	MTBF = 1/6

Таблица 9.

Метрики состояния процесса тестирования

Метрика	Обозначение	Формула	Значение
Динамика выполнения тестов	Твып	Твып = Тфакт/Тплан	Твып = 17/17 = 1
Динамика обнаружения дефектов	Тдин	Тдин = Тдеф/Тфакт	Тдин = 6/17 = 0,35
Общее состояние выполнения тестирования	Т проц	Тпроц = Тпр/Тплан	Тпроц = 100%

Метрики оценки продолжительности и трудоемкости тестирования.

Продолжительность тестирования может вычисляться в единицах календарного времени тестирования (днях) (включая время на разработку планов, тестов, подготовку данных, выполнение тестов, регистрацию результатов и др.).

Продолжительность = 34 дня

Трудоемкость тестирования Tm (чел.-дней) - может вычисляться как сумма периодов времени, потраченного участниками процесса тестирования на выполнение задач тестирования.