Тестування правильності

Ocтaнній крок програмного тестування - тестування правильності.

Мета - підтвердити, що функції, описані в специфікації вимог до ПС, відповідають очікуванням замовника.

Підтвердження правильності ПС виконується за допомогою тестів «чорного ящику», що демонструють відповідність вимогам. При виявленні відхилень від специфікації вимог створюється список недоліків.

Важливим елементом підтвердження правильності є перевірка конфігурації ПС. Конфігурацією ПС називають сукупність всіх елементів інформації, вироблюваних у процесі конструювання ПС.

Мінімальна конфігурація ПС включає наступні базові елементи:

1. системну специфікацію;

2. план програмного проекту;

3. специфікацію вимог до ПС; працюючу чи паперовий макет;

4. попереднє керівництво користувача;

5. специфікація проектування;

6. лістинги вихідних тестів програм;

7. план i методику тестування; тестові варіанти й отримані результати;

8. посібник з роботи й інсталяції;

9. ехе-код виконуваної програми;

10. опис бази даних;

11. керівництво користувача по настроюванню;

12. документи супроводу; звіти про проблеми ПС; запити супроводи-звiти про конструкторські зміни;

13. стандарти i методики конструювання ПС.

Для виявлення помилок, що здатний знайти тільки кінцевий користувач, використовують процес, що включає альфа - i бета-тестування.

Альфа-тестування проводиться замовником в організації розроблювача. Розроблювач фіксує усі виявлені замовником помилки i проблеми використання.

Бета-тестування проводиться кінцевим користувачем в організації замовника. Розроблювач у цьому процесі участі не приймає. Замовник сам записує усі виявлені проблеми i повідомляє про їх розроблювачу. Бета-тестування проводиться протягом фіксованого терміну (біля року). За результатами виявлених проблем розроблювач змінює ПС і тим самим підготовляє продукт цілком на базі замовника.

 

Системне тестування

Системні тести повинні перевіряти, що всі системні елементи правильно об’єднані і виконують призначені функції. Розглянемо основні типи системних тестів.

Тестування віновлення

Багато комп'ютерних систем повинні відновлюватися після відмовлень i відновляти обробку в межах заданого часу. У деяких випадках система повинна бути відмовостійкою, тобто відмовлення обробки не повинні бути причиною припинення роботи системи. В інших випадках системне відмовлення повинне бути усунуте в межах заданого періоду часу, інакше замовнику наноситься серйозний економічний збиток.

Тестування відновлення використовує різні шляхи для того, щоб змусити ПС відмовити, i перевіряє повноту виконаного відновлення. При автоматичному відновленні оцінюються правильність повторної ініціалізації, механізми копіювання контрольних крапок, відновлення даних, перезапуск. При ручному відновленні оцінюється, чи знаходиться середній час відновлення в припустимих межах.

Тестування безпеки

Тестування безпеки перевіряє фактичну реакцію захисних механізмів, вбудованих у систему, на проникнення.

У ході тестування безпеки випробувач відіграє роль зломщика. Йому дозволено все:

1. спроби довідатися пароль за допомогою зовнішніх засобів;

2. атака системи за допомогою спеціальних утиліт, що аналізують захисти;

3. придушення, приголомшення систем и (у надії, що вона відмовиться обслуговувати інших клієнтів);

4. цілеспрямоване введення помилок у надії проникнути в систему в ході відновлення;

5. перегляд несекретних даних у надії знайти ключ для входу в систему.

Стресове тестування

Стресове тестування виконується при ненормальних запитах на ресурс системи (по кількості, частоті, розмiру-обсягу).

Власне кажучи, випробувач намагається зруйнувати систему. Різновид стресового тестування називається тестуванням чутливості. У деяких ситуаціях (звичайно в математичних алгоритмах) дуже малий діапазон даних, що міститься в границях правильних даних системи, може викликати помилкову обробку чи різке зниження продуктивності. Тестування чутливості виявляє комбінації даних, що можуть викликати нестабільність чи неправильність обробки.