Передовые технологии в тестировании (автоматизация тестирования)

При контроле качества, лучшие результаты дает использование автоматических тестов с применением специальных промышленных средств автоматизации тестирования. Высокую эффективность имеют также специальные тестовые процедуры, написанные на языке программирования, на котором написано само ПС. Преимущества использования автоматических тестов перед тестированием очевидны: они беспристрастны; позволяют выполнять проверку необходимое количество раз; не устают и не ошибаются; могут протестировать гораздо больше за меньшее количество времени; не требуют дополнительной оплаты при работе по ночам и выходным; более четко отвечают на вопрос, что протестировано и с каким результатом.

Создание и поддержка банка тестов сложная задача, требующая высокой квалификации сотрудников отдела тестирования. Автоматизация тестирования связана с тем, что в принципе невозможно полностью протестировать программный продукт, соответственно специализированные пакеты приближают «покрытие» тестами программы к 100%. На рынке специальных сред для тестирования программного обеспечения можно отметить разработки ведущих в этой области фирм: Rational (Visual Test, Rational Robot, Team Test и др.), Mercury Interactive (WinRunner), Segue Software (QA Partner). Такое ПО весьма специфично и имеет достаточно высокую цену – порядка нескольких десятков тысяч долларов. Пакеты тестирования можно разделить по поддерживаемой стратегии тестирования на пакеты, поддерживающие стратегию «белого ящика» и на поддерживающие стратегию «черного ящика».

Пакеты, реализующие стратегию «белого ящика», позволяют: записывать, а потом воспроизводить последовательность пользовательского ввода (нажатие клавиатуры, движения «мышью»); распознавать объекты и их свойства (окна Windows, текст в окне и пр.); запоминать копию экрана; сравнивать состояние программы относительно предыдущего тестового прогона; производить математические вычисления на основе данных из тестируемой программы; замерять выполнение одной и той же последовательности действий в различных условиях; эмулировать выполнение программы несколькими пользователями одновременно; записывать подробный протокол выполнения автоматического теста; другие функции.

Пакеты, реализующие стратегию «черного ящика», позволяют: отслеживать выполнение того или иного фрагмента кода программы; подсчитывать количество выполнения того или иного фрагмента кода программы; вычислять время выполнения участка кода (важно при пересмотрах кода и его оптимизации); подсчитывать общее «покрытие» программы; автоматически контролировать значение переменных и выдавать ошибку или предупреждение, если значения не совпадают с теми, которые ожидаются; на основе данных, полученных от пакета автоматизации тестирования, возможно выполнять расчеты о надежности программного обеспечения; получать различные статистические данные о программе.

Средства автоматизации тестирования не предполагают отсутствие инженера по тестированию, а требуют от него новых знаний. Программа автоматизации тестов не выполнит всю работу по тестированию сама. Для нее нужны специальные инструкции – сценарии тестов, написанные на специально разработанном языке. Таким образом, автоматизация заключается в избавлении инженера по тестированию от рутинной работы, теперь тестер занимается разработкой тестов и программированием тестов на языке системы автоматизации тестирования.