Організація процесу тестування

На сьогодні тестування програмного забезпечення — один з найбільш дорогих етапів життєвого циклу програмного забезпечення, на нього відводиться від 50% до 65% загальних витрат. У кодуванні ПЗ широкого розповсюдження набули різноманітні CASE-засоби, які дозволяють прискорити процеси створення коду. На жаль, в галузі тестування відчувається нестача таких засобів і більшість зусиль витрачається на ручне тестування.

Організація тестування (згідно Майерсу):

a) кожен тест повинен включати опис очікуваних результатів роботи програми, щоб можна було швидко з’ясувати наявність або відсутність помилок в ній;

b) бажано, щоб окрім автора тестування проводили і інші спеціалісти, оскільки виявлення недоліків в своїй діяльності протирічить людській психології (однак, відладка програми найефективніше виконується саме автором програми);

c) організація-розробник програмного забезпечення не повинна «одноосібно» тестувати ПП, потрібно організовувати бета-тестування з залученням інших організацій;

d) результати кожного тесту повинні бути документовані і детально вивчені, щоб не пропустити малопомітну на перший погляд помилку в програмі;

e) тести для неправильних (непередбачуваних) даних повинні підбиратися так само ретельно, як і для правильних (передбачуваних) вхідних даних;

f) при аналізі результатів кожного тесту необхідно перевіряти, чи не робить програма того, що вона не повинна робити;

g) слід зберігати використані тести (для підвищення ефективності повторного тестування програми після її модифікації або установки у замовника);

h) тестування не повинно плануватися виходячи з припущення, що в програмі не будуть виявлені помилки (зокрема, слід виділяти на тестування достатньо часових і матеріальних ресурсів);

i) слід враховувати так званий «принцип накопичення помилок»: вірогідність наявності не виявлених помилок в деякій частині програми прямо пропорційна числу помилок, вже виявлених в цій частині;

j) слід завжди пам’ятати, що тестування — творчий процес, і не варто ставитися до нього як до рутинного заняття.

Процес тестування об'єднує різні способи тестування в сплановану послідовність кроків, які приводять до успішної побудови програмної системи (ПС). Методика тестування ПС може бути представлена у вигляді спіралі, що розгортається (рисунок 1.1).

На початку здійснюється тестування елементів (модулів), яке перевіряє результати етапу кодування ПС. На другому кроці виконується тестування інтеграції, орієнтоване на виявлення помилок етапу проектування ПС. На третьому обороті спіралі проводиться тестування правильності, яке перевіряє коректність етапу аналізу вимог до ПС. На завершальному витку спіралі проводиться системне тестування, що виявляє дефекти етапу системного аналізу ПС.

Рисунок 1.1. Спіраль процесу тестування.

Розглянемо кожен крок процесу тестування:

1. Тестування елементів.

Мета — індивідуальна перевірка кожного модуля. Використовуються способи тестування «білого ящика».

2. Тестування інтеграції.

Мета — тестування збірки модулів в програмну систему. В основному застосовують способи тестування «чорного ящика».

3. Тестування правильності.

Мета — перевірити реалізацію в програмній системі всіх функціональних і поведінкових вимог, а також вимоги ефективності. Використовуються виключно способи тестування «чорного ящика».

4. Системне тестування.

Мета — перевірка правильності об'єднання і взаємодії всіх елементів комп’ютерної системи, реалізації всіх системних функцій.

Організація процесу тестування у вигляді еволюційної спіралі, що розгортається, забезпечує максимальну ефективність пошуку помилок.

Отже, тестування — важлива частина будь-якої програми контролю якості, а часто і єдина. Це сумно, тому що різноманітні методики спільної розробки дозволяють знаходити більше помилок, ніж тестування, і в той же час обходяться більш ніж удвічі дешевше в розрахунку на одну виявлену помилку. Кожен з окремих етапів тестування (блочне тестування, тестування компонентів і інтеграційне тестування) зазвичай дозволяють знайти менше 50% помилок. Комбінація етапів тестування часто призводить до виявлення менше 60% помилок.