Согласно мнению специалистов по испытаниям программных средств, ошибки некоторых типов (например, аварийные завершения, бесконечные циклы, ошибки в основных интерфейсах и т. д.) могут быть обнаружены довольно быстро. Если после устранения подобных ошибок программа не зацикливается и ведет себя надлежащим образом (в смысле перечисленных ошибок), можно переходить к детальному анализу точности выходных данных, проверке адекватности программы спецификациям и контролю времени ее исполнения.

В ходе анализа данных, относящихся к Проекту 3, была предпринята попытка проверить следующие гипотезы:

- определенные типы ошибок выявляются на определенных этапах тестирования;

- различные ошибки могут быть выявлены с помощью определенных типов тестов или определенных стратегий испытаний.

Прежде всего заметим, что результаты анализа данных не подтвердили гипотезу о возможности обнаружения ошибок некоторых категорий раньше, чем ошибок других категорий. Категории обнаруженных ошибок распределялись по всем этапам испытаний таким образом, что заметить при этом какую-либо явную тенденцию не удалось. Аналогичная ситуация наблюдалась для случая единственного этапа тестирования программных средств Проекта 5.

Анализ зависимости относительного числа зарегистрированных ошибок от времени (рис. 3.4-3.8) позволяет сделать вывод о возрастании числа Уведомлений о проблемах, обусловленном как постепенным обучением самих испытателей, так и последовательным характером процесса тестирования программ. Действительно, не все программные модули могут быть подвергнуты тестированию одновременно, поскольку необходимо создать базу данных для прогона начальных тестов с тем, чтобы они сами уже могли формировать исходные данные для последующих циклов испытаний. Кроме того, наблюдается характерный спад числа зарегистрированных ошибок по мере насыщения, т. е. выявляются все ошибки, кото-

2 3 4 5 Вк7 В 3 Проверка Приемочные

рабоглоспособноапи испышния

W 11 12 П П

Системные-испытания

Период тестирования, нед.

Гис. 3.4. Ошибки в системе программного обеспечения, обнаруженные при тестировании. (Проект 2, модификация M0D1A).

100 г

2 3 4 5кС 7 8 кЗ 10 11 12 13 Проверка Приемочные Системные работоспособности испытания исоытаиик Период тестирования, нед.

Рис. 3.5. Ошибки в системе программного обеспечения, обнаруженные при тестировании. (Проект 2, модификация M0D1B).

,.-Системные работоспасдВнас- / испытания

Приемочные испытания

Период тестирования, нед.

Рис. 3.6. Ошибки в системе программного обеспечения, обнаруженные при тестировании (Проект 2, модификация MODBR).

2 3 5 кб 7 В 9 10 1lkl2 13 П 15 16 , Приемочные Системные

рвВотостобности испшташя испытания

Период тестирования, неЗ.

Рис. 3.7. Ошибки в системе программного обеспечения, обнаруженные при тестировании. (Проект 2, модификация M0D2).