) Мерами этой нагрузки (помимо проверенного объема программы) являются машинное время, затраченное на тестирование (I), число Быполиенны.х тестов (2) и число специалистов-аналитиков, исследующих результаты тестирования, (3). Данные по п. 2, хотя и могут быть получены, тем не менее считаются непредставительными, так как после внесения исправлений в программу повторное тестирование обычно не выполняется. Данные по п. 3 тоже доступны для получения и могут способствовать правильной интерпретации данных как о количестве, так и о типах формируемых уведомлений о проблемах.

) В Проекте 2 фактически было четыре цикла; цикл демонстрации работоспособностп отсутствовал, так как Проект 2 - это действующая система программного обеспечения, подверженная частым обновлениям.

1.8. Характеристики процесса испытаний для Проектов 2, 3, 4 и 5

Тестирование - этот существенный источник информации, необходимой для исследования надежности программного обеспечения,- не оправдало возла-гавщихся на него надежд, так как в случае Проектов 2, 3 и 4 мы не располагали достаточно подробными данными по тестированию. Хотя и имелась информация относительно числа тестов, их типов и количества выявленных в каждом случае ошибок, однако отсутствовала какая-либо количественная мера полноты проверки программного обеспечения, т. е. не было сведений о том, какой нагрузке оно подвергалось в процессе тестирования). Отсутствие такой информации является очень серьезным недостатком программы испытаний, поскольку проблема определения достаточного объема тестирования является ключевым моментом этого этапа.

Программа испытаний в рамках Проекта 2 и Проекта 3 предусматривала пять различных циклов, осъ единенных общей целью ). Краткая характеристика этих циклов дается в подразд. 1.8.1-1.8.5.

Данных об испытаниях в рамках Проекта 4 не оказалось, поскольку он, как отмечалось выше, относится к уже функционирующей программе.

1.8.1. Стендовые испытания

Контрольные примеры, формальные только в том смысле, что они соответственно документированы, бы-

ли составлены и использованы для тестирования программ персоналом разработчиков. Целью этого цикла являлись демонстрация конкретных функциональных возможностей программного обеспечения, проверка его в экстремальных условиях и при особенных значениях тестовых данных, инициирование всех возможных сообщений об ошибках, тестирование процедур взаимодействия с оператором и выдача всех предусмотренных результатов на соответствующие устройства и носители информации. При этом использовались специальные драйверы, отладочные средства и контрольно-измерительные устройства. Стендовые испытания начинаются по окончании компилирования и отладки программы н предусматривают ее многократное выполнение. Тестирование в этом цикле проводилось по методу снизу вверх, в соответствии с которым программы после достаточно полного индивидуального тестирования объединяются в связки, а затем тестируются совместно как функциональные блоки. После этого функциональные блоки объединяются в более крупные связки для тестирования их как подсистем.

I.S.2. Приемо-сдаточные испытания

Началом этого цикла является момент так называемой внутренней сдачи пакета программ. Это означает, что независимая группа испытаний начинает формальное тестирование предъявленных программных средств. Основной целью такого тестирования является подтверждение требуемых рабочих характеристик программного обеспечения. Одновременно осуществляется выборочная демонстрация функциональных возможностей программного обеспечения по договоренности между заказчиком и группой испытаний. В ходе этого цикла испытаний используются реальные комбинации специально подобранных данных, их граничные значения и сценарии функционирования системы. Важнейшей особенностью приемо-сдаточных испытаний является тот факт, что они проводились в привязке к базовой конфигурации программного обеспечения и не разрешалось вносить какие-либо изме-

1.8.3. Системные испытания

Эти испытания проводились независимым контрагентом, в обязанности которого входила демонстрация правильности сопряжения прикладного программного обеспечения с операционной системой и служебными программами. Кроме того, осуществлялись проверка межпрограммных интерфейсов, выдача полного набора предусмотренных листингов, перфокарт и перфолент и тестирование системы при значениях входных данных, превышающих допустимые пределы.

Тесты этого цикла испытаний по своей структуре и степени формализации были аналогичны тестам периода приемо-сдаточных испытаний.

1.8.4. Демонстрация работоспособности

программного обеспечения в реальных условиях функционирования

Демонстрация работоспособности в реальных условиях охватывала короткий период испытаний, когда программы исполнялись в реальном масштабе времени с действующей базой данных. Целью этого цикла испытаний была демонстрация работы программного обеспечения в реальных условиях функционирования.

ненйя в программу даже с целью расширения диагностических возможностей.

Приемо-сдаточные испытания осуществлялись на уровне подсистем, имеющих общий вход, однако были ориентированы на тестирование программ, функциональных блоков, подсистем и системы в целом.

Этот цикл испытаний предусматривает повторные прогоны такой совокупности контрольных примеров, которая позволяет продемонстрировать соответствие созданных программных средств конкретным требованиям. От успешного завершения именно этого цикла зависит решение заказчика принять или не принять систему программного обеспечения в эксплуатацию.