) Сравнение результатов Проекта 5 с результатами Проекта 3 соблазнительно, но разнохарактерность Проектов делает его нецелесообразным.

2) Путь в цикле определяется так, что он включает по крайней мере одни его проход.

) Стандарты требуют, чтобы проект н программы были структурированными.

на высокий уровень испытаний для некоторых си-стем, например систем реального времени, может оказаться непоправимо ошибочной, если характер испытываемого программного обеспечения предопределяет невозможность обнаружения ошибок с помощью специальных отладочных методов и средств.

4.7.4. Оценка испытательных методов, использованных в условиях Проекта 5

Проект 5 представляет собой пример успешного применения всесторонних программных испытаний). К прикладному программному обеспечению системы Проекта 5 предъявлялось требование на уровне испытания программ, сводящееся к тому, что должны быть пройдены не только все ветви, но и все пути программ 2). Принятые стандарты проектирования и программирования делают это последнее требование вполне реализуемым, в частности, не допускается, чтобы длина подпрограммы превышала 100 исполняемых операторов, и стимулируется структурная простота 2), способствующая увеличению быстродействия программы.

Хотя программное обеспечение системы разрабатывается методом сверху вниз поэтапно, тестирование в пределах каждого этапа основано на сочетании восходящего и нисходящего подходов. На уровне программ оно проведено разработчиками с применением упоминавшегося уже динамического анализатора ветвей (РАСЕ), использование которого помогло выполнить указанные выше требования к тестированию. Другие цели испытаний включают проверку функциональных возможностей, тестирование с использованием экстремальных и особенных данных и, наконец, объединение программ в функциональные группы.

) Официальное утверждение результатов испытаний иа имитаторе и эксплуатационные проверки будут осуществлены в конце щпсла разработки, проводимой по принципу сверху вниз.

называемые задачами. Наличие определенных функциональных возможностей прослеживается вплоть до конкретных ветвей в программных средствах и до технических требований к программному обеспечению. Вах<ной особенностью Проекта 5 является то, что для такого очень детального тестирования было специально запланировано время в графике работ, и для облегчения этого процесса были разработаны специальные средства.

Сразу же после завершения программных испытаний и тестирования связок программы разработанные средства передаются независимой организации для компоновки в единую систему. На этой стадии программное обеспечение испытывается под управлением операционной системы реального времени с применением специального имитатора рабочих условий, функционирующего в режиме реального времени. Именно на этом этапе испытаний генерируются Уведомления о проблемах; они и легли в основу данного исследования).

На основе 273 Уведомлений о проблемах, сформированных в ходе системных испытаний прикладного программного обеспечения, ориентированного на режим реального времени, была сделана попытка определить эффективность выбранной стратегии программных испытаний в плане обнаружения тех ошибок, на выявление которых она была специально нацелена. Результаты были разделены на три группы: ошибки, которые были обнаружены своевременно; ошибки, возможность более раннего обнаружения которых была спорной, и ошибки, которые проскочили программные испытания и были выявлены при испытаниях связок программ.

Группа спорных ошибок введена ввиду чрезвычайной важности обнаружения ошибок некоторых типов с помощью имитатора. Это значит, что более раннее обнаружение таких ошибок в принципе возможно, но в общем случае нецелесообразно. По этой

Г лава 4

причине доля спорных ошибок хорошо согласуется с долей ошибок, обнаруженных своевременно.

Результаты, полученные для Проекта 5 (табл. 4.15), свидетельствуют о значительном повышении эффективности программных испытаний по сравнению с Проектом 3: незамеченными оказались только 15,7% всех ошибок. Среди незамеченных ошибок наибольший процент (28,8%) составили логические ошибки, а наименьший (3,7%)-ошибки сопряжения. Вслед за логическими идут ошибки вычисленпа и ошибки манипулирования данными (19,0 и 17,2% соответственно). Сравнительно малый пропуск ошибок, связанных с базой данных, подчеркивает важность системных испытаний для настройки базы данных Проекта 5.

Таблица 4.15

Эффективность стратегии испытаний, принятой в Проекте 5

В процессе программных испытаний оказались не выявленными ошибки следующих категорий (черточка означает место для шифрующего символа):

А 000 Ошибки вычислений

А 100-неверный операнд в равенстве