Главная страница  Анализ эмпирических данных 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 [ 64 ] 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105

) Сравнение результатов Проекта 5 с результатами Проекта 3 соблазнительно, но разнохарактерность Проектов делает его нецелесообразным.

2) Путь в цикле определяется так, что он включает по крайней мере одни его проход.

) Стандарты требуют, чтобы проект н программы были структурированными.

на высокий уровень испытаний для некоторых си-стем, например систем реального времени, может оказаться непоправимо ошибочной, если характер испытываемого программного обеспечения предопределяет невозможность обнаружения ошибок с помощью специальных отладочных методов и средств.

4.7.4. Оценка испытательных методов, использованных в условиях Проекта 5

Проект 5 представляет собой пример успешного применения всесторонних программных испытаний). К прикладному программному обеспечению системы Проекта 5 предъявлялось требование на уровне испытания программ, сводящееся к тому, что должны быть пройдены не только все ветви, но и все пути программ 2). Принятые стандарты проектирования и программирования делают это последнее требование вполне реализуемым, в частности, не допускается, чтобы длина подпрограммы превышала 100 исполняемых операторов, и стимулируется структурная простота 2), способствующая увеличению быстродействия программы.

Хотя программное обеспечение системы разрабатывается методом сверху вниз поэтапно, тестирование в пределах каждого этапа основано на сочетании восходящего и нисходящего подходов. На уровне программ оно проведено разработчиками с применением упоминавшегося уже динамического анализатора ветвей (РАСЕ), использование которого помогло выполнить указанные выше требования к тестированию. Другие цели испытаний включают проверку функциональных возможностей, тестирование с использованием экстремальных и особенных данных и, наконец, объединение программ в функциональные группы.



) Официальное утверждение результатов испытаний иа имитаторе и эксплуатационные проверки будут осуществлены в конце щпсла разработки, проводимой по принципу сверху вниз.

называемые задачами. Наличие определенных функциональных возможностей прослеживается вплоть до конкретных ветвей в программных средствах и до технических требований к программному обеспечению. Вах<ной особенностью Проекта 5 является то, что для такого очень детального тестирования было специально запланировано время в графике работ, и для облегчения этого процесса были разработаны специальные средства.

Сразу же после завершения программных испытаний и тестирования связок программы разработанные средства передаются независимой организации для компоновки в единую систему. На этой стадии программное обеспечение испытывается под управлением операционной системы реального времени с применением специального имитатора рабочих условий, функционирующего в режиме реального времени. Именно на этом этапе испытаний генерируются Уведомления о проблемах; они и легли в основу данного исследования).

На основе 273 Уведомлений о проблемах, сформированных в ходе системных испытаний прикладного программного обеспечения, ориентированного на режим реального времени, была сделана попытка определить эффективность выбранной стратегии программных испытаний в плане обнаружения тех ошибок, на выявление которых она была специально нацелена. Результаты были разделены на три группы: ошибки, которые были обнаружены своевременно; ошибки, возможность более раннего обнаружения которых была спорной, и ошибки, которые проскочили программные испытания и были выявлены при испытаниях связок программ.

Группа спорных ошибок введена ввиду чрезвычайной важности обнаружения ошибок некоторых типов с помощью имитатора. Это значит, что более раннее обнаружение таких ошибок в принципе возможно, но в общем случае нецелесообразно. По этой



Г лава 4

причине доля спорных ошибок хорошо согласуется с долей ошибок, обнаруженных своевременно.

Результаты, полученные для Проекта 5 (табл. 4.15), свидетельствуют о значительном повышении эффективности программных испытаний по сравнению с Проектом 3: незамеченными оказались только 15,7% всех ошибок. Среди незамеченных ошибок наибольший процент (28,8%) составили логические ошибки, а наименьший (3,7%)-ошибки сопряжения. Вслед за логическими идут ошибки вычисленпа и ошибки манипулирования данными (19,0 и 17,2% соответственно). Сравнительно малый пропуск ошибок, связанных с базой данных, подчеркивает важность системных испытаний для настройки базы данных Проекта 5.

Таблица 4.15

Эффективность стратегии испытаний, принятой в Проекте 5

Процент выявленных ошибок

Классы ошибок

в Проекте 5

Е- Ш

своевременное

спорное выявление

несвоевре-менног

- к я о

U С

выявление

выявление

Вычислительные

62,0

19,0

19,0

Логические

48,1

23,1

28,8

Ввод-вывод данных

76,2

14,3

Манипулирование дан-

62,1

20,7

17,2

ными

Интерфейсы

96,3

Определение данных

47,4

36,8

15,8

База данных

79,6

11,1

Прочие

65,5

27,6

Всего

66,7

17,6

15,7

В процессе программных испытаний оказались не выявленными ошибки следующих категорий (черточка означает место для шифрующего символа):

А 000 Ошибки вычислений

А 100-неверный операнд в равенстве



1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 [ 64 ] 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105

© 2000 - 2018 ULTRASONEX-AMFODENT.RU.
Копирование материалов разрешено исключительно при условии цититирования.