печения (исходной программы или базы данных) и его документации. Подробный анализ частоты появления ошибок различного типа для каждого базового проекта проводится в гл. 3, особое внимание при этом обращено на ошибки, приводящие к изменению программ или базы данных. Эти ошибки мы назвали программными ошибками, или действительными проблемами.

2.6. Эволюция перечней категорий ошибок

Наш опыт формирования списков категорий ошибок весьма поучителен, так как может помочь преодолению целого ряда трудностей, связанных прежде всего с рациональным выбором длины перечня. Краткий итоговый обзор наших усилий приведен в табл. 2.3. В ней отражена деятельность, начиная с первых работ 1971 г., выполненных в рамках проекта CCIP-85, и вплоть до нынешних исследований, рассматриваемых в данной книге.

Отметим, что эти списки по длине изменялись от очень коротких, когда ошибки в программном обеспечении не были поняты с достаточной полнотой, до очень длинных, когда преобладала заинтересованность в детализации ошибок; затем список снова становится довольно коротким, но всесторонним и информативным, учитывающим требование простоты использования как необходимое условие для сбора достоверных данных об ошибках.

Вопрос универсальности этих списков, т. е. возможности их применения в других проектах, является вопросом, на который можно дать ответ лишь в ограниченных пределах. Так, список, использованный в Проекте 5, является во многих отношениях подобным перечню, используемому в Проекте 3. Все определяется характером конкретного проекта. Обобщенные категории (классы), например логические ошибки, ошибки вычислений, ошибки сопряжений и т. п., оказываются в части применимости вполне универсальными. В то же время детализированные категории менее универсальны из-за различий в применяемом язы-

Эволюция перечней категорий ошибск

<и rt га

Этап формирования

Примечания

Исследования, проведенные с целью обеспечения качественного выполнения работ по проекту CCIP-85

Анализ результатов, полученных в рамках проекта CCIP-85

Анализ данных промышленного технического отчета по проблеме изучения надежности программного обеспечения (табл. 2.1)

Анализ результатов первых работ в области создания перечня причинных категорий

Окончательный вариант перечня причинных категорий (табл. 2.2)

Перечень целиком симптоматический

Больн:е внимания уделяется причинам ошибок. Программы пе разделяются по типам

Перечень носит в основном симптоматический характер

Программы разделяются по типам

Категорию устанавливал ие тот, кто выявлял проблему

Перечень получен па основе здравого смысла; слишком длинен; труден для использования

Перечень всесторонний, но краткий; легок для использования; категорию ошибки определяет тот, кто выявляет проблему

ке, методологии разработки, типе программного обеспечения и т. д. После того как данные собраны, можно достаточно точно оценить их применимость в конкретных условиях испытаний программного обеспечения. Использованный в Проекте 5 список, очевидно, пригоден для прикладных систем реального времени и моделирующих программ, а также для проведения аттестации программных изделий. Однако вызывает сомнение пригодность детализированных категорий

*) Программы Такой системы пишутся на языке АССЕМ-БЛЕРа, а все остальные программные средства написаны на ФОРТРАПе.

ДЛЯ оценки программных средств действующей системы, работающей в режиме реального времени). Никаких попыток анализа полноты окончательного перечня не предпринималось, потому что, даже несмотря на прямое указание ограничиваться в классификации ощибок категориями обобщенного уровня, все же использовались и детализированные категории, причем последующая проверка показала, что категории в таких случаях определялись правильно.