На основании этих параметров можно получить следующие оценки:

Оценка программиста = Уровень знаний +

-f Уровень способностей + Уровень инициативности+

+ Степень ответственности,

Оценка программиста относительно некоторой

работы = {2,0 - коэффициент загрузки) X

X Оценка программиста.

Оценка была сделана для 76 программистов фирмы TRW, которые либо непосредственно работали над программным обеспечением Проекта 3, либо несли ответственность за его создание. Оценка производилась непосредственным руководителем программиста после завершения проекта.

1.10. Характеристики использования ЭВМ

в ходе исследований удалось получить информацию о количестве машинного времени, затраченного на проведение формализованных испытаний по Проекту 3, правда, не в единицах процессорного времени. Регистрировалось время начала и окончания прогона каждой программы, создаваемой фирмой TRVV, во время разработки и тестирования. Анализ характеристик использования ЭВМ в процессах разработки и тестирования программных средств в связи с рассмотрением документированных проблем, возникших в ходе испытаний, приводится в гл. 4.

Вопрос о взаимосвязи используемого машинного времени и количества обнарулсиваемых за это время ошибок являлся предметом затялсных и часто весьма острых дискуссий. Однако в результате проведенных исследований стало очевидно, что для правильного решения этой проблемы необходимо точно регистрировать процессорное и текущее время в привязке к конкретным циклам работы системы программного обеспечения.

Глава 2 Классификация ошибок

В данной главе рассматриваются вопросы распределения ошибок в системах программного обеспечения по категориям. Основное внимание уделяется перечням категорий ошибок, полученным в ходе исследования и используемым в дальнейшем при анализе проблем надежности программного обеспечения. Наряду с этим высказывается ряд обш,их замечаний и даются некоторые рекомендации относительно решения задачи классификации ошибок.

Прежде всего следует уточнить, что категория ошибок определяется нами как видовое описание ошибок конкретных типов. Исходным материалом для категоризации ошибок послужили Уведомления о проблемах и Сообщения о закрытии проблем, которые в равной мере необходимы для точной классификации ошибок. Причины этого становятся понятными, если рассмотреть задачу классификации ошибок в системах программного обеспечения с точки зрения формирования перечня категорий ошибок, присвоения определенных категорий Уведомлениям о проблемах (ошибках) и анализа полученных результатов.

2.1. Формирование перечня категорий ошибок для Проектов 2, 3 и 4

Использованный нами подход к формированию перечня категорий ошибок (категорий отказов, шифров ошибок или категорий дефектов, как их еще иногда называют) основан на анализе Уведомлений о проблемах и Сообщений о закрытии проблем, а не на априорном составлении списка категорий. Это было сделано по двум причинам. Во-первых, существующие

) С началом анализа ошибок в Проекте 5 дальнейшие изменения перечня категорий ие разрешались.

СПИСКИ, как правило, довольно длинны (самый большой из них насчитывает 400 категорий) и, во-вторых, исследовались проекты, каждому из которых были присущи свои характерные черты. Кроме того, информация, полученная из уведомлений и сообщений, отличалась еще и по содержанию.

В случае Проекта 3, который являлся самым обильным источником информации об ошибках, пробное исследование для получения перечня категорий ошибок было проведено на выборке из 600 Уведомлений о проблемах. Выборка была сделана в середине этапа испытаний Проекта 3 с целью использования преимуществ более высокого качества Уведомлений о проблемах, написанных после завершенрш начального периода обучения персонала испытателей. После составления перечня категорий Уведомления о проблемах по Проектам 2, 3 и 4 были классифицированы в соответствии с этим перечнем. Основные изменения в виде добавлений и уточнений, которых, кстати, оказалось неожиданно мало, носили характер перегруппировки существующих категорий ). В результате анализа Проекта 4 было добавлено 26 новых категорий. Половина из них была добавлена потому, что Проект 4 связан с действующей системой, в которой было сделано много изменений по требованию пользователей, а другая половина - для большей детализации уже выделенных категорий или отражения категорий, специфичных для Проекта 4.

Здесь следует заметить, что, хотя правильность выделения основных категорий может подвергаться сомнению, они выбирались по возможности так, чтобы обеспечивалась согласованность группировки ошибок с методами определения характеристик и типов программ (гл. 1).

В табл. 2vl представлено 169 основных категорий ошибок, объединенных в 20 классов. По каждой категории приводится общее число ошибок для каждого проекта и для четырех модификаций Проекта 2. Подробный анализ этих данных проводится в гл. 3.