Насколько это допускала каждая очередная итерация нисходящего метода.

2) Для оценки эффективности тестов системного уровня с помощью автоматических средств имевщийся объем оперативной памяти оказался недостаточным.

1.8.5. Особенности программы испытаний Проекта 5

Основная особенность программы испытаний в рамках данного проекта состояла в том, что никл стендовых испытаний отличался довольно высокой степенью формализации. Конкретными целями этого цикла являлись демонстрация выполнения требований на уровне программ, практическая проверка всех программ и демонстрация полного набора функциональных возможностей программы с помощью фор-, мальных контрольных примеров Кроме того, предусматривалось всестороннее тестирование интерфейсов нижнего уровня. Стендовые испытания проводились на уровнях программ и задач (аналогичных уровню функций в Проекте 3), что потребовало конструирования специальных драйверов.

За стендовыми испытаниями следовал цикл системных испытаний, целью которых была демонстрация правильной реализации связей между задачами, составляющими подпроцессы, и между подпроцессами, образующими различные реальные процессы. Этот цикл тестирования осуществлялся независимой группой испытаний, которая формировала Уведомления о проблемах типа Донесений о несоответствиях. Фактически такое тестирование проводилось на системном уровне, так как испытывалась вся система программного обеспечения в целом ) во взаимодействии с имитатором, работающим в режиме реального времени.

Несмотря на отсутствие конкретной меры эффективности тестов на уровне процесса или системы 2), глубина проверки оценивалась на программном уровне с использованием динамических средств анализа ветвей программы. Такой подход гарантировал достаточно полное тестирование всех исполняемых блоков, а для выбранной части прикладного программного обеспечения - проверку всех возможных логиче-

36 ---------- Глава 1 ----- - ~

ских путей. При этом уже на начальном этапе программных испытаний использовалась достаточно правдоподобная база данных. Вопросы эффективности подобной организации испытаний будут рассмотрены в гл. 4.

1.9. Данные о персонале

Оценка персонала включала данные только о программистах фирмы TRW, принимавших участие в Проекте 3, прич-ем их работа оценивалась вплоть до момента сдачи программных изделий, т. е. в конце цикла демонстрации работоспособности системы в реальных условиях. Тот факт, что оценивалась только работа программистов, объяснялся отсутствием необходимых данных по Проекту 3 и субъективным характером оцениваемых параметров. Кроме того, было признано нецелесообразным проводить независимую оценку персонала, занятого в испытаниях, из-за невозможности количественной оценки эффективности конкретных примеров). Не исключено, однако, что предлагаемые ниже критерии оценки программистов окажутся в равной степени пригодными и для оценки персонала групп испытаний.

Выбор оцениваемых параметров основывался на следующих результатах наблюдений:

- Опыт программиста как в части общего стажа работы по специальности, так и в конкретной области не играет существенной роли с точки зрения надежности создаваемых им программ.

- Графики разработки были жесткие, людские ресурсы иногда ограничены, и нередко возникали кризисные ситуации.

- Все программное обеспечение сдавалось в установленные сроки и получало одобрение заказчика.

С учетом перечисленных -факторов было принято решение считать наиболее важными две обобщенные Х5ценки эффективности программиста: критерий, непосредственно характеризующий его самого, и крите-

) Оценка работы персонала испытателей особенно заманчива, поскольку, как будет показано в гл. 4, программистам и независимым группам испытаний Проекта 3 соответствуют два совершенно различных набора характеристтеских параметров.

рий, характеризующий выполняемую им работу. Поскольку эти оценки не зависят одна от другой, выводилась оценка эффективности программиста при выполнении им конкретной работы. В табл. 1.4 представлены параметры, которые учитывались при исследовании зависимости между характеристиками программистов и качеством программного обеспечения.

Таблица 1.4

Параметры, учитываемые при оценке персонала

Параметры программиста

Оцениваемые факторы

Технические возможности *)

Уровень знаний

Уровень способностей

Стиль работы

Уровень инициативности

Степень ответственности

Знакомство с языком и машиной, с техникой проектирования, с принципами обработки данных

Способность к решению проблем, творческие способности, острота мышления

Пони.мание стоящих задач, быстрота решения задач и организации их взаимодействия; эффективность использования рабочего времени

Сосредоточенность иа выполняемой работе; решимость работать хорошо; готовность к сверхурочной работе в случае необходимости

J Технические возможности не связаны со стажем работы, Зиачения оценок программиста: 1-неудовлетворительная, 2 -удоп-летворительяая, 3 -средняя, 4 -отличная, 5 -высшая.