Метрики качества программного проекта Введение Процессы

) Метрики качества программного проекта

Введение Процессы разработки, приобретения и внедрения сложных систем Жесткий управленческий контроль характеристик Метрики качества ПО 2

Введение Наиболее важная характеристика программных продуктов Качество “You cannot control what you cannot measure” Метрики качества ПО 3

Метрики качества ПО l Понятие качества и его многомерность l Характеристики качества и его цена l Качество продукта, процесса, его организации l Метрики качества l Иерархизация метрик l Статистический анализ Метрики качества ПО 4

Понятие качества и его многомерность Качество - это полнота свойств и характеристик продукта, процесса или услуги, которые обеспечивают способность удовлетворять заявленным или подразумеваемым потребностям. (Определение ISO) Качество программного обеспечения - это степень, в которой оно обладает требуемой комбинацией свойств. (Определение IEEE) Метрики качества ПО 5

Понятие качества и его многомерность Information Systems Quality Качество организации Качество ПО ISQ Качество сервиса Качество данных информации Качество инфраструктуры Качество обслуживаемого бизнес процесса Enterprise Quality Метрики качества ПО 6

Понятие качества и его многомерность качество аппаратного и качество поддерживающего информации, программного продуцируемое обеспечения информационной качество (например, системой программного качество данных, операционных обеспечения использующихся систем, информационной качество информационной компьютерных системы. менеджмента, системой на входе сетей и т. п. ). включая качество бюджетирования, обслуживаемого планирования и бизнес процесса календарного качество обучения, контроля системной поддержки и т. п. l Качество инфраструктуры l Качество ПО l Качество данных l Качество информации l Качество организации l Качество сервиса l Качество процесса Метрики качества ПО 7

Понятие качества и его многомерность Анализ Сферы ответственности заинтересованных сторон in-process stakeholder end-of-process stakeholders Управление качеством будет успешным, если под контролем находятся все измерения качества. Метрики качества ПО 8

Понятие качества и его многомерность l Качество продукта l Качество процесса l Качество организации Метрики качества ПО 9

Характеристики качества НАЧАЛЬНЫЙ ЭТАП ЖЦ Разработчики Заказчики Цель проекта и детализация Набор функций Характеристики качества Метрики качества ПО 10

Характеристики качества Отсутствие характеристики при договоре Разный учёт или пропуск при испытаниях КОНФЛИКТ! Метрики качества ПО 11

Дерево характеристик качества Не существует единственной метрики Спектр проектно-зависимых метрик Метрики качества - изначально неочевидная категория Метрики качества ПО 12

Дерево характеристик качества Исторически сначала были выделены ряд универсальных и неполных метрик на основе следующих шагов 1. Определение множества характеристик, которые, являясь важными для программного обеспечения, допускают несложное измерение и не перекрываются. 2. Выделение кандидатов в метрики, которые измеряют степень удовлетворения указанным характеристикам. Метрики качества ПО 13

Дерево характеристик качества 3. Исследование характеристик и связанных метрик, для определения корреляции, значимости, степени автоматизируемости. l 4. Исследование корреляции между метриками, степени перекрытия, зависимости и недостатков. Метрики качества ПО 14

Дерево характеристик качества 5. Рафинирование множества метрик в целом во множество метрик, которые в совокупности адекватно отражают качество программного обеспечения. l 6. Корректировка каждой метрики в итоговом множестве в контексте зафиксированных множеств характеристик и метрик. Метрики качества ПО 15

Дерево характеристик качества Дифференциация нижнего уровня иерархии Ручной сбор информации, специальные автоматизированные средства или экспертный способ Метрики качества ПО 16

Пример графического изображения качества Корректность 97% Надежность 61% Ремонтопригодность 60% Безопасность 100% Гибкость 82% Удобство в использовании 100% Метрики качества ПО 17

Цена качества - стоимость в составе продукта, качества которая может быть сэкономлена, если все исполнители работают безупречно. Стоимость работ на доработку Метрики качества ПО 18

Цена качества Согласованная сумма, затраченная на достижение качества продукта Несогласованная Цена предупреждения Цена контроля включает все издержки понесенные, вследствие выявления недостатков, возникновения ошибок и выхода из строя Внутренние издержки Метрики качества ПО Внешние издержки 19

Цена качества Согласованная Цена предупреждения контроля Предупреждением дефектов прежде, чем они произойдут (обучение коллектива , переход на современные технологии) Метрики качества ПО 20

Цена качества Согласованная Цена предупреждения контроля Измерение, оценивание или ревизия продукта Метрики качества ПО 21

Несогласованная Цена качества Внутренние издержки Внешние издержки Издержки связанные с проблемами, выявленными до того, как продукт отправлен заказчику Затраты связанные с ошибками, проявившимися при эксплуатации продукта при Метрики качества ПО 22

Цена качества l Совершенствование процесса разработки и внедрения программного обеспечения значительно уменьшают относительную несогласованную стоимость качества при сохранении согласованной стоимости не прежнем l Инвестиции в совершенствование процесса разработки ведут к значительному сокращению дефектов и дают высокий положительный экономический эффект Метрики качества ПО 23

Лекция 2 Качество продукта Какие характеристики важнее? l Пользователь – Применение ПО, его производительность, результаты использования. l Разработчик – Требования пользователя к конечному продукту – Характеристики качества промежуточной продукции l Руководитель – Общее качество – Коммерческие требования Метрики качества ПО 24

Определение требований качества Выбор Метрик Определение уровня ранжирования Определение критерия оценки Разработка ПО Продукция или промежуточный продукт Измерение Ранжирование Оценка Подготовка Определение требований Оценка качества программного продукта Оценивание Качество продукта Продукт приемлем или нет Метрики качества ПО 25

Качество процесса, его организация Модель качества процесса разработки Зрелость программного процесса + + Качество разработки Сложность продукта + + Качество реализации + + + Качество продукта - - Двусмысленность требований структура продукта Метрики качества ПО 26

Качество процесса, его организация Следствия принятой модели: l Качество накапливается в продукте при сложном производстве кумулятивным образом, причем, вклад в качество, осуществленный на ранних стадиях, имеет более сильное влияние на конечный продукт, чем на более поздних стадиях. l Тестирование и измерение качества должно происходить на всех стадиях жизненного цикла. Метрики качества ПО 27

Качество процесса, его организация Подход тотального управления качеством (TQM – Total Quality Management) Стандарты: l ISO 9001 -проектирование в процессе производства l ISO 9000 -3, формулирует требования модели качества ISO 9001 к организации процесса разработки программного обеспечения Метрики качества ПО 28

Качество процесса, его организация l Наличие процесса разработки программного обеспечения, удовлетворяющего высокому уровню качества, не гарантирует выпуска продукта высокого качества. l Отсутствие информации о качестве процесса означает, что качество разрабатываемого продукта является непредсказуемым. Метрики качества ПО 29

Метрики качества При выборе метрик главными показателями являются : l Адекватность метрик целям качества l Прозрачность и четкость интерпретации l Экономическая эффективность получения Метрики качества ПО 30

Метрики качества Метрики менеджмента: l Цена (Cost) расходы на приобретение/ процент целевых разработку компьютерных мера времени от мера способности ресурсов, формирования производителя используемых заказа на разрабатывать системой программу до программное поставки обеспечение высокого качества l Время разработки (Time-to-market) l Среда разработки (Software Engineering Environment) l Использование системных ресурсов (System Resource Utilization) Метрики качества ПО 31

Метрики качества Метрики требований: l Соответствие требованиям (requirement conformance) l Стабильность требований (requirement stability) Метрики качества ПО дают возможность контролировать спецификации, изменение требований, а также степень их удовлетворения 32

Метрики качества: кумулятивное число l Адаптируемость(adaptibility) обнаруженных метрика, ошибок l Сложность интерфейсов измеряющая и интеграции (complexity of степень сложности interfaces and integration) степень полноты интерфейса или мера гибкости вероятность работы l Тестовое покрытие степень различных типов дополнительного системы без отказов соответствия (test coverage) тестирования программного l Надежность (reliability) требуемого для обеспечения l Профили ошибок (fault profiles) интеграции ожиданиям и l Степень удовлетворения компоненты в требованиям потребностей заказчика систему заказчика (customer satisfaction) Метрики качества ПО 33

Метрики качества Циклическая модель l Гибкость (flexability) – Модульность (Modularity) – Изменяемость (Changeability) – Сопровождаемость (Maintainability) l Адаптивность (adaptability) – Настраиваемость (customizability) – Переносимость (Portability) – Способность к взаимодействию (Interoperability) Метрики качества ПО 34

Метрики качества Стоимость эксплуатации и сопровождения в составе общей стоимости владения системы (total cost ownership ) увеличивается с ростом системы опережающими темпами Вывод: Чем легче программный продукт модифицировать, тем легче достичь изначальных показателей качества ( кроме производительности ) Метрики качества ПО 35

Лекция 3 Проектно-ориентированные метрики качества Проектно-ориентированные метрики качества разрабатываются в виде стандарта качества на ранних стадиях разработки проекта. Продукт проекта должен удовлетворять этим метрикам на всех стадиях. Такие метрики разрабатываются структурно - сверху-вниз. Метрики качества ПО 36

Методология создания проектноориентированных метрик качества l Определение нетехнического уровня l Определение технического уровня l Декомпозиция суб-факторов в метрики Метрики качества ПО 37

Определение нетехнического уровня (предназначен для заказчика) l Формирование требований качества l Выбор свойств, установка приоритетов и связи с требованиями. l Присвоение свойств факторам качества, которые отражают представление заказчика на качество. l Установка измерений для факторов качества. Определение допустимых коридоров для величин качества. Метрики качества ПО 38

Определение технического уровня (предназначен для разработчиков) Производится декомпозиции факторов качества в измеряемые характеристики программного обеспечения, определяемые как суб-факторы. Метрики качества ПО 39

Декомпозиция суб-факторов в метрики (нижний уровень иерархии) Это уровень разработанных правил и норм, которым должен удовлетворять продукт или процесс с тем, чтобы были выполнены факторы качества. Метрики качества ПО 40

Статистический анализ Метрики качества ПО 41

Методы статистического анализа Гистограмма • Диаграммы рассеивания • Контрольные карты • Диаграммы Парето • Метрики качества ПО 42

Гистограмма Гистограмма - это графический метод Гистограмма представления данных, сгруппированных по частоте попадания в определенный интервал. Метрики качества ПО 43

Диаграммы рассеивания Диаграммы рассеивания – графическое рассеивания представление пар исследуемых данных в виде множества точек на координатной плоскости. Предназначены для оценки наличия или отсутствия зависимости между двумя изучаемыми величинами. Метрики качества ПО 44

Контрольные карты Контрольные карты графически отражают карты динамику процесса, т. е. изменение показателей во времени. На карте отмечен диапазон неизбежного рассеивания, который лежит в пределах верхней и нижней контрольных границ. Метрики качества ПО 45

Диаграммы Парето отражает Диаграмма Парето - графическое отражает причины представление степени важности факторов. проблем по кадрам, нежелательные оборудованию, методам результаты в сферах для Предназначена определения работы качества, немногочисленных существенно важных себестоимости, причин. поставок, безопасности Диаграмма Парето: • по результатам деятельности • по причинам Метрики качества ПО 46

Список литературы 1. Александр Попов «Метрики качества программного обеспечения» , http: //www. pmprofy. ru/ 2. Владимир Липаев, «Сетевой журнал» № 3. 2002 3. Владимир Липаев «Стандартизация характеристик и оценивания качества программных средств» , http: //www. fostas. ru/library/Lipaev_6. rtf 4. Владимир Липаев «Сертификация систем качества предприятий, разрабатывающих программные средства для информационных систем, на соответствие стандартам серии ISO 9000» , http: //tqm. stankin. ru/arch/n 01/08. html 5. ГОСТ Р ИС 09126 «Характеристики качества и руководства по их применению» 6. Жарко Е. Ф. «Проблемы управления качеством программного обеспечения» http: //www 31. ipu. rssi. ru/0887. pdf 7. Романов В. Ю. «Анализ программного обеспечения с использованием объектно-ориентированных метрик. Обзор метрик» , http: //oit. cmc. msu. ru/romanov/russian/pub/OOMetrics-Report. htm 8. http: //www. ispu. ru/library/lessons/mizonov/index. html 9. http: //spc-consulting. ru/ Метрики качества ПО 47