Управление тестированием WEB приложений Лекция 8 1 августа 2016 Скворцов Олег Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 2460, +1 415 830 38 49 www. exactpro. com 1 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
План лекции 1. 2. 3. 4. 2 Тестовая документация. Тест-план, чек листы, отчеты ROI автоматизации Менеджемент. Профильные активности Менеджемент. Не профильные активности Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Основные типы документации - Тест-план - Чек лист - Тест-кейс 3 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Тест-план. Что тестируем? Для того что бы ответить на вопрос “Что? ” Необходимо выделить все необходимые для покрытия тестами требования: - спецификации - разбить всю функциональность на блоки 4 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Тест-план. Где тестируем? Для того что бы ответить на вопрос “Где? ” • Необходимо выделить все критерии определяющие локации проведения будующих тестов: - продакшен (приемочное) - пре продакшен (интеграционное, системное, приемочное) 5 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Тест-план. Когда тестируем? Для того что бы ответить на вопрос “Когда? ” Необходимо определить последовательность проводимых испытаний во времени: 6 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Тест-план. Как тестируем? Для того что бы ответить на вопрос “Как? ” Необходимо понять какие виды тестирования будут применяться в ходе испытаний: - ручное - автоматизированное - компонентное тестирование (3 ключевые фичи) - системное тестирование (весь функционал) - интеграционное (10 ключевых фич) - и т. д. 7 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Тест-план. Итого Хороший тест-план отвечает на вопросы: - что тестируем? - где тестируем? - когда тестируем? - как тестируем? 8 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Чек-лист содержит список проверок необходимых в рамках тестирования - Дает возможность разделегировать часть задач - Дает возможность указать какие проверки приоритетные 9 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Тест-кейс – документ, который описывает последовательность шагов, условий и параметров, необходимых для проверки объекта тестирования 10 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Тест-кейс. Содержание 1. Шаги Предусловие Тестовый сценарий Послесловие 2. Результат Ожидаемый Реальный 3. Вторичная информация Каждый тест должен быть атомарен! 11 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Планы по тестирования легко превратить в отчеты по тестирования Тест-план → Отчет по тестированию Содержит ответы на вопросы: - что тестируем? - где тестируем? - когда тестируем? - как тестируем? Чек-лист → Отчет по тестированию Содержит список проверок необходимых в рамках тестирования: - Статус проведенных проверок - Результат этих проверок 12 Тест-кейс → Отчет по тестированию - Шаги - Результат - Атрибуты результатов (кто, когда, выполнение автотестов) Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Преимущества и недостатки автоматизации Плюсы Требуются специфические знания (программист+тестировщик) Требуются машинные ресурсы Ограничения в проверке результата теста Нецелесообразна при частых изменениях в продукте 13 Быстрый фидбек о состоянии системы в целом (регулярные прогоны) Экономит время прогона теста Исключает человеческий фактор в тестировании Экономит время на генерации тестовых данных Тесты стоновятся автономными Минусы Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Сложно автоматизизировать 14 Проверка содержимого аудио/видео Юзабилити-тестирование Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Как определить выгодна ли будет автоматизация 15 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
ROI (Return On Investment) — это коэффицент возврата инвестиций, показатель рентабельности вложений. Он в процентном соотношении демонстрирует прибыльность (при значении больше 100%) или убыточность (при значении меньше 100%) конкретной суммы вложения денежных средств в определенный проект. Для расчета этого показателя используется следующие данные: Затраты — включает в себя абсолютно все затраты. Доход — конечная прибыль после автоматизации тестирования. ROI = Прибыль/Затраты = (Доходы -Затраты)/Затраты 16 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Фиксированные затраты Стоимость лицензии инструмента (в минусе в краткосрочной перспективе) Обучение или поиск специалиста по автоматизации Начальная подготовка инфраструктуры 17 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Переменные затраты 18 Разработка тестов Запуск тестов (можно свести к 0) Поддержка тестов Поддержка инфраструктуры Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Прибыль = (X - Y)*N Где: X – время на ручное тестирование Y – время на выполнение автотестов N – кол-во запусков за определенный промежуток времени 19 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Как влиять на ROI 20 1. Чаще запускать тесты (эффективные прогоны) 2. В первую очередь автоматизировать выгодные тесты 3. Оптимизируйте автотесты 4. Делайте постоянные замеры ROI Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Эффективные тестовые прогоны Время прогона автотеста < Времени прогона руками Автоматизированный прогон набора тестов экономит определенное время ручного прогона того же набора тестов. С каждым прогоном экономия времени увеличивается. !!! Но не стоит прогонять автотесты «в холостую» 21 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Выгодные автотесты Под выгодными для автоматизации тестами подразумеваются тесты, обладающие следующими критериями: 1. Минимальная сложность разработки 2. Минимальная сложность разработки 3. Максимальная важность 22 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Постоянные замеры ROI 1. Собирайте метрики и по возможности влияйте на ROI 23 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Менеджемент 24 Управление тестированием — это управление ресурcами: Управление сотрудниками (и Вы сами) на 5 -6 сотрудников — один ведущий специалист Управление активностями (кто чем занят) Управление временем (30 минут на занесение бага!!!! С шаблоном — 1 минута. ROI) Управление сроками (когда добавить новую фичу, перенос Go. Life) Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Нужна приборная панель - метрики 25 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Метрики. Что считать Вовлеченность сотрудников в проекты и активности. ФИО/Проект 1 Проект 2 Вася 40% 60% Петя 30% 70% Пример: на проекте 1 выкатили новый релиз. По подсчетам менеджера на Все тестирование должно уйти 45 часов. Сколько реально времени уйдет на тестирование релиза с учетом их вовлеченности на разных проектах. ФИО Минуты Вася 40% 360*4/10 = 144 Петя 26 % 30% 360*3/10 = 108 Итого В днях 2700/252 = 11 252 2700/252 = 11 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Метрики. Что считать Активности сотрудников на проектах ФИО/Активности Ручное тестирование Тест-дизайн Автоматизация тестирования Вася 50% 20% 30% Петя 30% 20% 50% - болезни - забухал 27 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Метрики. Что считать Эффективность тестирования: (Планируемое время)/(Потраченное время) Планируемое 10 20 0. 5 5 10 0. 5 Потрачено Эфективнос ть Задача 1 10/0. 5 = 20 20 1 Задача 2 28 Задача 1 Планируемое Неделя 2 Эфективнос ть Задача 2 Неделя 1 Потрачено 5/0. 5 = 10 10 1 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Метрики. Что считать Результативность тестирования: (Дефекты от тестирования)/(Дефекты тест. + Дефекты пользов. ) > 75% Всего багов Пропущено Результативн ость 200 X 20 90% 600 29 Период Y 60 90% Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
А что дальше? - Анализ метрик (сбой из-за нового сотрудника) - Действовать (убрать сотрудника из общей метрики, устроить обучение) - Разделяй и властвуй! 30 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Не профильные активности 1. Найм сотрудников 31 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Найм сотрудников 1. Расширение 2. Увольнение 3. Отпуск, больничка 32 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Найм сотрудников - поиск кандидатов (по технологиям, соц. Сети, сарафанное радио, прошлая работа) - Отбор резюме (исчерпывающая информация, достоверная информация) - Собеседование (обосновать причину поиска, расказать о компании и проектах, “печеньках”, посмотреть на поведение, позвать коллег на собеседование, внешний вид, психологические аспекты, должен вписаться в коллектив, указать диапазон з/п, предложить “продать” Себя, сообщите о результате собеседования!) - Выбор кандидата 33 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Адаптация сотрудника Объекты для ознакомления новичка: - Команда - Процесс работы (общение, инструменты) - продукт (документация) - традиции (д. р. , окончание испытательного срока) 34 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Обучение сотрудников Объекты для углубленного изучения: - квалификация (желания сотрудника, интернет) - экспертиза по продукту (туториалы, другой сотрудник) - инструменты (по автоматизации, багтрекеры) - навыки управления 35 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Другие вопросы Мотивация vs. Стимуляция Важно определить индивидуальные мотиваторы и стимуляторы (кофе, з/п, штрафы), чтобы в дальнейшем использовать их. Оперативное решение вопросов Кофликты, отстаивать интересы колектива, брать ответственность на себя Увольнение персоонала Указать причины (либо только самому сотруднику, либо коллективу), не допустить цепной реакции 36 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Вопросы 37 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Спасибо 38 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com
Скачать презентацию Управление тестированием WEB приложений Лекция 8 1 августа
Lektsia_8_Testirovanie_WEB_management_v1.pptx