Составление тестов Лекция 4 20 июня 2016 Сергей

Составление тестов Лекция 4 20 июня 2016 Сергей Чубуров Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 2460, +1 415 830 38 49 www. exactpro. com 1 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Содержание - Почему нужно составлять тестовые сценарии - Способы составления тестовых сценариев - Тестирование без чётких требований 2 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Что даёт составление сценариев Прояснение требований Отслеживание тестового покрытия Разделение труда Повторяемость проверок 3 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Подходы к составлению тестов Основанные на знании функционала системы(Black box) (это метод сокращения числа тестов путем выбора одного теста из эквивалентного набора) Основанные на знании структуры системы(White Box) (это метод проверки переменных программы на их границах) Основанные на опыте(Experience based) (это проверка всех функций продукта, одна за одной) 4 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Техники основанные на знании функционала Разбиение на классы эквивалентности Метод сокращения числа тестов путем выбора одного теста из эквивалентного набора Анализ граничных значений Метод проверки переменных программы на их границах Таблицы решений Инструмент для упорядочения и структурирования сложных бизнес требований, которые должны быть реализованы в продукте, через составление матрицы. Таблицы/диаграммы переходов состояний Определяют все события, которые возникают во время работы приложения, и как приложение реагирует на эти события в контексте изменения его состояния или состояния отдельных компонентов. Проверка сценариев использования Проверка продукта по наиболее частым и важным сценариям использования – use cases 5 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Классы эквивалентности Это техника, которая заключается в разбиении всего набора тестов на классы эквивалентности с последующим сокращением числа тестов. Целью данной техники является не только сокращение числа тестов, но и сохранение приемлемого тестового покрытия. Определить классы эквивалентности. Это главный шаг техники. От него во многом зависит эффективность её применения. Выбрать одного представителя от каждого класса. На этом шаге из каждого эквивалентного набора тестов мы выбираем один тест. Выполнить тесты. На этом шаге мы выполняем тесты от каждого класса эквивалентности заметное сокращение времени и улучшение структурированности тестирования. при неправильном использовании техники мы рискуем пропустить проблемы. 6 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Классы эквивалентности пример Функция подсчета комиссии при отмене бронирования авиабилетов. Размер комиссии зависит от времени до вылета, когда совершена отмена: • За 5 суток до вылета комиссия составляет 0% • Меньше или равно 5 суток, но больше или равно 24 часов – 50% • Меньше 24 часов, но до вылета – 75% • После вылета – 100% 1 класс: время до вылета > 5 суток 2 класс: 24 часа <= время до вылета <= 5 суток 3 класс: 0 часов < время до вылета < 24 часа 4 класс: время до вылета <= 0 часов (вылет уже состоялся) время до вылета = 10 суток (тест из 1 -го класса) время до вылета = 3 суток (тест из 2 -го класса) время до вылета = 12 часов (тест из 3 -го класса) время до вылета = -30 мин (тест из 4 -го класса) http: //33 testers. blogspot. ru/2013/07/blog-post_27. html 7 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Граничные значения Давно замечено, что при разработке большое число проблем возникает на границах значений входных переменных. Это техника проверки ошибок на границах классов эквивалентности. Её цель является найти ошибки, связанные с граничными значениями. Эффективное применение этой техники зависит от способности правильно выделить классы эквивалентности и затем выбрать тесты для проверки границ этих классов Выделить классы эквивалентности. от правильности разбиения на классы эквивалентности зависит эффективность тестов граничных значений. Определить граничные значения этих классов. Понять, к какому классу будет относиться каждая граница. Провести тесты по проверке значения до границы, на границе, и сразу после границы. 8 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Граничные значения пример 2. Определим границы: • 5 суток • 24 часа • 0 часов 3. Определим, к какому классу относятся границы: 1) время до вылета > 5 суток 2) 24 часа =< время до вылета =< 5 суток 3) 0 часов =< время до вылета < 24 часа (минуты и секунды учитываются, например, 0 ч 1 сек) 4) время до вылета < 0 часов (вылет уже состоялся) 5 суток – ко 2 -му классу 24 часа – ко 2 -му классу 0 часов – к 4 -му классу 9 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Таблицы решений В таблицах решений представлен набор условий, одновременное выполнение которых должно привести к определенному действию. Заставляет лучше проанализировать тестируемый продукт, систематизировать все знания по нему, а в итоге получить готовые тест-кейсы Может быть сложной и громоздкой 10 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Таблицы решений пример «Регистрация нового пользователя на сайте» Веб-форма содержит два обязательных к заполнению поля: имя (не логин) и адрес эл. почты 11 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Таблицы/диаграммы переходов состояний В отличии от Decision tables, которые описывают конкретное состояние приложения, State. Transition описывают как эти состояния приложения могут меняться. Состояние (state) Круг на диаграмме Переход (transition) Стрелка на диаграмме Событие (event) Ярлык над стрелкой Действие (action) после "/" в ярлыке над переходом Условие (condition) « [ ] » над переходом http: //w 1 zle. blogspot. ru/2010/11/state-transition-testing. html Chapter 7 : "A Practitioner'S Guide To Software Test Design" by Lee Copeland. 12 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Таблицы/диаграммы переходов состояний пример Пример резервации авиабилетов. 13 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Таблицы/диаграммы переходов состояний пример Могут быть легко использованы для создания тест кейсов. Необходимо создать набор тест-кейсов, который должен пройти по всем переходам хотя бы раз. 14 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Таблицы/диаграммы переходов состояний пример 15 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Проверка сценариев использования Проверка сценариев поведения системы на основании её предполагаемого использования, такие тестовые сценарии наиболее полезные и обладают наивысшим приоритетом при проверке - нормальный случай - расширения - исключительные ситуации 1)Идентификация вводимых данных и значений 2)Выделение классов эквивалентности(при необходимости граничных значений) входных данных 3)Построение шаблона сценария 4)Написание сценариев на основании заданного шаблона http: //www. protesting. ru/testing/testdesign_practice. html 16 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Проверка сценариев использования 1)Идентификация вводимых данных и значений На основании имеющихся требований или нашего понимания логики работы системы пытаемся понять - какие из полей обязательные для заполнения? - имеют ли поля ограничения по длине или по размерности (границы)? - какие из полей имеют специальные форматы? 2)Определение набора тестовых данных 17 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Проверка сценариев использования 3)Построение шаблона сценария 18 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Проверка сценариев использования 4)Написание сценариев на основании заданного шаблона 19 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Техники основанные на знании структуры системы - Составление сценариев - Работа с исходным кодом 1)Анализ синтаксиса и структуры кода 2)Составление метрик на основе юнит тестов Покрытие операторов(Statement coverage) Выполнение каждого оператора программы, по крайней мере, один раз Покрытие ветвлений/решений(Decision coverage) Каждое условие в программе примет как истинное значение, так и ложное значение Покрытие условий(Condition coverage) Каждый оператор выполнится не менее одного раза https: //ru. wikipedia. org/wiki/Тестирование_по_стратегии_белого_ящика 20 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Покрытие операторов(Statement coverage) Каждый оператор программы выполняется, по крайней мере, один раз. 1)А = 2, В = 0 и Х = 3 http: //pandia. org/text/78/208/48588 -3. php 21 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Покрытие ветвлений/решений(Decision coverage) Каждое ветвление на этих тестах примет значение истина и ложь по крайней мере один раз. 22 1)А = 2, В = 0, Х = 1 2)A = 1, B=0, X = 0 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Покрытие условий(Condition coverage) Все возможные результаты каждого условия в ветвлении выполнялись, по крайней мере, один раз. 23 1)А = 2, В = 0, Х = 3 2)A = 1, B=1, X = 1 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Техники основанные на опыте Тесты составляются на основании знаний тестировщика, его интуиции, опыта работы с аналогичными системами Предугадывание ошибки (Error Guessing) Попытка предугадать появление шибки в определённом месте системы на основании опыта или информации о предыдущих дефектах. Составляется список потенциальных ошибок, создаются сценарии, проводится тестирование Исследовательское тестирование (Exploratory testing) Это одновременное изучение программного продукта, проектирование тестов и их исполнение. Когда мы не можем сказать, какие тесты должны быть выполнены, или не имели возможности эти тесты создать 24 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Если всё плохо(ни чётких требований ни опыта) ØГотовые продукты ØРелевантные продукты ØСтарые версии продукта ØДискуссии о продукте в почте ØКомментарии разработчиков ØЖурнальные статьи (например обзор старых версий продукта) ØКниги по релевантным предметам 25 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Важно - осознанность 26 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Список источников http: //33 testers. blogspot. ru/2013/07/blog-post_20. html http: //33 testers. blogspot. ru/2013/07/blog-post_27. html http: //software-testing. ru/library/testing/test-analysis/605 -use-cases http: //w 1 zle. blogspot. ru/2010/11/2 -equivalence-class-testing-boundary. html http: //sonata-lunatica. blogspot. ru/2013/07/decision-table-testing. html http: //software-testing. ru/library/5 -testing/78 -2008 -09 -29 -07 -33 -51 http: //w 1 zle. blogspot. ru/2010/11/state-transition-testing. html Chapter 7 : "A Practitioner'S Guide To Software Test Design" by Lee Copeland. http: //www. protesting. ru/testing/testdesign_practice. html https: //ru. wikipedia. org/wiki/Тестирование_по_стратегии_белого_ящика http: //pandia. org/text/78/208/48588 -3. php http: //www. software-testing. by/blog/tag/issledovatelskoe-testirovanie/ 27 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Вопросы 28 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com

Спасибо 29 Open Access Quality Assurance & Related Software Development for Financial Markets Tel: +7 495 640 24 60 , +1 415 830 38 49 www. exactpro. com