Курс «Основы тестирования ПО» Лекция №2 Докучаев Сергей

Курс «Основы тестирования ПО» Лекция №2 Докучаев Сергей / руководитель группы нефункционального тестирования/ Тензор, 2014

2 Что будет на этой лекции Что такое тест-дизайн. Термины. Техники черного ящика Техники белого ящика Выводы Самостоятельные задания

3 Сначала про ошибки… World of Warcraft 13 сентября 2005, Зул’Гуруб, Хаккар не учли все возможности персонажей будет что рассказать внукам

4 Сначала про ошибки… Kill Screen на 255 уровне (Pac-Man, Duck Hunt) не учли все возможности фанатов образовались экстра-уровни для игроков

5 Литература Lee Copeland “A Practitioner's Guide to Software Test Design” Torbjörn Ryber “Essential Test Design”

6 Терминология

7 Терминология Что такое ошибка?

8 Терминология Что такое ошибка? Ошибка – это несоответствие между желаемым и действительным

9 Концепция полного тестирования calc(x:int, y:int) - покрыть юнит-тестами данную функцию ||(X,Y)|| = 264 На 1 Гц машине потребуется 3K лет, что бы прогнать все тесты, если он будет состоять из 100 команд

10 Концепция полного тестирования Полное тестирование невозможно.

11 Методы тестирования Черный, белый, серый…

12 Терминология Тестовый случай, test-case – набор условий, при которых анализируется реакция системы. Условия – действия и/или данные Типичная (но не обязательная) структура: Действие №1 Действие №2 … Ожидаемый результат

13 Терминология Позитивный и негативный сценарии

14 Терминология Если тестирование – это процесс, при котором мы задаём вопрос тестируемому объекту и анализируем ответ с ожидаемым то тест-дизайн – это процесс выбора вопроса из бесконечного множества вариантов

15 Терминология Оракул – механизм определения верности ответа Примеры оракулов: спецификация и документация аналогичные продукты человек-оракул прежние версии программы модель системы эвристические правила …

16 Терминология Техники – лишь набор инструментов, которые нужно подбирать к каждой отдельной ситуации

17 Полное тестирование int blech (int j) { j = j -1; // should be j = j + 1 j = j / 30000; return j; } j in range: [-32768, 32767] Всего 65536 тестов.

18 Полное тестирование int blech (int j) { j = j -1; // should be j = j + 1 j = j / 30000; return j; } j in range: [-32768, 32767] Всего 65536 тестов. Если есть хоть одна малейшая возможность протестировать всё – нужно тестировать всё.

19 Классы эквивалентности, граничные значения и domain тестирование

20 Классы эквивалентности Классы эквивалентности - это некое подмножество входящих значений, которое удовлетворяет следующим требованиям: проверяют одно и то же если одно значение обнаружит дефект, то вероятно и остальные обнаружат дефект если одно значение не находит дефект, то вероятно и остальные не найдут дефекта

21 Классы эквивалентности Класс эквивалентности – множество значений, при которых приложение ведёт себя одинаково Разбить на классы эквивалентности – выделить данные подмножества

22 Классы эквивалентности Суть техники: Множество значений разбиваем на подмножества (классы эквивалентности) Выбираем из каждого множества по одному значению Проверяем поведение системы для каждого из значений

23 Классы эквивалентности Как разбивать на классы? Пользоваться эвристиками: правильные/неправильные значения разбивать множество аномальными точками группировать значения по определённому признаку выводить свои эвристики

24 Классы эквивалентности Пример:

25 Классы эквивалентности Итоговый набор данных: [-10, 10, 70]

26 Граничные значения Граничные значения – это значения, которые возникают между классами эквивалентности Граничные значения могут отсутствовать или не принадлежать ни одному из классов

27 Классы эквивалентности В нашем случае граничные значения – это 1 и 60 А так же соседние значения – 0, 3, 59, 61 Итоговый набор данных: [-10, 10, 70, 0, 3, 59, 61]

28 Классы эквивалентности Domain тестирование (когда есть несколько зависимых значений) Domain (англ.) – область определения Способ борьбы с комбинаторным взрывом Выбираем только те комбинации, которые вероятнее всего выявят проблему.

29 Классы эквивалентности

31 Классы эквивалентности

32 Классы эквивалентности

33 Таблицы принятия решений

34 Таблицы принятия решений

35 Таблицы принятия решений

36 Таблицы принятия решений

37 Таблицы принятия решений

38 Таблицы принятия решений

39 Таблицы принятия решений

40 Таблицы принятия решений Техника с таблицами принятия решений: Определяем условия Определяем действия Записываем все комбинации условий Выбрасываем дубли и невозможные Заполняем действия Каждый столбец = тест кейс

41 Таблицы принятия решений Для чего используются: Для удобной записи документации Для уточнения требований Для составления тест-кейсов (60-70) Как средство разработки ПО

42 Pairwise тестирование

43 Pairwise тестирование ОС: Windows 7, Windows XP, Linux Ubuntu 14, Mac OS X Браузеры: firefox x 3, chrome x 1, safari x 2, ie x 5 Разрешение: 1366x768, 1920x108, 1024x768, 1280x1024, 1440x900, 1280x800 Итого: 4 X 11 x 6 = 264 комбинаций

44 Pairwise тестирование

45 Pairwise тестирование ОС: Windows 7, Windows XP Браузеры: firefox, chrome, ie Разрешение: 1366x768, 1920x1080 Итого: 2 X 3 x 2 = 12 комбинаций

46 Pairwise тестирование

47 Pairwise тестирование

48 Pairwise тестирование

49 Pairwise тестирование

50 Pairwise тестирование N – параметров {P} = {P1 ,P2 , … ,PN} – набор параметров R(Pi ) = Ri – алфавит каждого из параметров | Ri | = ni - количества элементов алфавита для каждого из параметров X = ni T = max(X) x max(X\max(X)) T – общее число pairwise комбинаций

51 Pairwise тестирование 3 – параметра {P} = {ОС, браузер, разрешение} – набор параметров X ={2, 3, 2} T = max(X) x max(X\max(X)) T = 3 x max({2, 2}) T = 3 x 2 T = 6 T – общее число pairwise комбинаций

52 Pairwise тестирование Для 12 параметров по 8 значений: общее число комбинаций = 128 = 429 981 696 односвязные комбинации = 8 двусвязные комбинации = 64

53 Pairwise тестирование Какие есть варианты автоматизации: готовые утилиты веб-сервисы встроенные средства во фреймворки

54 Диаграммы переходов состояний

55 Диаграммы переходов состояний Состав диаграммы состояний: состояние (кружок) – условия, в которых система ожидает одного и более событий. Состояние помнит о данных/действиях, полученных ранее. транзакция (стрелка) – переход системы из одного состояния в другое при каком-либо событии событие (надпись над стрелкой) – нечто, заставляющее систему изменить состояние действие (надпись со слешем) – операция инициированная изменением состояния

56 Диаграммы переходов состояний Старт Создан Временный аккаунт Аккаунт Заполнен данными Отменил пользователь Ждём перехода по ссылке Финиш Открыли визард Отмена пользователем Отмена пользователем Отмена пользователем Перешли по ссылке Сессия истекла спустя час неактивности Час бездействия Заполнили форму Нажали «вперёд» назад назад

57 Диаграммы переходов состояний Старт Создан Временный аккаунт Аккаунт Заполнен данными Отменил пользователь Ждём перехода по ссылке Финиш Открыли визард Отмена пользователем Отмена пользователем Отмена пользователем Перешли по ссылке Сессия истекла спустя час неактивности Час бездействия Заполнили форму Нажали «вперёд» назад назад Проходим по всем состояниям

58 Диаграммы переходов состояний Старт Создан Временный аккаунт Аккаунт Заполнен данными Отменил пользователь Ждём перехода по ссылке Финиш Открыли визард Отмена пользователем Отмена пользователем Отмена пользователем Перешли по ссылке Сессия истекла спустя час неактивности Час бездействия Заполнили форму Нажали «вперёд» назад назад Проходим по всем событиям

59 Диаграммы переходов состояний Старт Создан Временный аккаунт Аккаунт Заполнен данными Отменил пользователь Ждём перехода по ссылке Финиш Открыли визард Отмена пользователем Отмена пользователем Отмена пользователем Перешли по ссылке Сессия истекла спустя час неактивности Час бездействия Заполнили форму Нажали «вперёд» назад назад Проходим по всем переходам

60 Диаграммы переходов состояний Данная техника удобна при работе с документацией Очень удобна при тестировании различных визардов, которые часто встречаются в современных веб-приложениях Не применима, если у системы нет состояний Предпочтительно использовать покрытие по всем транзакциям

61 Usecase тестирование

62 Usecase тестирование Usecase – некий сценарий, который описывает использование системы пользователем для достижения поставленной цели. Пример: директор компании X (пользователь) хочет узнать динамику прибыли (цель) некоторой компании Y, для этого он выполняет, например, следующую последовательность действий: Открывает раздел «Контрагенты» Поиском находит нужную организацию Открывает карточку организации Открывает раздел про динамику прибыли

63 Usecase тестирование Почему такой подход хорош: Документация описывается с точки зрения пользователя, а не с технической/системной точки зрения Формат прост и понятен – любой может участвовать в сборе требований Легко превращаются в тест-кейсы Идеально подходят для приёмочного тестирования

64 Whitebox тестирование

65 Control Flow тестирование if (a>0) {x=x+1;} if (b==3) {y=0;} a > 0 x = x + 1 b == 3 x = x + 1 end start

66 Control Flow тестирование if (a>0) {x=x+1;} if (b==3) {y=0;} a > 0 x = x + 1 b == 3 x = x + 1 end start покрытие всех операторов/выражений/строчек кода

67 Control Flow тестирование if (a>0) {x=x+1;} if (b==3) {y=0;} a > 0 x = x + 1 b == 3 x = x + 1 end start покрытие всех условий

68 Control Flow тестирование if (a>0) {x=x+1;} if (b==3) {y=0;} a > 0 x = x + 1 b == 3 x = x + 1 end start покрытие путей

69 Control flow тестирование M = E – N + 2P M – цикломатическая сложность E – количество рёбер в графе N – число узлов в графе P – количество компонент связанности

70 Control Flow тестирование if (a>0) {x=x+1;} if (b==3) {y=0;} a > 0 x = x + 1 b == 3 x = x + 1 end start N = 7 E = 6 P = 1 M = 7- 6 + 2 = 3

71 Control Flow тестирование if (a>0) {x=x+1;} if (b==3) {y=0;} a > 0 x = x + 1 b == 3 x = x + 1 end start N = 7 E = 6 P = 1 M = 7- 6 + 2 = 3

72 Control Flow тестирование if (a>0) {x=x+1;} if (b==3) {y=0;} a > 0 x = x + 1 b == 3 x = x + 1 end start N = 7 E = 6 P = 1 M = 7- 6 + 2 = 3

73 Control Flow тестирование if (a>0) {x=x+1;} if (b==3) {y=0;} a > 0 x = x + 1 b == 3 x = x + 1 end start N = 7 E = 6 P = 1 M = 7- 6 + 2 = 3

74 Тестируем слона Протестируем слона…

75 Тестируем слона Какова его спецификация? Какие требования? Для чего будем использовать?

76 Тестируем слона Какова его спецификация? Какие требования? Для чего будем использовать? Спецификации: рост: от 3 до 10 метров вес: от 500 кг до 2 тонн длина хобота: 0.8-1.5 метра Использоваться будет для переноса грузов в Мурманске. Размеры груза, равно как и длительность работы не известны. Начинаем тестировать…

77 Тестируем слона Проверяем на соответствие спецификациям

78 Тестируем слона Определяем входные параметры нашей системы: вес груза длина пути температура окружающего воздуха тип осадков тип дороги … Мы получаем параметры, которые обрабатываем, используя техники тест-дизайна. Определяем сценарии использования слона (таблицы принятия решений, граф переходов состояний) Составляем тест-кейсы и тестируем…

79 Тестируем слона

80 Вопросы есть?

Спасибо за внимание! Разработка СБИС Докучаев Сергей Валерьевич / [email protected] (4852) 262-000 (доб. 3435) sbis.ru