
c2f6286eb9c22d3002eb593282f13e33.ppt
- Количество слайдов: 31
Технологии тестирования ИСП РАН В. Кулямин kuliamin@ispras. ru
Что такое тестирование Оценка соответствия системы требованиям к ней на основе результатов наблюдения за ее работой в конечном наборе специально подготовленных ситуаций SWEBOK (2004), IEEE 610 (1991) n n Система в ходе тестирования должна работать Нужно готовить специальные (тестовые) ситуации Оценивается соответствие – ищем ошибки Нужна общая оценка – нужно подготовить конечный (небольшой) набор ситуаций, позволяющий ее дать 2
Как выполняется тестирование n Воздействуем на тестируемую систему n Наблюдаем ее реакцию n Проверяем, такая ли реакция должна быть n Повторяем, пока не исчерпаются все существенно различные ситуации 3
Тестирование на основе моделей n Распознавание ошибки – ментальная модель правильной работы Math. abs(-2147483648 = -231) = -2147483648 n = 231 (mod 232) Полнота набора ситуаций – ментальная модель всех важных ситуаций abs(x) = (x >= 0)? x: -x (mod 232) {0, 1, -1, 231 -1, -231+1} n Управление построением тестов – ментальная модель устройства тестовых воздействий Один вызов или несколько Параллелизм, синхронизация обращений При тестировании на основе моделей модели выделяются явно и заранее 4
Отличия от традиционного подхода Обычное тестирование 1. 2. 3. 4. 5. Придумываем ситуацию Оформляем ее в виде сценария взаимодействия теста с системой Понимаем, как должна система вести себя в его рамках Дополняем сценарий проверкой правильности Получается тестовый вариант (test case) Оцениваем достаточность имеющегося набора ситуаций: достаточно – конец, нет – идем в 1 Тестирование на основе моделей 1. 2. 3. 4. Строим модель поведения системы (в нужном аспекте) Определяем общую процедуру оценки правильности работы системы – оракул (используя модель) Определяем критерий полноты тестирования (используя модель) Строим набор ситуаций (автоматизированно), чтобы удовлетворить критерию полноты 5
Создание тестов и тестирование Генератор воздействий 12% 36% 87% 57% Критерий полноты Метрика покрытия Тестируемая система Модель поведения Модель состояния + оракул 6
Pro et contra Ì Систематичность Ì Строгость Ì Ì ( формальность) Абстрактность Автоматизация Быстрая подготовка тестов (часто до самой тестируемой системы) Тесты более высокого качества − Сложность − Повышенные требования к разработчикам тестов Образование ¨ Абстрактное мышление ¨ Умение программировать ¨ − Трудность интеграции в обычную разработку 7
Модели в Uni. TESK n Описание требований ¨ ¨ ¨ n Критерии полноты ¨ ¨ n Структура данных – простые структуры, шаблоны, грамматики Поведение – контрактные спецификации Параллелизм ll – семантика чередования Варианты элементов структуры данных Варианты возможного поведения системы Построение тестов ¨ ¨ ¨ Генераторы простых данных Генераторы данных заданной структуры Построение конечных автоматов, обеспечивающих полноту покрытия ситуаций, и их автоматический обход 8
Структуры данных n BNF или шаблоны ¨ Генерация корректных данных – покрытие всех вариантов, комбинаций и итераций на заданную глубину ¨ Генерация некорректных данных – покрытие всех неправильных в данном контексте вариантов n Контекстные условия и ограничения ¨ Нацеленная генерация – ссылочная целостность, единственность в данном контексте ¨ n Фильтрация Учет зависимости поведения от структуры 9
Генерация тестовых программ (1) Критерий полноты Шаблоны Зависимости Эквивалентность Варианты исполнения Модель поведения Типы Структура данных процессора Модель Инструкции исполнения Генератор Итератор комбинаций Итератор зависимостей Итераторы данных Итератор ситуаций Модель исполнения Привязка инструкций Тестовые программы 10
Генерация тестовых программ (2) Критерий полноты Комбинации Зависимости Генератор Итератор комбинаций Итераторы данных Ограничения сложности Модель поведения Алгоритм обработки Блоки и связи Целевой язык Привязка блоков Тестовые программы if(…)…else … for(…; …; …) 11
Генерация тестовых программ 12
Контрактные спецификации n n n Тестируемая система разбивается на компоненты Каждый компонент имеет внутренние данные и набор операций Поведение операции определяется ее контрактом Предусловие описывает область определения операции sqrt(x): pre x ≥ 0 ¨ Постусловие описывает ограничения на правильные результаты операции sqrt(x): post sqrt*sqrt == x ¨ n Инварианты компонента описывают условия целостности его данных Triangle: double x, y, z : x+y>z & x+z>y & y+z>x 13
Пример specification class Client. Manager { specification Client add. Client ( String name ) { post { if ( name == null || clients. contains. Key(name) ) { branch "Client cannot be created "; return add. Client == null && clients. equals( pre clients. clone() ); } else { branch "Client can be created"; Hash. Map old. Clients = (Hash. Map)clients. clone(); old. Clients. remove(name); return } } add. Client != null && add. Client. name. equals(name) && add. Client. parent == null && add. Client. children. is. Empty () && clients. get(name) == add. Client && old. Clients. equals( pre clients. clone() ); 14
Описание асинхронного поведения n n Интерфейс компонента состоит из операций и событий События тоже описываются при помощи контракта ¨ Постусловие события определяет корректность его наступления и изменения состояния компонента e. Mail. Sent: post pre mails. size() != 0 && mails. size() == pre mails. size()-1 15
Семантика чередования ~ 16
Критерии полноты тестирования post { if ( f(a, b) || g(a) ) … else if( h(a, c) && !g(b) ) … else !f(a, b) && !g(a) && !h(a, c) … || !f(a, b) && !g(a) && g(b) } 17
Построение конечного автомата область определения операции параметры 2 3 1 варианты исполнения состояния 18
Построение одного воздействия параметры 2 3 1 состояния текущее состояние 19
Тестирование асинхронности 11 s 12 21 s 11 s 21 21 Тестируемая система r 11 11 r 12 31 12 r 22 s 31 Время n n n Время 22 Используется мультипоследовательность воздействий Воздействия и реакции образуют частично упорядоченное множество При проверке корректности это множество вытягивается в последовательность 20
Тестирование компонентов Генератор Описание автомата Состояния Действия Критерий полноты Варианты исполнения Виды параметров Виды состояний Модель поведения Структуры Операции и данных события Пред- и Инварианты постусловия Обходчик автоматов Итераторы данных Метрика покрытия Генерация тестовой последовательности на лету Предусловия Тестируемая система Модель состояния Постусловия Оракулы 21
Тестирование компонентов 22
Применение Uni. TESK n n Тесты ядра ОС телефонной станции Реализации IPv 6 ¨ ¨ ¨ n n n Оптимизаторы компиляторов Intel Тестовый набор для IPsec Пилотные проекты ¨ ¨ n n Компоненты CRM-системы (Luxoft) Оптимизатор трансляции граф. моделей 2000 -2001 2002 -2003 2002 2001 -2003 2004 -… 2004 2005 Тестовый набор для Linux Standard Base ¨ ¨ n Microsoft Research Мобильный IPv 6 (в Windows CE 4. 1) Октет 1994 -1997 Core 3. 1 Другие части Компоненты биллинговой системы и EAI НИИСИ ¨ ¨ ¨ Тестовый набор для ОС 2000 Тесты для процессора Комдив 64 СМП Тесты для процессора Комдив 64 2005 -… 2006 -. . . 2005 -… 2005 -. . . 2006 -. . . 2007 -. . . 23
Литература 1. 2. 3. 4. 5. 6. 7. 8. 9. И. Бурдонов, А. Косачев, В. Кулямин. Использование конечных автоматов для тестирования программ. Программирование, 26(2): 61 -73, 2000 I. Bourdonov, A. Kossatchev, V. Kuliamin, A. Petrenko. Uni. Tes. K Test Suite Architecture. Proc. of FME 2002, LNCS 2391, pp. 77 -88, Springer-Verlag, 2002 В. Кулямин, А. Петренко, А. Косачев, И. Бурдонов. Подход Uni. Tes. K к разработке тестов. Программирование, 29(6): 25 -43, 2003 A. Kossatchev, A. Petrenko, S. Zelenova. Using Model-Based Approach for Automated Testing of Optimizing Compilers. Proc. Intl. Workshop on Program Undestanding, Gorno-Altaisk, 2003 С. Зеленов, С. Зеленова, А. Косачев, А. Петренко. Генерация тестов для компиляторов и других процессоров формальных текстов. Программирование, 29(2): 104 -111, 2003 А. Баранцев и др. Подход Uni. Tes. K к разработке тестов: достижения и перспективы. Труды ИСП РАН, т. 5, с. 121 -156, 2004 V. Kuliamin, A. Petrenko. Applying Model Based Testing in Different Contexts. Proc. of seminar on Perspectives of Model Based Testing, Dagstuhl, Germany, September 2004. V. Kuliamin, N. Pakoulin, A. Petrenko. Practical Approach to Specification and Conformance Testing of Distributed Network Applications. Proc. of 2 -nd International Service Availability Symposium, LNCS 3694, pp. 68 -83, Springer-Verlag, 2005 В. Иванников, А. Камкин, А. Косачев, В. Кулямин, А. Петренко. Использование контрактных спецификаций для представления требований и функционального тестирования аппаратуры. Программирование, 33(5): 47 -61, 2007 24
Контакты Группа Red. Verst Сайт: Сайт Uni. TESK: Linux Testing: e-mail: Телефон: Факс: n n Докладчик Сайт: e-mail: www. ispras. ru/groups/rv/rv. html www. unitesk. com www. linuxtesting. org petrenko@ispras. ru (8 -495)-9125317 (8 -495)-9121524 www. ispras. ru/~kuliamin@ispras. ru 25
Спасибо за внимание! 26
Проверка корректности Тестовая программа Тестируемый компилятор Эталон ? == 27
Пример: простые выражения Test stmts 1. . * Statement var 1 xi = Expr expr 1 Expression Variable id : string xi Constant value : int 17 Binary. Expr op : {+, -, *, /} left 1 right 1 Expr 1 + Expr 2 28
Неявное описание автомата 29
Проверка корректности Семантика чередования ✕ 30
Область применимости Тестируемые интерфейсы должны быть четко определены Сложность интерфейса Компиляторы Информационные системы Библиотеки Web-приложения Протоколы Наблюдаемая сложность состояния 31