Core Systems Transformation Solutions Первоклассное тестирование Евгений Ланцов

Core Systems Transformation Solutions Первоклассное тестирование Евгений Ланцов

Agenda • Тестирование это больше, чем поиск дефектов • Какую информацию может предоставить тестирование? • Как можно помочь тестировщикам? • Насколько ценно тестирование? • Как сделать команду тестирования первоклассной? 1

Восприятие – это все Что менеджеры зачастую думают о тестировании: – Узкое место – Хранители качества – Любители все сломать – Кликающие по кнопкам – Специальные знания не обязательны – Дорогостоящее излишество – Отвечает за качество продукта и гарантирует качество 2

Истинная цель тестирования • Истинная цель тестирования – это предоставление информации о состоянии продукта. • “The ultimate reason testers exist is to provide information that others on the project use to create things of value. ” James Bach • Чтобы оценить тестирование нужно оценить информацию, которую оно предоставляет • “Testing is a service role. Feel good about that. The service you provide is vital. ” Cem Kaner 3

Кто способен оценить информацию? 4

Тестирование – центр колеса Директорат Менеджмент проекта Пользователи Тех. поддержка QA SQA Разработчики Маркетинг Технические писатели 5

Информация для разработчика • Цель: Написать код вовремя без грубых ошибок. Чтобы заказчик не нашел серьезных дефектов. Иначе, буду выглядеть глупо в глазах команды, особенно менеджера. • Вопросы: – Сколько дефектов я допустил? – Они разбросаны по коду или все в одном месте? – Я делаю разные ошибки или одни и те же? • Метрики: – Количество дефектов на количество строк кода – Распределение дефектов по функционалу (модулям) – Причины дефектов (root cause) 6

Информация для тест менеджера • Цель: Убедиться, что тестировщики нашли б. Ольшую часть дефектов, и очень немногие просочатся в релиз. • Вопросы: – Каков процент дефектов найденных до, во время и после системного тестирования? – Как мы пропустили дефекты? • Метрики: – Распределение дефектов по фазам тестирования – Анализ пропущенных дефектов, их причины 7

Информация для менеджера проекта • Цель: Создать высококачественный продукт, удобный для заказчика, решающий его проблемы и не создающий дополнительных затрат после релиза. • Вопросы: – Готов ли продукт к релизу – соответствует ли критериям качества? – Каково было бы их влияние (impact) на систему, пропусти мы их? – Сколько еще серьезных дефектов может быть не найдено? – Каково их влияние? • Метрики: – Количество дефектов на количество строк кода – Оценка оставшегося тестирования – Анализ влияния дефектов (impact analysis) 8

А также • Директорат – информации о качестве продуктов компании, информация о рисках, статус проектов по тестированию • Технические писатели – отзывы о документации, дефекты документации • SQA – информация о процессе тестирования, проектных процессах, помогающая их улучшать • Техническая поддержка - информация о результатах анализа и/или тестирования работоспособности, стабильности, надежности, восстановимости продукта и т. д. (reliability, stability, recoverability) • Пользователи – информация об известных проблемах (known issues), помощь по работе с продуктом • Маркетинг – информация о тестировании для продвижения компании на рынке 9

Кто способен предоставить эту информацию? 10

Первоклассные тестировщики способны: – Оценить дизайн и архитектуру приложения еще до того, как код написан – Во время написания кода подготовить ручные и автоматизированные тесты, проверяющие случаи, о которых разработчики даже не думали – Измерить все, что они протестировали, оценить риски и понять, что протестировано достаточно, чтобы их минимизировать – Не просто находить и создавать отчеты о дефектах, но предоставлять информацию о продукте и ходе тестирования, принимать участие в анализе требований, дизайне 11

Требования к менеджменту • Участие в обсуждениях требований или дизайн митингах • Получение всей информацией о продукте • Получение требуемых тест инструментов • Улучшение тестируемости продукта • Организация и оплата тренингов для тестировщиков • Начало работы до написания кода. Доступ к спецификациям • Быстрое и эффективное решение проблем и конфликтов • Поддержка инициативы и креативности • Возможность адекватно оценивать тестирование, отсутствие постоянного давления сроков 12

Требования к себе • Не допускать критичных ошибок в релизе • Общаться с разработчиками в позитивной форме, не допускать конфликтов • Отслеживать важные метрики по продукту и риски • Минимизировать риски продукта до релиза • Адекватно оценивать время, необходимое для тестирования, и уметь объяснить оценку • Укладываться в сроки, не допускать срыва релиза • Уметь читать и понимать код, написанный разработчиками • Изучать различные технологии и инструменты тестирования 13

Как нанимается команда первоклассных тестировщиков? 14

Собеседования 4 основных критерия экспертизы: – Фундаментальные знания: техники, типы, этапы тестирования – Опыт: практическое применение фундаментальных знаний, опыт работы с различными приложениями, способности к освоению новых – Инструменты/технологии: знание технологий и инструментов, используемых на проекте, обучаемость новым – Знания предметной области: понимание ожиданий заказчика в конкретных доменах, знание потенциальных проблем, применение этих знаний, специфические техники и типы тестирования 15

Собеседования • • Собеседование: – Покажите идеальное знание теории – Будьте готовы к практическим заданиям – Продемонстрируйте обучаемость и логическое мышление – Продумайте подходы к решению нестандартных задач Самообучение: – Форумы – Статьи – Тематические сайты – Литература: o o o Cem Kaner. Testing Computer Software. Rex Black. Foundations of Software Testing. Brian Hambling. Software Testing. Bernard Homes. Fundamentals of Software Testing. Rex Black. Advanced Software Testing: Test Analyst. Rex Black. Advanced Software Testing: Technical Test Analyst 16

Выводы • Тестирование гораздо глубже, чем может казаться. • Не всем компаниям нужны первоклассные тестировщики. Готовы ли вы быть на вторых ролях? • Вы можете быть способны на многое. Раскройте свой потенциал. • Становитесь профессионалами. 17

Вопросы? 18

Использованные статьи • • • “The Secret Skill – How to Sell Testing”, Jim Hazen, ST&QA magazine, August 2011 “No More Second Class Testers!”, Johanna Rothman, pp. 24 -32, Better Software magazine, January 2004 “Proving Our Worth”, Lee Copeland, pp. 32 -36, Better Software magazine, July/August 2006 19

Спасибо Evgeniy Lantsov Test Lead / System Analyst / Scrum Master Pulkovskoye shosse, 40/4 St. Petersburg, Russia +7. 812. 383 -5800 ext. 2264 evgeniy. lantsov@returnonintelligence. com 20