Презентация Инны Смирновой на SQA Days-16 14-15 ноября 2014, Санкт-Петербург, Россия www.sqadays.com

1. Core Systems Transformation Solutions
Улучшение Процесса Тестирования:
Контентные Модели
Мария Терёхина, Н. Новгород, 2014

2. 1
Обо Мне
Образование:
• ННГУ им. Лобачевского, 2010 – магистратура МехМата
Опыт:
• 2008-2011 “Symphony Teleca”: desktop приложения (PC Sync для
Android), мобильные телефоны (Win, Android платформы),
приложения для мобильных телефонов (Symbian);
• 2011-2012 “Tecom”: Windows приложения для системы
автоматизации цифрового телевидения
• 2012- “Return on Intelligence”: web-приложения (HR Management,
Benefits Management systems)
• 2014 (Part Time) “Freemake”: IPhone приложения, desktop
приложения

3. 2
Цель
• Поделиться опытом становления процесса тестирования ПО в
случае, когда процесс в компании в целом выстроен и работает во
всех областях, кроме тестирования. В тестировании процесса нет.

4. 3
Содержание
• Обзор моделей улучшения процесса
тестирования
• Процесс внедрения улучшений
• Применение Контентых моделей: пример

5. 4
Подходы к Улучшению Тестового Процесса
• Контентные Модели
– CTP (Процесс Тестирования Критичных Областей/Critical
Testing Process)
– STEP (Процесс Систематического Тестирования и
Оценки/Systematic Test and Evaluation Process)
• Процессные Модели
– TMMi (Модель Зрелости Тестирования/Testing Maturity Model Integration)
– TPI ® (Улучшение Процесса Тестирования/Test Process Improvement)
– TPI Next
• Аналитические Подходы
– Агализ Причин/Causal Analysis
– GQM подход (Цель-Вопрос-Метрика/Goal-Question-Metric)
– Анализ на Основе Измерений, Метрик и Показателей/Analysis using
Measures, Metrics and Indicators

6. 5
Возможные Ситуации и Подходы к Улучшению
Процесса Тестирования
Модель Основной
Процесс
Процесс Тестирования
Контентные модели НЕТ НЕТ
Контентные модели,
Процессные модели
ДА НЕТ
Процессные модели НЕТ ДА
Аналитический подход ДА ДА

7. 6
Возможные Ситуации и Подходы к Улучшению
Процесса Тестирования
Модель Основной
Процесс
Процесс Тестирования
Контентные модели НЕТ НЕТ
Контентные модели,
Процессные модели
ДА НЕТ
Процессные модели НЕТ ДА
Аналитический подход ДА ДА

8. 7
CTP
• Тестирование
• Создание Контекста
• Анализ Рисков Качества
• Оценка Тестирования
• Планирование Тестирования
• Тестовая Команда
• Система Тестирования
• Управление Релизным Тестированием
• Выполнение Тестов
• Отчетность по дефектам
• Отчетность по результатам
• Управление Изменениями

9. 8
STEP- Основные Принципы
• Стратегия тестирования ориентирована на
требования
• Тестирование начинается в начале жизненного
цикла
• Тесты используются как требования и модели
тестирования
• Разработка тестов определяет разработку ПО
• Раннее нахождение дефектов или их предупреждение
• Систематический анализ дефектов
• Инженеры по тестированию и разработчики работают вместе
Планирование Сбор Измерение

10. 9
Шаги для Улучшения
• Инициация
• Измерение/Оценка
• Приоритизирование и планирование [ознакомление участников]
• Определение и переопределние
• Внедрение
• Проверка
• Улучшение

11. 10
Контентные Модели: Пример
1. Инициация
• Проблемы:
– Нет процесса тестирования
– Непонятно что делает инженер по тестированию
– Руководство не уверено, что в тестировании всё хорошо
• Решения:
– Разработать и внедрить процесс тестирования, согласующийся с
текущим процессом разработки
– Повысить прозрачность процесса тестирования

12. 11
Контентные Модели: Пример
2. Оценка
• Шаги:
– Встречи тет-а-тет с МП, БА, Техлидом, Инженером по тестированию:
• Проблемы в тестировании
• Риски в продукте
• Основные проблемы в процессе (ожидания)
– Обзор текущего состояния тестирования
• Решения:
– Разработать прозрачный процесс тестирования
– Ознакомить команду с процессом тестирования
– Ознакомить с правилами приоритезации и внедрить приоритезацию в
процесс тестирования
– Ознакомить с принципами оценки затрат (временных) и внедрить в
процесс тестирования

13. 12
Контентные Модели: Пример
3. Порядок Действий
– Разработать и внедрить процесс тестирования
– Повысить прозрачность процесса тестирования
– Ознакомить с правилами приоритезации и внедрить приоритезацию в
процесс тестирования
– Ознакомить с принципами оценки затрат (временных) и внедрить в
процесс тестирования

14. 13
Контентные Модели: Пример
4. Планирование
– Внедрение процесса тестирования:
• Разработка тест-плана и следование ему
– Повышение прозрачности процесса тестирования:
• Написание чек-листов*
• Создание и отслеживание задач по тестированию
• Ознакомление команды с Exploratory тестированием
• Ознакомление команды со стандартами по качеству (ISO 9126, ISO 9000-2005)
– Ознакомить с правилами приоритезации и внедрить приоритезацию в
процесс тестирования
• Написание чек-листов, содержащих только Smoke тесты
• Приоретизация дефектов- митинги по оценке качества (CCB)
• Приоретизация тестовых задач и выполнение их согласно приоритетам
– Ознакомить с принципами оценки затрат (временных) и внедрить в
процесс тестирования
• Каждая задача по тестрованию не должна занимать более 1 “Working Session”
(декомпозиция)

15. 14
Контентные Модели: Пример
5. Определение и переопределение
• Шаги:
– Тет-а-тет встречи после окончания каждого этапа выработки решений
– Тет-а-тет встерчи после окончания каждого этапа внедрения
изменений
– Периодические Retrospective встречи

16. 15
Контентные Модели: Пример
6. Внедрение
• Шаги:
– Следование разработанному плану
– Проведение семинаров/бесед в зависимости от потребностей
команды
– Работа в команде (присутствие на Standup митингах)
– Периодические Retrospective встречи

17. 16
Контентные Модели: Пример
7. Улучшение

18. 17
Контентные Модели: Пример
Начальные условия
CTP
• Тестирование
• Создание Контекста
• Анализ Рисков Качества
• Оценка Тестирования
• Планирование
Тестирования
• Тестовая Команда
• Система Тестирования
• Управление Релизным
Тестированием
• Выполнение Тестов
• Отчетность по дефектам
• Отчетность по результатам
• Управление Изменениями
STEP
• Стратегия тестирования
ориентирована на требования
• Тестирование начинается в
начале жизненного цикла
• Тесты используют требования и
модели тестирования
• Разработка тестов перед
разработкой ПО
• Раннее нахождение дефектов или
их предупреждение
• Систематический анализ
дефектов
• Инженеры по тестированию и
разработчики работают вместе

19. 18
Контентные Модели: Пример
Результат
CTP
• Тестирование
• Создание Контекста
• Анализ Рисков Качества
• Оценка Тестирования
• Планирование
Тестирования
• Тестовая Команда
• Система Тестирования
• Управление Релизным
Тестированием
• Выполнение Тестов
• Отчетность по дефектам
• Отчетность по
результатам
• Управление Изменениями
STEP
• Стратегия тестирования
ориентирована на требования
• Тестирование начинается в начале
жизненного цикла
• Тесты используют требования и
модели тестирования
• Разработка тестов перед
разработкой ПО
• Раннее нахождение дефектов или
их предупреждение
• Систематический анализ дефектов
• Инженеры по тестированию и
разработчики работают вместе

20. 19
Контентные Модели: Пример
Подведение итогов
• Бизнес:
 Спокойствие по поводу того, что происходит в тестировании
• Команда:
 Уменьшение временных затрат
 Понимание процесса тестирования (возможность
взаимозаменяемости)
 Уверенность в качестве тестирования
 Видение реальных проблем в качестве и в тестировании
• Пользователи:
 Нет данных  на данный момент

21. 20
Контентные Модели: Пример
Обратная Связь
• Ознакомить команду с планами и приоритетами в самом начале;
• Поддерживать обратную связь в разрезе стратегии;
• Наличие человека в команде, постоянно контролирующего
процесс внедрения изменений;
• Первые тет-а-теты заменить общим митингом?

22. 21
Литература
• “Critical Testing Processes”, Rex Black
• “Managing the Testing Process”, 3rd Edition, Rex Black
• ISTQB “Advanced Level Syllabus Test Manager”, ver. 2012
• www.google.ru

23. 22
Вопросы

24. 23
Спасибо!
Maria Teryokhina
QA Lead
Nizhniy Novgorod
Skype: mariateryokhina
maria.teryokhina@returnonintelligence.com