Тест-менеджер ставит перед собой и командой долгосрочные и сложные цели. Например, как выбрать и соединить вместе изученные техники и виды тестирования, как понять, почему в одних условиях у нас получилось провести “качественное” тестирование, а в других нет? Как понять, будет ли эффективна автоматизация на проекте прежде, чем вложиться человека-годами в Фреймворк и тесты? Ответы на эти вопросы находятся в «стратегии тестирования». Она есть у каждой команды, пусть и не в осознанном и формализованном виде. Поэтому нужно научиться пользоваться этим инструментом, уметь как составлять тестовую стратегию с нуля на проекте, так и оптимизировать уже существующую стратегию.
5. 1. A Test Strategy document is a high level document and normally
developed by project manager
2. The Test Strategy document is a static document meaning that it is
not updated too often
3. Test strategy is a set of guidelines that explains test design and
determines how testing needs to be done
4. Some companies include the “Test Approach” or “Strategy” inside
the Test Plan, it is usually the case for small projects. For larger
projects, there is one Test Strategy document and different number
of Test Plans for each phase or level of testing.
Какие определения верны, какие – нет?
6. 1. A Test Strategy document is a high level document and normally
developed by project manager
2. The Test Strategy document is a static document meaning that it is
not updated too often
3. Test strategy is a set of guidelines that explains test design and
determines how testing needs to be done
4. Some companies include the “Test Approach” or “Strategy” inside
the Test Plan, it is usually the case for small projects. For larger
projects, there is one Test Strategy document and different number
of Test Plans for each phase or level of testing.
Ответы:
10. 1. Начинаем с продуктовых рисков
• Product risk is the possibility that the system or
software might fail to satisfy or fulfill some reasonable
expectation of the customer, user, or stakeholder.
(Some authors also called the 'Product risks' as
'Quality risks' as they are risks to the quality of the
product.)
ISTQB Glossary
11. Специфичные продуктовые риски
• Complex features affecting multiple areas of the existing product, like
an upgrade/migration of the system.
• New Technologies used in the product; for example a new DB server,
a new programming language, a new integration, etc.
• New Developers or Development Teams, who may lack experience
and thus pose a higher risk to the existing product.
• Tight Schedules, that make people work in a rush and commit more
mistakes
Joel Montvelisky “The simple differences between Product Risks &
Project Risks”
16. 4. О чем нужно еще помнить
• Тестовые данные
• Документация
• Фазы тестирования
• Тестовые окружения
• Инструменты
• Автоматизация (кросс-скиллы)
17. 4а. Тестовые данные
• Кто создает и как: вручную, автоматически –
скрипты или UI-тесты
• Используем реальные данные? (анонимизация)
• Миграция данных?
• Совместимость данных с предыдущими
версиями?
• Объем данных: максимальный, минимальный,
разумный
18. 4б. Документация
• Какая документация необходима, какая степень
детализации?
• Тест-кейсы VS чеклисты
• Техники тест-дизайна (кроме всем известных
эквивалентных классов и граничных значений –
таблицы принятия решений, диаграммы состояний
и переходов и т.д.)
19. 4в. Фазы и виды тестирования
• Какая взаимозависимость и последовательность
выполнения видов тестирования?
• Какие дополнительные знания необходимы для
проведения всех заявленных видов тестирования?
20. 4г. Тестовые окружения
• Какие окружения необходимы (отдельные
окружения для некоторых видов тестирования)
• Кто отвечает за сопровождение окружений
(например, «ничейный» препрод)?
23. 2. Model-based подход
+ Структурированный подход
+ Лучшие практики (Best Practices)
+ Покрытие
+ Сравнимость
- Нет контекста проекта
- Слепота модели
- Недостаточно навыков
25. 2. Content-based подход
• Требуется постановка тестового процесса (пример –
Risk-based testing)
• Требуется аудит с целью оценить затраты и риски
для текущего тестового процесса
• Улучшения внедряются в порядке, который задает
бизнес
• Необходимо делать поправки с учетом на контекст
команды
26. 3. Аналитический подход, шаги
• Выбор областей для причинно-следственного
анализа
• Сбор и организация информации
• Определение корневой причины (root cause)
• Выбор решения проблемы
27. 3. Один из примеров аналитический
подхода – категоризация дефектов
Instead of studying and learning from every bug, you can save a
lot of time by counting and aggregating bug reports.
That’s a good thing in its way, because if you don’t study and
learn from every bug, you’ll need all the time you can get to deal
with problems that seem to keep happening over and over again.
Michael Bolton, “Very short blog post” №27
28. 3. Категоризация дефектов - примеры
• Конфигурации и окружения
• Вид тестирования (функциональный –
нефункциональный)
• Сценарий или ad-hoc
• Компонента или модуль системы
• Причина пропуска (регрессия, неясное требование,
недостаток времени, апгрейд версии)
31. 1. Доклады о тестовых стратегиях
• Сергей Мартыненко ” Подготовка стратегии тестирования под
высокорискованный, высокодоходный проект” -
https://www.youtube.com/watch?v=z3NuJb0_MzI
• Testing Strategies for Continuous Delivery -
https://www.youtube.com/watch?v=DgQWSaCQ82U
• Huib Schoots “Practical Test Strategy Using Heuristics” -
https://www.youtube.com/watch?v=_TE9RFzNs_M
• Rikard Edgren “An Introduction to Test Strategy” -
https://www.youtube.com/watch?v=OZiE9eApOXY
• Paul Gerrard “Agile Test Strategy” -
https://www.youtube.com/watch?v=Ed6YkYEkCRM
• Radio QA “Выпуск 10: стратегия тестирования» - http://radio-
qa.com/vypusk-10-strategiya-testirovaniya/
32. 2. Книги о стратегиях
• Ричард Румельт «Хорошая стратегия, плохая
стратегия»
• Джим Коллинз «От хорошего к великому»
• Coursera “Foundations of Business Strategy” + book
• …
One or more of the following approaches can assist in selecting the right items for causal analysis:
The Pareto Principle (80/20 rule)
Defect categorizations
Analysis of statistics
Holding project retrospective meetings
