Talk about testmanagement basics & best practices with Microsoft Test Manager / TFS 2013 Test hub @ DWX 2014

1. Testmanagement mit VS 2013
feedback@developer-week.de#dwx14
#dwx14
Nico Orschel
Consultant, MVP for VS ALM
AIT GmbH & Co. KG

2. • Continous Delivery
• Parallele Releases
• Agile Prozesse
• Zusammenarbeit mit Kunden und Zulieferern
• Multi Plattform (Tablets, Smartphones,
andere)
• Cloud
• Testumgebungen, Testautomatisierung
Herausforderungen
#dwx14

3. Agenda
3
Intro
Testing Begriffe
Konzepte
Manage
Test Management
Explorativ /
Formal
Best Practices
Execute
Test Execution
Recording,
Exploratives &
Formales Testen
Other
Reporting
#dwx14

4. (Agile) Testing Quadrants
5
Business Facing
SupportingTeam
Functional Tests
Examples
Story Test
Prototypes
Simulations
Explorative Testing
Scenarios
Usability Testing
UAT (User Acceptance
Testing)
Alpha / Beta
CritiqueProduct
Unit Tests
Component Tests
Performance and
Load Testing
Security Testing
“Ility Testing”
Technology-Facing
Source: Brian Marrick
#dwx14

5. (Agile) Testing Quadrants
6
Business Facing
SupportingTeam
Feedback
Client
Storyboards
Visual Studio
MTM
Visual Studio
CritiqueProduct
Visual Studio
Visual Studio
2012 Ultimate
Technology-Facing
Source: Brian Marrick
#dwx14

6. Wie ordnet sich TCM in die TFS/VS
Welt ein?
Microsoft Testmanager (MTM)
•Testmanagement
•Man. Testausführung (Formal+Agile)
•Testumgebungsmanagement
Visual Studio (Testautomatisierung)
•Code
•Autom. Testausführung
(DefaultLabTemplate.XAML)*
Lab Management (Testumgebungen)
•SCVMM
•Standard
#dwx14

7. Priorisierung der Tests
UI
Testing
Component
Testing
Unit
Testing
10%
20%
70%
Abnahmetests
Systemintegrationstests
Systemtests
Komponenten-
integrationstests
Komponententests
#dwx14

8. Die Realität
70%
20%
10%
Abnahmetests
Systemintegrationstests
Systemtests
Komponenten-
integrationstests
Komponententests
UI
Testing
Component
Testing
Unit
Testing
#dwx14

9. Microsoft Testmanager
• Orientiert an Testeraufgaben
– Testplanung
– Testdurchführung
– Testnachverfolgung
– Umgebungsmanagement
• „Testautomatisierung“
für Oberflächen
• Test und Entwicklung
enger zusammenbringen
– „Rich Bugs“
– Testvirtualisierung
10
#dwx14

10. Die Qual der Wahl: MTM vs. Test Hub
#dwx14

11. MTM – Hierarchischer Aufbau
Team Projekt
Test Plan
Release 1
Test Plan Release 2 …
Test Suite 1
Test Suite
2
…
Test
Daten
Test
Steps
Shared
Steps /
Parameters
Test 1
Test
Daten
Test
Steps
Test 2
Konfigurationen
#dwx14

12. Fragestellungen im täglichen Geschäft
• Verwaltung von untersch. Testfall-Versionen
• Planung und Reporting auf „Sprint“ Ebene
• Umstieg von Manuellen Tests zu automat.
Tests
• Granularität der Testschritte
• Langsame Testausführung
• Optimierung der Anwendungen
#dwx14

13. TESTPLANUNG FÜR SPRINTS
14
#dwx14

14. Ein oder mehre Testpläne?
Testplanstruktur
Release-Ebene:
<Produktname>_<Version>_Repository
Sprint Ebene:
<Produktname>_<Version>_<SprintName1>
<Ort>_<Produktname>_<Version>_<SprintName1>
#dwx14

15. Testsuite Struktur
Testplan-Name
Automated Tests
UI
Backend
Services
Manual Tests
UI
Backend
Services
#dwx14

16. Planung Gesamt
MyEvent_1.0
UI
Test Case 1
Test Case 2
Test Case 3
Services
DB
Rest
#dwx14

17. 18
Planung Sprint 1
MyEvent_1.0 UI Test Case 1
#dwx14

18. 19
Planung Sprint 2
MyEvent_1.0 UI
Test Case 1
Test Case 3
#dwx14

19. 20
Planung Sprint 3
MyEvent_1.0 UI
Test Case 2
Test Case 3
#dwx14

20. 21
Planung Gesamt
MyEvent_1.0
UI
Test Case 1
Test Case 2
Test Case 3
Test Case 4
Services
DB
Rest
#dwx14

21. 22
Planung Sprint 4
MyEvent_1.0 UI
Test Case 3
Test Case 4
#dwx14

22. 23
TCM Sprintplanung
Sprint 1 Sprint 2 Sprint 3 Sprint 4
Repository v 1.0 CopyCopyCopy Copy
#dwx14

23. TCM Baselining bei mehren Releases
Repository v 1.0
Repository v 2.0
Clone
#dwx14

24. Demo MTM / Testhub
Testmanagement
#dwx14

25. Testdurchführung (formell)
27
• Einfaches Werkzeug
• Schrittweises Vorgehen
• Manuell or
„teilautomatisiert“
#dwx14

26. Exploratives Testen
#dwx14

27. Demo MTM
Testdurchführung
#dwx14

28. Demo MTM
Testdurchführung
#dwx14

29. Reporting
#dwx14

30. Branching von Testfällen ( 1 / 2 )
• „Copy by Reference“ zwischen Sprints
#dwx14

31. Branching von Testfällen ( 2 / 2 )
• Cloning zwischen (Major)-Releases
#dwx14

32. Diagnose Adapter
34
Intro
3 Profile pro Testart
Performance Impact
Automatisches
Sammeln
Low
System
Information
Eventlog
Medium
Low Adapter
Video Recording
Test Impact*
Code Coverage*
High
Medium plus
IntelliTrace*
#dwx14

33. Anwendungsoptimierung
35
UI Technology
Optimierung der
Anwendung für
gute Test-
automatisierung
notwendig
MSAA
Winforms / MFC
AccessibleDescri
ption
Accessible Name
UIA
WPF
AutomationProp
erties.Name und
AutomationId
#dwx14

34. AIT GmbH & Co. KG
Leitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
KONTAKT
info@aitgmbh.de
+49 711 49066430
BERATUNG
Agile ALM und TFS
.NET und Architektur
ENTWICKLUNG
Dienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert
gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, dass es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes
Warenzeichen handelt.
AIT GmbH & Co. KG – Ihre Software effizienter entwickelt
WIR UNTERSTÜTZEN SIE
36
KONTAKT
Nico.Orschel@aitgmbh.de
+49 151 55052624
AIT GmbH & Co. KG
Leitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
BERATUNG
Agile ALM und TFS
.NET und Architektur
ENTWICKLUNG
Dienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert
gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes
Warenzeichen handelt.

35. © AIT GmbH & Co. KGIhre Software effizienter entwickelt © AIT GmbH & Co. KGIhre Software effizienter entwickelt
2
…zu gewinnen !
Visitenkarte einwerfen und an
der Verlosung teilnehmen.
Verlosung auf der Developer Week

36. Vielen Dank für Ihre
Aufmerksamkeit
feedback@developer-week.de#dwx14
#dwx14