Testmanagement mit VS 2013
feedback@developer-week.de#dwx14
#dwx14
Nico Orschel
Consultant, MVP for VS ALM
AIT GmbH & Co. KG
• Continous Delivery
• Parallele Releases
• Agile Prozesse
• Zusammenarbeit mit Kunden und Zulieferern
• Multi Plattform (Tablets, Smartphones,
andere)
• Cloud
• Testumgebungen, Testautomatisierung
Herausforderungen
#dwx14
Agenda
3
Intro
Testing Begriffe
Konzepte
Manage
Test Management
Explorativ /
Formal
Best Practices
Execute
Test Execution
Recording,
Exploratives &
Formales Testen
Other
Reporting
#dwx14
(Agile) Testing Quadrants
5
Business Facing
SupportingTeam
Functional Tests
Examples
Story Test
Prototypes
Simulations
Explorative Testing
Scenarios
Usability Testing
UAT (User Acceptance
Testing)
Alpha / Beta
CritiqueProduct
Unit Tests
Component Tests
Performance and
Load Testing
Security Testing
“Ility Testing”
Technology-Facing
Source: Brian Marrick
#dwx14
(Agile) Testing Quadrants
6
Business Facing
SupportingTeam
Feedback
Client
Storyboards
Visual Studio
MTM
Visual Studio
CritiqueProduct
Visual Studio
Visual Studio
2012 Ultimate
Technology-Facing
Source: Brian Marrick
#dwx14
Wie ordnet sich TCM in die TFS/VS
Welt ein?
Microsoft Testmanager (MTM)
•Testmanagement
•Man. Testausführung (Formal+Agile)
•Testumgebungsmanagement
Visual Studio (Testautomatisierung)
•Code
•Autom. Testausführung
(DefaultLabTemplate.XAML)*
Lab Management (Testumgebungen)
•SCVMM
•Standard
#dwx14
Priorisierung der Tests
UI
Testing
Component
Testing
Unit
Testing
10%
20%
70%
Abnahmetests
Systemintegrationstests
Systemtests
Komponenten-
integrationstests
Komponententests
#dwx14
Die Realität
70%
20%
10%
Abnahmetests
Systemintegrationstests
Systemtests
Komponenten-
integrationstests
Komponententests
UI
Testing
Component
Testing
Unit
Testing
#dwx14
Microsoft Testmanager
• Orientiert an Testeraufgaben
– Testplanung
– Testdurchführung
– Testnachverfolgung
– Umgebungsmanagement
• „Testautomatisierung“
für Oberflächen
• Test und Entwicklung
enger zusammenbringen
– „Rich Bugs“
– Testvirtualisierung
10
#dwx14
Die Qual der Wahl: MTM vs. Test Hub
#dwx14
MTM – Hierarchischer Aufbau
Team Projekt
Test Plan
Release 1
Test Plan Release 2 …
Test Suite 1
Test Suite
2
…
Test
Daten
Test
Steps
Shared
Steps /
Parameters
Test 1
Test
Daten
Test
Steps
Test 2
Konfigurationen
#dwx14
Fragestellungen im täglichen Geschäft
• Verwaltung von untersch. Testfall-Versionen
• Planung und Reporting auf „Sprint“ Ebene
• Umstieg von Manuellen Tests zu automat.
Tests
• Granularität der Testschritte
• Langsame Testausführung
• Optimierung der Anwendungen
#dwx14
TESTPLANUNG FÜR SPRINTS
14
#dwx14
Ein oder mehre Testpläne?
Testplanstruktur
Release-Ebene:
<Produktname>_<Version>_Repository
Sprint Ebene:
<Produktname>_<Version>_<SprintName1>
<Ort>_<Produktname>_<Version>_<SprintName1>
#dwx14
Testsuite Struktur
Testplan-Name
Automated Tests
UI
Backend
Services
Manual Tests
UI
Backend
Services
#dwx14
Planung Gesamt
MyEvent_1.0
UI
Test Case 1
Test Case 2
Test Case 3
Services
DB
Rest
#dwx14
18
Planung Sprint 1
MyEvent_1.0 UI Test Case 1
#dwx14
19
Planung Sprint 2
MyEvent_1.0 UI
Test Case 1
Test Case 3
#dwx14
20
Planung Sprint 3
MyEvent_1.0 UI
Test Case 2
Test Case 3
#dwx14
21
Planung Gesamt
MyEvent_1.0
UI
Test Case 1
Test Case 2
Test Case 3
Test Case 4
Services
DB
Rest
#dwx14
22
Planung Sprint 4
MyEvent_1.0 UI
Test Case 3
Test Case 4
#dwx14
23
TCM Sprintplanung
Sprint 1 Sprint 2 Sprint 3 Sprint 4
Repository v 1.0 CopyCopyCopy Copy
#dwx14
TCM Baselining bei mehren Releases
Repository v 1.0
Repository v 2.0
Clone
#dwx14
Demo MTM / Testhub
Testmanagement
#dwx14
Testdurchführung (formell)
27
• Einfaches Werkzeug
• Schrittweises Vorgehen
• Manuell or
„teilautomatisiert“
#dwx14
Exploratives Testen
#dwx14
Demo MTM
Testdurchführung
#dwx14
Demo MTM
Testdurchführung
#dwx14
Reporting
#dwx14
Branching von Testfällen ( 1 / 2 )
• „Copy by Reference“ zwischen Sprints
#dwx14
Branching von Testfällen ( 2 / 2 )
• Cloning zwischen (Major)-Releases
#dwx14
Diagnose Adapter
34
Intro
3 Profile pro Testart
Performance Impact
Automatisches
Sammeln
Low
System
Information
Eventlog
Medium
Low Adapter
Video Recording
Test Impact*
Code Coverage*
High
Medium plus
IntelliTrace*
#dwx14
Anwendungsoptimierung
35
UI Technology
Optimierung der
Anwendung für
gute Test-
automatisierung
notwendig
MSAA
Winforms / MFC
AccessibleDescri
ption
Accessible Name
UIA
WPF
AutomationProp
erties.Name und
AutomationId
#dwx14
AIT GmbH & Co. KG
Leitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
KONTAKT
info@aitgmbh.de
+49 711 49066430
BERATUNG
Agile ALM und TFS
.NET und Architektur
ENTWICKLUNG
Dienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert
gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, dass es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes
Warenzeichen handelt.
AIT GmbH & Co. KG – Ihre Software effizienter entwickelt
WIR UNTERSTÜTZEN SIE
36
KONTAKT
Nico.Orschel@aitgmbh.de
+49 151 55052624
AIT GmbH & Co. KG
Leitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
BERATUNG
Agile ALM und TFS
.NET und Architektur
ENTWICKLUNG
Dienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert
gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes
Warenzeichen handelt.
© AIT GmbH & Co. KGIhre Software effizienter entwickelt © AIT GmbH & Co. KGIhre Software effizienter entwickelt
2
…zu gewinnen !
Visitenkarte einwerfen und an
der Verlosung teilnehmen.
Verlosung auf der Developer Week
Vielen Dank für Ihre
Aufmerksamkeit
feedback@developer-week.de#dwx14
#dwx14

DWX 2014 - Testmanagement mit Visual Studio 2013