Bisher wurde bei Sunrise die Testfälle ausschliesslich auf Basis des IT-Designs erstellt. Dies hatte den Nachteil, dass Fehler aufgrund von ungenügenden Anforderungen oder Fehler beim Erstellen des IT-Designs in der Test-Phase zu spät oder gar nicht erkannt wurden. Weiterhin wurde die Testplanung erschwert. Daher haben wir an der Schnittstelle von Anforderungs- und Test-Management zwei Methoden eingeführt: Requirements Validation und Requirements-based Testing

1. © Sunrise 24.09.2013 1
Tester trifft Requirement:
Liebe auf den zweiten Blick?
Requirements Validation &
Requirements-based Testing
Christoph Wolf
Sunrise Communications AG

2. © Sunrise 24.09.2013 2
Agenda
Ausgangslage
Herausforderungen
Requirements Validation
Requirements-based Testing
Erfahrungen
Ausblick

3. © Sunrise 24.09.2013 3
Sunrise
Grösste private Telekommunikationsanbieterin der Schweiz
Full-service Provider für Mobile, Festnetz, Internet, TV und
Geschäftskundenlösungen
2012: CHF 2.066 Mrd. Umsatz und und mehr als CHF 500 Mio. Investitionen in die
Infrastruktur in den nächsten 2 Jahren
Festnetz
Internet
Mobile
Applications
& Services
Enterprise
Data Center
Security
Contact Center
Internet
Festnetz
TV
Mobile
Geschäftskunden/
Wholesale
Privatkunden

4. Ausgangslage: Releases/Projekte @ Sunrise
Releases
Feste Releases
Projekte
Project Management Framework  Wasserfall-Modell
Zwei Tollgates:
TG1 nach Ideen-Phase / TG2 nach Konzept-Phase
© Sunrise 24.09.2013 4
Idea Concept Implementation Testing
Idea Concept Implementation Testing
Implementation Testing
Idea Concept
Product
Design
RolloutTest
Software
Development
Software
Design
IT Scope
Requirements
Engineering
Feasibility
Assessment
TG2TG1
Test
Design
Rollout
Rollout

5. © Sunrise 24.09.2013 5
Ausgangslage: Testing @ Sunrise
Testing
Managed Service durch SQS
Testausführung grösstenteils in Indien
Test-Management-Tool seit über 10 Jahren im Einsatz (HP ALM)
Testfälle basieren auf IT-Design
Requirements
Scope
Architectural Design
Low-level Design
(UAT/FUT)
System Testing
Integration Testing
Unit Testing
?
Coding
Product
Design
Rollout
Software
Development
Software
Design
IT Scope
Requirements
Engineering
Feasibility
Assessment
TG2TG1
Test
Design
Test

6. © Sunrise 24.09.2013 6
Ausgangslage: Business Analyse @ Sunrise
Business Analyse
Dediziertes Business-Analyse-Team
seit 2009
Business-Analyse-Prozesse basieren
auf BABOK V2 (IIBA)
Rolle des Business-Analysten wird
oft vom Projektleiter besetzt
Tool für Requirements-Management
seit 2012 (HP ALM)
Solution
Assessment
& Validation
Requirements
Elicitation
Enterprise
Analysis
Requirements
Analysis
Requirements
Management
Business Analysis Planning and Monitoring
Product
Design
RolloutTest
Software
Development
Software
Design
IT Scope
Feasibility
Assessment
TG2
Requirements
Engineering
TG1
Test
Design

7. © Sunrise 24.09.2013
Herausforderungen
Abschätzung des Testaufwandes war
erst spät im Projekt möglich
Testfälle spiegelten unter Umständen
die Anforderungen nicht korrekt wider
Fehler aufgrund ungenügender
Anforderungen oder beim Erstellen
des IT-Designs wurden zu spät oder
gar nicht erkannt Zufriedenheit mit Testaktivitäten
Testing Trends & Benchmarks
Schweiz 2013, SwissQ
()=WerteUmfrage2012
Testmanagement: 56%
Testplanung: 46%
Testfallermittlung: 38%
Testdurchführung: 56%
Testauswertung: 44%
Die grössten Herausfor-
derungen beim Testing

8. © Sunrise 24.09.2013 8
Unsere Antwort
Requirements Validation
&
Requirements-based Testing
Requirements
Validation
Requirements
Scope
Architectural Design
Low-level Design
UAT/FUT
System Testing
Integration Testing
Unit Testing
Coding
Test
Design
Product
Design
RolloutTest
Software
Development
Software
Design
IT Scope
Requirements
Engineering
Feasibility
Assessment
TG2TG1

9. © Sunrise 24.09.2013
9
Lebenszyklus einer Anforderung
Requirements
Validation
Product
Design
RolloutTest
Software
Development
Software
Design
IT Scope
Requirements
Engineering
Feasibility
Assessment
TG2TG1
Test
Design
Check requirement
with source/SPOC
Elicit
requirement
Verify requirement
with Owner
Do IT
Scoping
Approve requirement
with all SPOCs
Approve
TG2
Validate by
Testing
Draft Proposed Verified Approved
Write
Test Cases
Test Project
Do Design
Designed
Do Implementation
Implemented
Validation: OK
Requirement covered
by Test Case
TG2

10. © Sunrise 24.09.2013 10
Requirements Validation
Service von SQS
Basierend auf dem Vorgehen
“Early Error Detection”
Start: Ca. 1-2 Woche nach Start
Anforderungsmanagement
Ende: Vor TG2
(Ende Concept-Phase/Start IT-Design)
Validierung nach dem IEEE Standard
• verifizierbar
• eindeutig
• konsistent
• vollständig
• korrekt
• modifizierbar
• verfolgbar




Ziel: Qualitativ hochwertige Anforderungen als Input für
den IT Scope und für die Testfälle!

11. © Sunrise 24.09.2013 11
Requirements Validation: Durchführung
Einfacher Workflow
A predefined time-out mechanisms
shall be implemented on communication
flows with partner
Kommunikation über das Requirements- & Test-Management-Tool
Anforderung: Validierungs-Kommentar:
Not Validated
Status:
Draft
Not for
Validation
Status:
*
Not Validated
Status:
Verified, Approved
Not OK
Status:
Verified, Approved
Re-Validation
Status:
Verified, Approved
OK
Status:
Verified, Approved
BA
BA
BA
Tester
Tester
Tester
Tester

12. Requirements Validation: Validierungsanalyse
© Sunrise 24.09.2013 12
Fortschritt Requirements Validation:
Unterstützung, dass Anforderungen
rechtzeitig validiert werden.
Requirements Validation
per Projekt:
Unterstützung BAs/PMs
zur raschen Korrektur
fehlerhafte Anforderungen

13. © Sunrise 24.09.2013 13
Requirements-based Testing
Basis für Testfälle: Anforderungen
Zusatzinformationen für Test-Design: IT Scope, IT Design
Testfälle werden mit Anforderungen verlinkt (Traceability)
Die Kritikalität für Sunrise wird für jede Anforderung festgelegt mit Auswirkungen
auf:
 Priorität der Testfälle
 Übertragung von Testfällen
zum Regression Test.
Requirements
Scope
Architectural Design
Low-level Design
UAT/FUT
System Testing
Integration Testing
Unit Testing
Coding
Ziel: Sicherstellen, dass die Anforderungen korrekt
in der Software implementiert wurden!

14. © Sunrise 24.09.2013 14
Abdeckungs-Analyse

15. Erfahrungen
 In den ersten Releases kontinuierliches
Coaching der BAs/Projektleiter nötig
 Disziplin im Anforderungsmanagement
ist gestiegen
 Qualität der Anforderungen ist gestiegen
 Genauere Abschätzung des Testaufwandes
und bessere Testplanung
 Erstellung der Testfälle ist einfacher
? Gesamt-Qualität der letzten Releases
ist gestiegen
© Sunrise 24.09.2013 15
 Positiver Effekt auf die Qualität der Anforderungen
 Positiver Effekt auf Testplanung und auf Testdesign
 Positiver Effekt auf die Qualität der Software wahrscheinlich
0.000
0.005
0.010
0.015
0.020
0.025
0.030
0.035
R34 R35 R36 R37 R38 R39 R40
Weighted Warranty Defect Density
Requirements Validation
Requirements Validation &
Requirements-based Testing

16. © Sunrise 24.09.2013 16
Ausblick
 Verfolgbarkeit
Anforderungen  IT Scope (Modelle)
 Standardisierung Testfälle
 Verbesserter UAT
 Regression-Testing basierend auf
Business-Kritikalität der Anforderungen

17. © Sunrise 24.09.2013 17
Vielen Dank
Christoph.Wolf@sunrise.net