1. Kennen Sie die Leistungs-
fähigkeit Ihres Testprozesses?
Klaus-Peter Wichmann, wkl@zuehlke.com
Testprozess Assessment
Folie 1
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

2. Über den Referenten
Klaus-Peter Wichmann
• Senior Projekt Manager und Berater
• Trainer im Software Engineering
• Erfahrungsschwerpunkte
- Projektmanagement
- Testmanagement
- Requirements Engineering
- Offshore Development (inkl. Testing)
Testprozess Assessment
Folie 2
• Seit 2001 bei der Zühlke Engineering AG (Schweiz) 12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

3. Agenda
Teil 1: Einleitung
• Übersicht Vorgehensmodelle
• Beurteilung nach der TPI Methode
• Besprechung Anti-Pattern
• Metriken eines Assessments
Teil 2: Beurteilung
• Interaktive Beurteilung (~4 Testbereiche)
• Mögliche Massnahmen Testprozess Assessment
Folie 4
12. April 2011
• Fazit
Klaus-Peter Wichmann
© Zühlke 2011

5. 5 Historische Phasen
• Debugging (1956) HW, Debugging=Testen
• Demonstration (1978) Zeigen, dass die SW ….
• Destruction (1982) Anomalien finden
• Evaluation (1987) Produkt Evaluation,
Qualität messen
• Prevention (ab 1988) Tests vs. Spezifikation,
Anomalien, Vorbeugen Testprozess Assessment
Folie 6
12. April 2011
Quelle: Gelperin, D.; B. Hetzel (1988).
"The Growth of Software Testing". Klaus-Peter Wichmann
© Zühlke 2011

6. Bewertung von Testprozessen
• CMMi
• Test Maturity Model (TMM)
• Test Process Improvement (TPI)
Testprozess Assessment
Folie 7
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

7. TMM
• 1996 – Illinois Institute of Techn., Chicago
• Grundlage ist das Capability Maturity Model
•5 Reifegradstufen
• TMM ist als Ergänzung zu CMMi gedacht
Testprozess Assessment
Folie 8
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

8. Testprozess Improvement (TPI)
• Bestandteil ISTQB Zertifizierung
• Sogeti Nederland B.V.
• Basiert auf langjährigen Erfahrungen
•3 Reifegradstufen
Testprozess Assessment
Folie 9
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

9. Ablauf eines Assessments
Testprozess Assessment
Folie 10
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

10. TPI Modell: 16 Teilgebiete
1. Stakeholder commitment
2. Degree of involvement
Stakeholder 3. Test strategy
Relations 4. Test organisation
5. Communication
6. Reporting
7. Test process management
8. Estimating and planning
Test 9. Metrics
Management
10. Defect management
11. Testware management
12. Methodology practice
Profession 13. Tester professionalism
14. Test case design
15. Test tools
16. Test environment

11. TPI Modell: 3 Reifegradstufen
Optimizing
Efficient
Controlled
Testprozess Assessment
Folie 12
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

12. TPI Modell

13. Testen und Agilität
Ein Assessment kann diese Forderungen berücksichtigen.

14. Schlüsselbereiche für agiles Entwickeln
(nach TPI)
• Stakeholder Commitment
• Degree of Involvement
• Test Strategy
• Testware Management
• Tester Professionalism
• Test Environment
Testprozess Assessment
Folie 15
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

15. Anti-Pattern

16. Der Begriff „Testware“
•Testartefakte Klassische Definition
(Teststrategie, Testplan, Testfälle …)
und zusätzlich
•AlleEingangsartefakte TPI Erweiterung
(Anforderungen, Testobjekte, Designdokumente, …)
Testprozess Assessment
Folie 17
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

17. Beispiel: Testware Management auf allen Stufen
1 Stakeholder Management
Optimiert
Testware steht für Wieder-
Verwendung zur Verfügung.
Wird auch wieder verwendet.
Effizient
Die Beziehungen zwischen Artefakten
sind bekannt und werden gepflegt.
Kontrolliert
Test- und Designdokumente sind abgenommen,
identifizierbar und registriert.
Initial
Testware Management: Ad hoc – nicht organisiert.
Artefakte: mehrere Versionen – nicht abgenommen.
Change Request: unklar welche Artefakte betroffen sind.

18. Stakeholder Management
1 Stakeholder Management
„Engagierte und proaktive Stakeholder
schaffen gute Voraussetzungen für
effiziente Kommunikation und
Zusammenarbeit.“
Testprozess Assessment
Folie 19
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

19. Anti Pattern: Stakeholder Management
1 Stakeholder Management
• Stakeholder interessieren sich nicht
• Tester nicht rechtzeitig verfügbar
• Kein fixes Budget
• „Testen ist notwendiges Übel“
• Tester haben geringes Ansehen
• Gefundene Fehler = nicht signifikant
Testprozess Assessment
Folie 20
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

20. Degree of Involvement
„Gute Einbindung der Tester ins Projekt
hilft die Produktqualität schon früh zu
verbessern und hilft, Testaktivitäten vom
kritischen Pfad fernzuhalten.“
Testprozess Assessment
Folie 21
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

21. Anti Pattern: Degree of Involvement
• Tester kommen erst spät dazu
• Risiko des späten Entdeckens von Fehlern
• Team ist unter Zeitstress
• Viele Überstunden
Testprozess Assessment
Folie 22
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

22. Test Strategie
„Die Teststrategie hilft die verfügbaren
Testressourcen optimal einzusetzen und
aufzuteilen.“
Testprozess Assessment
Folie 23
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

23. Anti Pattern: Test Strategie
• Einzelne Personen „prägen“ die Strategie
• Verfügbare Ressourcen und verfügbare Zeit
bestimmen was gemacht wird
• Nur simple Testtechniken
• Nur funktionale Tests
• Produktrisiken werden nicht betrachtet
Testprozess Assessment
Folie 24
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

24. Test Organisation
„Die Testorganisation stellt die
benötigten Ressourcen, Testprodukte
und Dienstleistungen zur Verfügung.“
Testprozess Assessment
Folie 25
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

25. Anti Pattern: Test Organisation
•Tester sind „zufällig“ örtlich verteilt
• Es gibt nur einzelne Tester
• Sie haben nur Teilaufgaben
• Verantwortungen sind nicht klar
• Wenig Bereitschaft „Wissen zu teilen“
Testprozess Assessment
Folie 26
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

26. Übersicht
Bewertung

27. Bewertung eines Assessments
Legende: grüne Zellen = erfüllt
++ = Test Professionalism: Ausbildung – Zertifizierungen – Selbstverständnis
- - = Test Strategie: keine Analyse der Produktrisiken, schwaches Konzept
Stakeholder Relation 1-6, Test Management 7-11, Profession 12-16

28. Bewertung eines Assessments
Stakeholder Relation 1-6, Test Management 7-11, Profession 12-16

29. Θέματα Spørsmål
Fragen
Questions प्र न
Domande
質問
Vragen
Temas опросы
‫تساؤالت‬
问题
Perguntas Questions

30. Ein Seil um die Erde legen
Ein 40‘000 km langes Seil wird um den Äquator einer idealen Erde gelegt.
Dann wird das Seil um 1 Meter verlängert. Seil hat „Luft“.
Seil perfekt schweben lassen. Wie gross ist der Abstand vom Seil zur Erde?
(a) 2 cm (b) 9 cm
(c) 16 cm (d) 45 cm
Rätsel von Ernest Dudeney.

31. Auflösung nach kurzer Pause
Testprozess Assessment
Folie 32
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

32. Teil 2:
Beurteilung

33. Auswertebogen
„Kennen Sie die Leistungsfähigkeit Ihres Testprozesses?“
Klaus-Peter Wichmann, 2011, Zühlke Engineering AG

34. 1 Stakeholder Management
1. „Principal Stakeholder“ ist bestimmt und
die Tester kennen sie/ihn.
2. Budget für Testressourcen ist genehmigt,
Budget ist verhandelbar.
3. Die Stakeholder stellen die Ressourcen
tatsächlich zur Verfügung.
4. Der „Principal Stakeholder“ ist verantwortlich für Testprozess Assessment
Folie 36
die dokumentierte Analyse der Produktrisiken. 12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

35. 2 Degree of involvement
1. Testaufgaben, Testumfang und Ansätze werden
früh mit dem Principal Stakeholder verhandelt.
2. Testaktivitäten werden früh gestartet – rechtzeitig
vor der Testausführung mit dem Ziel, die
Testaktivitäten vom kritischen Pfad fernzuhalten.
3. Ein Tester wirkt bei der Projektplanung mit:
Abhängigkeiten zw. Testprozess und anderen
Prozessen werden berücksichtigt.
Testprozess Assessment
Folie 37
12. April 2011
4. Ein Tester wirkt bei der Analyse allgemeiner
Projektrisiken mit. Klaus-Peter Wichmann
© Zühlke 2011

36. 3 Test Strategy
1. Der „Principal Stakeholder“ ist mit der
dokumentierten Teststrategie einverstanden.
2. Die Teststrategie basiert auf einer Analyse der
Produktrisiken.
3. Es gibt eine Unterscheidung hinsichtlich Teststufen,
Testtypen, Testabdeckung sowie der Testtiefe – in
Abhängigkeit von den analysierten Risiken.
Testprozess Assessment
Folie 38
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

37. 4 Test Organisation
1. Personen, die mit dem Projekt zu tun haben,
wissen welche Personen fürs Testen / für
Testdienstleistungen verantwortlich sind.
2. Innerhalb der Testorganisation sind Kontroll-
Mechanismen etabliert.
3. Testaufgaben und Verantwortlichkeiten werden
definiert (und dokumentiert) und sind einer
Person oder einer Unit zugewiesen.
Testprozess Assessment
Folie 39
12. April 2011
4. Den „Kunden“ ist klar, welche Produkte und
Dienstleistungen die Testorganisation anbietet. Klaus-Peter Wichmann
© Zühlke 2011

38. 11 Testware Management
1. Testbasis*, Testobjekte und die Testware** können anhand
Namen und Version identifiziert werden.
* = Anforderungen, Designdokumente, …
**= Test Scripte, Beschreibung Testumgebung, Testplan…
2. Jeder Testfall bezieht sich transparent / nachvollziehbar auf
ein Dokument der Testbasis.
3. Das Testteam hat Zugriff auf alle Elemente der Testware.
Die Prozesse zum Management der Testware
Testprozess Assessment
4. Folie 40
12. April 2011
sind explizit aufgezeichnet und dem Testteam bekannt.
Klaus-Peter Wichmann
© Zühlke 2011

39. Fazit

40. 2. Einstufung: Nachher

41. Fazit
• Erweisen Sie dem Testteam die angemessene Wertschätzung.
• Laden Sie Tester zu relevanten Meetings mit ein.
• Investieren und fordern Sie die Erstellung einer Teststrategie.
• Unterstützen Sie den Aufbau einer geeigneten Testorganisation.
Testprozess Assessment
Folie 43
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011

42. Was kann ich weiterhin
machen …
• Das Buch TPI NEXT lesen (UTN Publishers).
• Mit einfachen Schritten zur Verbesserung anfangen.
• Ein Testprozess Assessment in Betracht ziehen.
• BeiFragen Klaus-Peter Wichmann kontaktieren:
wkl@zuehlke.com
Testprozess Assessment
Folie 44
12. April 2011
Klaus-Peter Wichmann
© Zühlke 2011