Der Bericht 'SwissQ Testing Trends & Benchmarks 2012' bietet einen Überblick über den aktuellen Stand des Software-Testings in der Schweiz sowie die wichtigsten zukünftigen Trends, basierend auf Feedback von über 300 IT-Experten. Schwerpunkte sind unter anderem agile Testing-Methoden, die steigende Bedeutung von Requirements Engineering und mobile Testing-Herausforderungen. Die Analyse zeigt, dass viele Unternehmen die Chancen neuer Technologien und Verfahren erkennen, jedoch oft noch am Anfang der Umsetzung stehen.

1. SwissQ Testing Trends &
Benchmarks Schweiz 2012
Software Testing Trends Schweiz 2012. Wo stehen wir – wohin geht es?

2. INHALTSVERZEICHNIS SwissQ Testing Trends & Benchmarks 2012 2
3 EDITORIAL
4 TRENDWAVE 2012
6 KEY MESSAGES
7 PROJEKTE
8 REIFE
9 MOBILE TESTING
Schwerpunkt
10 ORGANISATION
12 VORGEHEN
13 AGILE TESTING
Schwerpunkt
14 TESTWERKZEUGE
15 AUTOMATISIERUNG
Schwerpunkt
16 ERHEBUNGSGRUNDLAGEN
17 STRATEGIE & MANAGEMENT
Schwerpunkt

3. EDITORIAL SwissQ Testing Trends & Benchmarks 2012 3
Zum vierten Mal in Folge hat SwissQ zum Jahresende bei der Schweizer IT Community die aktuellen Trends und Benchmarks erfragt.
Nebst einem sehr positiven Rücklauf von über 300 ausgefüllten Fragebogen wurden auch diverse IT-Entscheidungsträger aus unterschiedli-
chen Firmen, Branchen und Regionen, in einem persönlichen Interview zu den aktuellen Trends befragt. Daraus entstanden ein repräsentati-
ver Überblick zum Stand des Software-Testings in der Schweiz im Jahr 2012 und ein Ausblick auf die wichtigsten Trends der kommenden Zeit.
Neu wird mit der Trends & Benchmarks Analyse nicht mehr nur die Disziplin Testing beleuchtet, sondern auch die beiden Themenbereiche
Requirements Engineering und Agile. Die entsprechenden Reports erscheinen einzeln, um deren Wichtigkeit Rechnung zu tragen.
Die Teilnehmergruppe setzt sich vor allem aus Testmanagern und Abteilungslei- Wie bereits im letzten Jahr offeriert SwissQ den Unternehmen wieder die Gelegen-
tern, aber auch aus Test Engineers und Projektleitern zusammen, die insbesondere heit, die SwissQ Testing Trends & Benchmarks intern vor ihren Mitarbeitern zu prä-
im IT-Sektor, im Finanz- und Versicherungswesen, in der Industrie oder in staatli- sentieren. Zielpublikum sind vor allem die Tester Community, Software Ingenieure,
chen Betrieben tätig sind. Zum ersten Mal haben wir in diesem Jahr einen speziel- Projektleiter, Requirements Engineers und das Management. Die Präsentation
len Fokus auf die Themen Agile Testing und Requirements Engineering gelegt und ermöglicht, einen externen Blick auf die aktuellen Veränderungen zu bekommen,
deshalb den Teilnehmerkreis entsprechend erweitert. So ist etwa ein Viertel der die Motivation und den Stellenwert des Testings zu steigern sowie von Ideen für
Umfrageteilnehmer im Requirements Engineering tätig. Zusammen dienten uns die konstante Weiterentwicklung des Testings zu profitieren.
die über 300 ausgefüllten Fragebogen als Grundlage für die Analyse und Interpre-
tation des aktuellen Standes und zukünftiger Entwicklungen für 2012. In diesem Sinne hoffen wir, dass die vorliegenden Trends und Benchmarks Sie
dazu inspirieren, neue Herausforderungen aktiv anzugehen und die aktuell besten
Die Benchmarks, in Form einer Vielzahl informativer Grafiken, bilden das Rückgrat Massnahmen in Ihrem Unternehmen zu ergreifen.
des Reports und ermöglichen, sich im Vergleich mit anderen Unternehmen zu
positionieren.
Um die Aktualität der untersuchten Themen aufzuzeigen, wird wie bis anhin die
SwissQ Trend Wave® verwendet. Diese zeigt in vier Phasen auf, wie sich einzelne
Trends wahrscheinlich entwickeln, wodurch wiederum deren Einfluss auf die
Unternehmen abgeschätzt werden kann.

4. TRENDWAVE 2012 SwissQ Testing Trends & Benchmarks 2012 4
INTRODUCTION GROWTH MATURITY DECLINE
PRIORITY
Automatisierte Testprozessverbesserung
Regressionstests
ALM Tools
SCRUM
Agiles Testing Regressionstest
Load and Performance Tests
Zentrale
Testorganisation
Exploratives Testing
Risk Based Testing
ISTQB FL & AL Level
TDD
Security & Penetration Testing
Outsourcing
ISTQB Expert Level
Session Based Testing
Mobile Testing
Cloud Testing ATDD
TIME
INTRODUCTION – Das Thema wurde GROWTH – Das Thema wird immer MATURITY – Die meisten Unterneh- DECLINE – Das Thema wurde von
erkannt und einige Unternehmen mehr anerkannt und viele Unterneh- men arbeiten an der Umsetzung oder den meisten Unternehmen, mit
arbeiten an ersten Umsetzungen. men gehen darauf ein. Es entstehen haben diese bereits abgeschlossen. Ausnahme einzelner Nachzügler,
Es ist allerdings nicht absehbar, ob die ersten Werkzeuge und Beratungs- Das Wissen zu dem Thema ist oft sehr bereits umgesetzt. Wissen in diesen
sich dieser Trend positiv weiterent- firmen bieten Dienstleistungen dazu verbreitet, wobei häufig auch Unter- Bereichen neu aufzubauen generiert
wickelt und das Testing tatsächlich an. Mit der fehlenden Erfahrung bei arten dazu entstehen. oft keinen Nutzen mehr, da dieses in
erheblich beeinflussen wird. der Umsetzung gehen oft diverse Kürze obsolet wird.
Risiken einher.

5. TRENDWAVE 2012 SwissQ Testing Trends & Benchmarks 2012 5
Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als
auch die Personen und Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese
Veränderungen vorzubereiten und sie wo immer möglich aktiv mitzugestalten.
Die Technologien, welche den Consumer-Markt in den letzten Jahren verändert Momentan liegt der primäre Fokus auf zwei Bereichen, da sie in den letzten Jah-
haben – Smartphones und Tablets, SocialMedia, die Cloud und hochaktuell die ren immer mehr an Bedeutung gewonnen haben. Einer davon ist Agile Testing,
Sprachsteuerung – finden vermehrt auch in der Unternehmenswelt Verwendung. denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil mit
Die damit einhergehenden neuen Informations- und Kommunikationskanäle agilen Vorgehensweisen. Der zweite Bereich ist das Requirements Engineering,
führen dazu, dass die Kundenerwartungen stetig steigen, wie folgendes Beispiel der damit direkt eine der grössten Herausforderungen aufgreift: Die mangelhafte
illustriert: Qualität von Anforderungen. Zufall oder Schicksal, die parallele Entwicklung dieser
beiden Themen kann nur von Vorteil sein.
Bei einer hitzigen Diskussion über die Notwendigkeit einer separaten Versicherung
für Ski-Diebstahl, zücke ich am Samstag Nachmittag im Après-Ski das Smartphone Somit ist anzunehmen, dass Mobile Testing und erst recht Cloud Testing für viele
und öffne die App meiner Versicherung, um die aktuelle Deckung zu prüfen. Mit Organisationen und Software-Tester erst auf dem Radar erscheinen, wenn die
Schrecken stelle ich fest, dass Ski-Diebstahl nicht dazugehört. Sofort frage ich Siri gröbsten Hindernisse in der Umstellung auf Agile und der Qualitätserhöhung der
nach einem entsprechenden Anbieter und schliesse die Versicherung gleich Online Anforderungen überwunden sind. Zudem ist mit der Test-Automatisierung ein
ab. Zum Glück, denn gerade fährt da hinten ein Kerl im gelben Ski-Anzug mit weiteres Thema im Fokus, das uns schon viele Jahre begleitet und oft immer noch
meinen Skiern davon! nicht zufriedenstellend gelöst wurde.
Solche Szenarien, welche gestern noch utopisch waren, heute jedoch kurz vor dem Trotzdem ist absehbar, dass die „Mobilisierung“ der IT in naher Zukunft rapide
Durchbruch stehen, stellen nicht nur die Business Analysten und die Software- zunimmt. Es stellt sich die Frage, ob man hier nicht schon ansetzen sollte, bevor
Entwickler vor neue Herausforderungen. Gerade das Testing wird dadurch immer man den Zug verpasst hat und ein Aufholen zu zeit- und kostenintensiv wird.
komplexer und aufwändiger.
Viele Firmen haben diese Trends erkannt. Einige berücksichtigen sie bereits in
ihren aktuellen Projekten und Produkten, andere sammeln erste Erfahrungen und
bauen langsam Wissen auf. Ein grosser Teil ist jedoch der Meinung, dass es zu früh
ist und möchte sich noch nicht damit auseinander setzen, sollte dann aber wach-
sam sein, um nicht zu stagnieren.

6. KEY MESSAGES SwissQ Testing Trends & Benchmarks 2012 6
1 In über der Hälfte der Unterneh-
men kommen agile Vorgehen zum
Einsatz. 84.5 % der Befragten set-
zen dabei auf Scrum als bevorzugte
agile Methode.
2 Neue, technologie- und prozess-
getriebene Vorgehen wie Mobile
Testing, agiles Testen oder Session
Based Test Management, geniessen
noch (zu) wenig Aufmerksamkeit.
3 Der Fokus der Aus- und Weiter-
bildung wird vermehrt auf die
Bereiche Requirements Engineering
und Agilität gerichtet, dicht gefolgt
von den ISTQB Advanced Level-
Zertifizierungen.
4 Während 40 % der Befragten die
Reife des Testprozesses als gut oder
ausgezeichnet einschätzen, beurtei-
len Dreiviertel die Reife des Requi-
rements Engineering als höchstens
5 Nicht überraschend werden als
grösste Herausforderungen im
Testing die mangelhaften Anfor-
derungen genannt, gefolgt vom zu
späten Einbezug der Tester.
6 Die interdisziplinäre Zusammen-
arbeit zwischen Business Analyst,
Software-Entwickler und Tester hat
weiter an Bedeutung zugenommen.
Das grosse Umdenken hat aber
mittelmässig. noch nicht stattgefunden.
7 Am meisten wird in die Erweite-
rung der Testautomatisierung
und den Auf- und Ausbau der
Regressionstests investiert.
Dagegen werden kaum noch neue
8 Obwohl 80 % ihre funktionalen
Tests automatisieren, hat fast die
Hälfte erst weniger als 10 % auto-
matisiert. Positiv zu vermerken ist
jedoch, dass es 2011 noch fast 2/3
9 Der Trend zu integrierten Tool-
Lösungen hat sich insbesondere
mit HP ALM und teilweise mit MS
TFS verstärkt. Tools, welche nur eine
Disziplin abdecken, haben einen
Stellen für Tester geschaffen. waren, die weniger als 10 % auto- schweren Stand.
matisiert hatten.

7. PROJEKTE SwissQ Testing Trends & Benchmarks 2012 7
Projektart
70 % der Projekte sind Neu-Entwicklungen oder
Erweiterungen bestehender Lösungen.
>50%
der Befragten beschreibt die Ausgangslage für Projekte als nur
zufriedenstellend oder ungenügend in Bezug auf:
12 %
8% Neu-Entwicklung Aufwandschätzung
Planung
39 % Erweiterung einer
bestehenden Lösung Anforderungs-Definition
10 % Migration Realistische Erwartungen
Einführung Standard-
Software
31 % Betrieb, Support, Wartung,
Re-Design, ...
Projekterfolg
Nur knapp über ein Drittel aller Projekte wird mit der gewünschten
Funktionalität, innerhalb der vereinbarten Zeit und ohne Überschreitung
des geplanten Budgets beendet.
Projektgrösse (in CHF)
40 %
51 %
35.1 %
30 %
40 % 39.2 %
39.2 % 25.1 %
20 %
18.1 % 17.5 %
20 % 10 %
4.1 %
10.8 % 0 %
Projekt in im Rahmen, grosse funktion. Projekt Projekt
Zeit, Budget, über Budget Änderungen, verlängert/neu gestoppt
0 % Funktionalität und/oder Zeit aber Projekt geplant
bis 1 Mio bis 20 Mio über 20 Mio beendet beendet

8. REIFE SwissQ Testing Trends & Benchmarks 2012 8
Reifegrad des Testens Ansehen des Testens
Im Schnitt beurteilen die Befragten die Reife des Testprozesses in ihrer
Organisation als mittelmässig bis gut. Diese Einschätzung blieb über die
letzten Jahre gleich. Im Gegensatz dazu wird die Reife des Requirements
Es ist für den Erfolg der Organisation 18 %
Engineering (RE) von den Befragten wesentlich schlechter beurteilt. strategisch
50 % Es ist ein wichtiger Faktor, um
49 %
verlässliche Software zu produzieren
40 % Es ist ein notwendiges Übel 19 %
Es hat tiefe Priorität 13 %
30 %
Test
RE Die Kosten für Tests könnten wir 2 %
uns sparen
20 %
0 % 10 % 20 % 30 % 40 % 50 %
10 %
0 %
Die grössten Herausforderungen
t et
ac
h
ac
h sig Gu n
äs ich
hw hw m ◦Anforderungen Verfügbarkeit
sc Sc el ze
itt ge mangelhaft: der Test-
hr
Se M us umgebung:
A
Tester zu spät
involviert:
63 % 30 %
◦Automati-
38 % sierung:
40% 75%
33 %
Zu wenig
der Befragten schätzen die Reife der Befragten beurteilen Budget /
Ressourcen:
des Testprozesses als gut oder die Reife des Requirements
ausgezeichnet ein. Engineering als höchstens 30 %
mittelmässig.

9. SCHWERPUNKT MOBILE TESTING SwissQ Testing Trends & Benchmarks 2012 9
Der mobile Markt wächst stark und mit ihm sowohl die Anzahl, als auch die Komplexität der verfügbaren Applikationen.
Das für einen erfolgreichen Test nötige Wissen dringt jedoch nur langsam in die Entwicklungs- und Testorganisationen vor.
Das Testen Mobiler Apps stellt die Tester vor eine Reihe von Herausforderungen, Weder wird ein systematisches Device Management betrieben, noch finden Schu-
für die sie nicht ausreichend vorbereitet sind. Dazu gehört beispielsweise die lungen statt. Erst beim Auftreten grösserer Probleme wird punktuell externe Hilfe
Erweiterung des risikobasierten Testansatzes um relevante Gerätezustände, wie das herangezogen. Die Folge sind neben einem hohen Risiko häufig steigende Test-
Verhalten der App bei WLAN- und 3G-Zugang, Offline oder bei einkommender SMS. kosten – bei vergleichsweise geringem Nutzen. Dass diese unbestritten vorhanden
Die grösste Herausforderung für Entwicklung und Test bleibt aber die Vielzahl von sind, zeigt zum Beispiel auch der SwissQ App Test Report, welcher die bekanntes-
unterschiedlichsten Geräten und OS-Versionen. Durch das Aufkommen von iOS 5 ten Zeitungs-Apps auf Herz und Nieren geprüft hat.
und dem iPad 2 gilt dies vermehrt auch für iPhone Apps. Das Testen von Darstel-
lung, Usability und Funktionalität kann sehr kostenintensiv sein, jedoch sind das Testautomation für Mobile war Anfang 2011 nur mit wenigen Werzeugen möglich.
die Bereiche, welche nach Markteintritt entscheidend zum ersten Eindruck Inzwischen bieten mehrere namhafte Hersteller eigene Tools oder Partnerschaften
der Applikation beitragen. an, wie z.B. Jamos mit einer starken Integration in HP QC und QTP.
Dabei stellt sich die Frage, wie gut dieses Thema in die vorhandene Infrastruk-
Es reicht nicht mehr, nur eine iPhone App zu haben. 2011 ist in der Schweiz der tur und die existierenden Prozesse integriert werden kann, oder ob es eventuell
Marktanteil von Android von einem einstelligen Bereich auf ca. 30 % gestiegen. doch externen Spezialisten überlassen wird. Dies wird für 2012 sicherlich eine
In der Folge haben viele Firmen begonnen, Apps für Android zu entwickeln bzw. spannende Entwicklung mit viel Potential für First-Mover-Fehler, aber auch viel
zu portieren. Die Veränderungen in den Marktanteilen beschränken sich dabei Potential für Senkung von Kosten und vor allem von Time-to-Market.
jedoch nicht nur auf Smartphones, sondern auch auf Android Tablets, deren Ver-
kaufszahlen besonders im Q4 2011 enorm zugelegt haben. Spezialisierte Firmen, wie zum Beispiel SwissQ, bieten inzwischen eine breite
Palette an Dienstleistungen für Mobile Testing an. Mit gut ausgestatteten Geräte-
Die Test-Teams vieler Firmen haben keine besondere Ausbildung für den Test Koffern, speziellen Bug-Hunters und viel Erfahrung testen sie Apps innert Stunden
von Apps erhalten, da weiterhin die Meinung vorherrscht, eine Mobile App sei und können so ohne grossen Aufwand die Risiken stark minimieren.
“einfach zu testen”. Standards, Schulungen, Zertifizierungen fehlen bislang völlig.
Kleine und mittlere Firmen lassen ihre bisherigen Tester oder sogar ihre
Entwickler testen.
Marktanteile Smartphones Verkaufszahlen Tablets Android Gerätevielfalt CH
70 18
61
66
66 62
Android
iOS
Q4 2010 Galaxy SII
60 16
57 Symbian
Galaxy SI
49 51
RIM 53
14 Q4 2011
49 Microsoft
50 47 HTC Desire HD
50 44 45 44 Bada
43 12
41 Other OS
40 36 36 HTC Desire
33
10
30 27
8
HTC Desire S
25 31
22
19 21
19
21 20 20
18 6 HTC Sensation
20 17 16 17 16 15 17 16 17 17
10 11 12 1311 11 13 18
10 14 15 15 4 Galaxy Ace
10 8 13 13 12 11
5 5
3
1
3
1 2 2
3 2 Motorola Defy
0
2007 2007 2007 2007 2008 2008 2008 2008 2009 2009 2009 2009 2010 2010 2010 2010 2011 2011 2011 0 Else
Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Apple iOS Android Others
Quelle: Wikipedia Quelle: Strategy Analytics

10. ORGANISATION SwissQ Testing Trends & Benchmarks 2012 10
Wer führt Testaktivitäten durch Ausbildung
Der Fokus der Aus- und Weiterbildung der Mitarbeiter verschiebt sich
Erstellung der Testfälle von den ISTQB Zertifizierungen – welche die meisten schon haben –
hin zu Themen im Bereich Requirements Engineering und Agilität.
Hab ich schon Ist geplant Mal in ferner Zukunft
IT Tester ISTQB Foundation Level
36 %
Req. Engineer/ „ISTQB Advanced Level
Business Test Manager“
Entwickler Fachbereich
Analysten IT Tester ISTQB Advanced Level
21 % Endbenutzer Test Analyst
19 % 16 % Entwickler ISTQB Advanced Level
7.4 %
Technical Test Analyst
IREB® CPRE Foundation Level
Projektmanagement
(IPMA, PMI, ...)
Testdurchführung
Certified Scrum Master
Agile Testing
Certified Product Owner
Certified IT Process and
Quality Manager
IT Tester Agiles Requirements Engineering
34 % Fachbereich
Endbenutzer ISTQB Expert Level
26% Entwickler
Req. IREB CPRE Advanced Level
IT Tester
Engineer/BA Elicitation & Consolidation
17%
14% Entwickler IIBA CBAP (Certified Business
9 %
Analysis Professional)
IREB CPRE Advanced Level
Requirements Modeling
0 % 20 % 40 % 60 % 80 % 100 %

11. ORGANISATION SwissQ Testing Trends & Benchmarks 2012 11
Einsatz externer Ressourcen Testaufwand
Die Unterstützung der Testaktivitäten durch externe Ressourcen hat sich Die Streuung beim Testaufwand bleibt relativ gross. Im Durchschnitt
gegenüber 2011 leicht erhöht. Weiterhin werden die Ressourcen meist liegt der Testaufwand im Verhältnis zum Gesamtaufwand zwischen
vor Ort im Unternehmen eingesetzt. Outsourced Testing stagniert, wäh- 15 % und 20 %. Im Verhältnis zum Entwicklungsaufwand liegt der Wert
rend Managed Services (z.B. automatisierte Regressionstests) zulegen. bei etwas über 50 % (nicht visualisiert).
30 %
5.9 % 30 %
10,4 % keine externen Ressourcen
33.8 % Bezug externer Ressourcen 20 %
21 %
(Insourcing)
19 %
Bezug als Dienstleistung 17 %
(Managed Service)
50 % Auslagerung an externe Ressourcen
(Outsourcing)
10 %
8 %
4 % 1 %
0 %
< 5 % 5 – 10 % 10 – 15 % 15 – 20 % 20 – 30 % 30 – 50 % darüber
Testaufwand im Verhältnis zum Gesamtaufwand
Investitionen
Investitionen nehmen Investitionen bleiben Investitionen nehmen
tendentiell zu eher gleich tendentiell ab
Testumgebungen Auslagerung von Testaktivitäten
Testautomatisierung
Testmanagement-Tools Anstellung neuer Test-Mitarbeiter
Auf- und Ausbau
Testdaten-Management
Regressionstests
Aus- und Weiterbildung für Mitarbeiter
Strukturierte Testprozesse / Methoden

12. VORGEHEN SwissQ Testing Trends Benchmarks 2012 12
Angewandte Vorgehensmodelle Einführung agiler Methoden
In über der Hälfte der Unternehmen kommen agile Vorgehensweisen
zum Einsatz. Viele setzen dabei auf mehr als ein Vorgehensmodell, Treiber agiler Methoden
oft in Kombination mit dem Wasserfallmodell.
Agile Vorgehensweisen werden vor allem von den direkt involvierten Personen gefördert.
60 %
39.2 %
52.1 %
Agil 40 %
39.4 % 38.0 %
36.6 %
51 %
Wasserfall 10 %
19.8 %
40 %
0 %
Entwickler Abteilungs- Leiter Projektleiter CEO
Interaktiv leiter / Team- Entwicklung
Hermes leiter
22 % RUP 12 %
16 %
Gründe für agile Methoden
84.5% Beschleunigung Time-to-Market
Besserer Umgang mit
der Befragten setzen Scrum als bevorzugte
agile Methode ein. sich ändernden
Prioritäten Produktivität
SwissQ Agile Trends Benchmarks 2012 Zusammenarbeit zwischen
Viele weitere Zahlen und Details sind im SwissQ IT und Business
Agile Trends Benchmarks Report 2012 zu finden.

13. SCHWERPUNKT AGILE TESTING SwissQ Testing Trends Benchmarks 2012 13
Bereits mehr als die Hälfte der Unternehmen hat agile Vorgehensweisen im Einsatz. Agile Software-Entwicklung erfordert jedoch auch agiles Testen,
worauf die wenigsten Organisationen vorbereitet sind. Ein Wechsel des „Mindsets“ ist notwendig, der vielen schwerfällt. Doch die guten Ergebnisse
überraschen sogar gestandene Test-Experten.
Software Testing in Bezug auf Agilität ist sehr vielfältig und stellt daher eine grosse Agiles Testen hat drei grundsätzliche Aufgaben: Das Produkt zu hinterfragen und
Herausforderung dar. Dabei kann das Thema in drei Dimensionen betrachtet wer- zu prüfen, die Entwicklung zu unterstützen und Informationen für die kontinuier-
den: Agiles Testen in agilen Projekten (Scrum Co), in nicht-agilen Projekten und liche Verbesserung des Teams zu liefern. Diverse neue dynamische Testmethoden
agile Projekte im Kontext von Organisationen. Dieser Artikel widmet sich der 1. helfen dabei, die Ziele der Iterationen zu erreichen und die Effizienz des Teams zu
Dimension und dort primär den fachlich orientierten Tests, wie mit Quadranten steigern. Ansätze wie klassisches exploratives Testen, die mess- und auditierba-
2 und 3 der „Agile Testing Matrix“ (aus Brian Marick, 2009) dargestellt. re Variante „Session Based Testing“, Acceptance Test Driven Development (ATDD)
oder Scenario Testing können zu sehr guten Ergebnissen führen, welche oft sogar
Automated Business-Facing
Manual
gestandene Test-Experten überraschen. In Bezug auf die Regressionstest-Explosion
and Manual
System Acceptance Tests
im Kontext der vielen Iterationen gilt Testautomatisierung, neben der risikobasier-
Functional Tests
Exploratory Testing ten Priorisierung, als Schlüssel zum Erfolg.
Scenario Testing
Supporting Development
Story Acceptance Testing
Usability Testing
Feature Acceptance Testing
User Acceptance Testing (UAT)
Critique Product
Alpha/Beta Testing
Aus der Praxis können zusätzlich folgende Aspekte mitgegeben werden:
Q2 Q3 Der Zeitpunkt des Testens kann im Projekt in 4 verschiedenen Varianten gesetzt
Q1 Q4 werden. Möglichst viele Fehler können innerhalb eines Sprints gefunden und
System Qualities Tests behoben werden, wodurch die Fehler nicht in den nächsten Sprint gezogen
Unit Tests Performance ans Load Testing
Component Tests Security Testing werden (weniger Aufwand, mehr Zeit für die Arbeit an neuen Stories).
„ility“ Testing
Der Tester kann in allen Scrum-Prozessen und -Meetings anregen, offen über
Qualität, Testbarkeit und Anwendbarkeit zu sprechen. Der Tester sorgt für kreative
Automated Tools
Technology-Facing Diskussionen und eine hohe Lernkurve im Team, weil er eine andere, sehr kritische
Perspektive einbringt. Die Wichtigkeit von Features, User Stories und Regressions-
Für das agile Testen gab es in der Vergangenheit, ausser für Entwicklertests, fast testfällen kann spielerisch durch Priority Poker ermittelt werden.
keine Ansätze und Vorgaben, geschweige denn eine institutionalisierte Ausbildung
oder erfahrene Tester. Aufgrund der wesentlich unterschiedlichen Vorgehensweisen Der Nutzen von agilem Testen kann beispielhaft durch die SwissQ Embedded Scrum
der phasenorientierten und der agilen Welt fällt den meisten Testern der Wechsel Tester aufgezeigt werden: Durch das zeitnahe Feedback wird die Testarbeit für das
zwischen diesen beiden Welten nicht leicht. gesamte Team sichtbar und erfährt grosse Wertschätzung. Die Entwickler sehen
Die Ausgangslage, die Prozesse und die Team-Zusammensetzung sind anders, darin nicht nur ihre Entlastung, sondern schätzen auch die gegenseitige Bereicherung.
teilweise auch die Werkzeuge und die Methoden. Die flinke, konfrontative und in-
tegrative Welt der Agilität verlangt nach zusätzlichen Qualifikationen und sozialen
Fähigkeiten, die in der separierten lang-phasigen Welt der traditionellen Metho- Du bist eine echte Test-Maschine. Wir sind froh, dass wir dich dabei haben!
den nicht erforderlich waren. Damit ist ein komplett anderer „Mindset“ notwen- (Entwickler aus einem Scrum Projekt, 2011)
dig, der nicht von dem einen auf den nächsten Tag herbeigeführt werden kann.
Embedded Scrum Tester, Scrum Master und Coaches werden von SwissQ gerne und
We recently transitioned to agile. But all our testers quit. auf Anfrage zur Verfügung gestellt. Ihre jahrelange Erfahrung im Kontext von
(aus Crispin Gregory 2009) Agilität, Scrum und Testen gibt es auch in Form von Schulungen, wie z.B. Agile
Testing mit Scrum.

14. TESTWERKZEUGE SwissQ Testing Trends Benchmarks 2012 14
Testmanagement-Tools Testautomatisierung
Über 60 % der Befragten geben an, mit HP QC (seit Version 11 in ALM um-
benannt) zu arbeiten. Viele verwenden aber mehr als ein Tool, oft kombi- Eingesetzte Tools
80%
niert mit Excel oder Word. Der MS Test Manager ist klar im Vormarsch und
Spitzenreiter ist und bleibt Quick Test Professional von HP,
trumpft vor allem mit der Integration in den Team Foundation Server auf.
gefolgt von den Eigenentwicklungen. Insgesamt bleibt der
Markt stark fragmentiert. Es wurden fast 30 verschiedene
Tools genannt. der Befragten automatisieren
ihre funktionalen Tests.
HP QC / ALM 62 %
Selenium
MS Office 44 %
Tosca
Canoo Webtest
Eigenentwicklung
Ranorex Lisa 48%
haben weniger als 10 %
Open Source 20 %
Quick Test Professional der funktionalen Tests
automatisiert. Im 2011
Rational Functional Tester waren es noch 60 %.
QF Test
Andere
Eigenentwicklung 8 %
MS TFS 2010 5 %
Test Manager
Kosteneinsparungen durch Testautomatisierung
Die durch Testautomatisierung möglichen Einsparungen werden als eher gering
Inflectra Spira 2 % eingeschätzt. In einem Drittel der Fälle ist keine Aussage möglich.
IBM Rational 2 %
TestManager
33.3 %
keines 1 %
22.6 % 23.7 %
0 % 20 % 40 % 60 %
10.2 % 2.8 %
7.3 %
Kosten bis 10 % bis 20 % bis 50 % bis 80 % Keine
gestiegen Aussage
möglich

15. SCHWERPUNKT AUTOMATISIERUNG SwissQ Testing Trends Benchmarks 2012 15
Testautomatisierung ist schwer. Obwohl seit mindestens 20 Jahren Werkzeughersteller immer neue Generationen von Tools auf den Markt bringen,
ist der Nutzen in vielen Organisationen und Projekten beschränkt. Trotzdem bleibt es die einzig gangbare Lösung, um eine genügend grosse
Testabdeckung zu erreichen, insbesondere in iterativen Entwicklungsvorgehen mit vielen und oft wiederkehrenden Regressionstests.
Nachdem es vor einigen Jahren ruhiger um das Thema Testautomatisierung wur- Hier kann Outsourcing einen Ausweg bieten, wobei es sich empfiehlt, dies nur auf
de, hat das Interesse daran in den letzten Jahren wieder sprunghaft zugenom- bekannte, wohl-dokumentierte Regressions-Testfälle von Applikationen anzuwen-
men. Dies kann darauf zurückgeführt werden, dass agile Vorgehensmethoden den, die bereits eine gewisse Reife und Stabilität erreicht haben.
sich immer mehr durchsetzen und diese durch die vielen kurzen Iterationszyklen
beste Voraussetzungen für Testautomatisierungen bieten. Ein anderer Lösungsansatz vor allem in agilen Vorgehensweisen besteht darin, die
Testautomatisierung als Teil der Entwicklung voranzutreiben, also GUI-Tests auf
Gleichzeitig entwickelt sich die Tool-Landschaft, vor allem im Bereich der Stufe von Unit-Tests und in der Verantwortung der Entwickler anzusiedeln.
GUI-Automatisierung, stetig weiter. Werkzeuge mit neuen Lösungsansätzen Hier lassen sich Synergien nutzen, da Scripting sowieso Entwicklungs-Know How
treten auf – siehe TOSCA – und die bestehenden Tools werden weiterentwickelt. erfordert. Es handelt sich dabei um eine Erweiterung des Test Driven Develop-
Eine Konsolidierung des Marktes ist noch lange nicht absehbar. So überbieten ment-Ansatzes (TDD). Hier sind jedoch die zum Teil recht hohen Lizenzkosten der
sich sowohl viele Tool-Hersteller als auch Open Source-Produkte wie Selenium kommerziellen Tools ein Thema, weil sie zum Beispiel verhindern können, dass
gegenseitig mit Funktionen, die das traditionelle Capture-Replay-Verfahren jeder Entwickler die Möglichkeit hat, GUI-Tests auszuführen. Deshalb werden oft
durch verbesserte, flexible Objekterkennungen und vielfältige Scripting- und Open Source-Werkzeuge eingesetzt, welche sich zudem gut mit anderen Open
Reporting-Möglichkeiten erweitern. Dazu kommen noch eine Vielzahl von Source-Komponenten – wie z.B. Sonar oder Jenkins – integrieren lassen und so
Eigenentwicklungen vor allem beim Einsatz von GUIs, die von den kommer- Tool-Einsatz und -Monitoring zu tiefen Kosten ermöglichen.
ziellen Tools nicht oder nur schlecht unterstützt werden.
Für die Zukunft ist es wichtig, den Einsatz der Testautomatisierung weiter zu
Die grössten Herausforderungen der Testautomatisierung können jedoch nur professionalisieren. Ressourcen für die Durchführung manueller (Regressions-)
bedingt durch technische Features abgefangen werden. So erschweren es Tests, welche oft im Fachbereich angesiedelt sind, werden immer knapper, da der
mangelhafte Anforderungen, die am sinnvollsten zu automatisierende Funktio- Druck durch das Tagesgeschäft ständig steigt. Zudem ist die Motivation, repetitive
nalität zu erkennen und korrekt abzubilden. Auch sind die Applikationen unter Regressionstestfälle auszuführen, verständlicherweise nicht sehr gross.
Tests oft nicht stabil genug und werden bis kurz vor Release überarbeitet und Dadurch werden viele Flüchtigkeitsfehler gemacht, welche die Effektivität der
weiterentwickelt. Häufig übersteigen Wartungsaufwand und Betrieb der auto- Tests stark beeinträchtigen.
matisierten Tests deren Nutzen und es besteht die grosse Gefahr, dass die Tests
nicht mehr weiter gewartet werden und schnell unbrauchbar werden. Die Experten von SwissQ sind mit den verschiedenen Ansätzen vertraut und haben
Automatisierungsvorhaben in mehreren Organisationen begleitet.
Es ist überraschend und sogar erschreckend, dass viele der Probleme, die Zudem stellt SwissQ – extrem gesuchte – Test-Automatisierer zur Verfügung.
von James Bach bereits in seinem erstmals 1996 publizierten Artikel
„Test Automation Snake Oil“ (www.satisfice.com) beschrieben wurden,
immer noch gelten.
Weiter kommt hinzu, dass Spezialisten und Experten, z.B. für den Marktführer
Quick Test Professional, extrem rar sind. Das führt dazu, dass das Potential der
Tools nicht voll ausgeschöpft werden kann.

16. ERHEBUNGSGRUNDLAGEN SwissQ Testing Trends Benchmarks 2012 16
Wirtschafts-Sektor Aufgabenbereich
Über 60 % der Befragten arbeiten entweder in der IT-Branche oder im Über 50 % der Befragten umschreiben ihre Tätigkeit mit mehr als einer
Finanzbereich. Im Vergleich zu den Vorjahren hat sich deren Anteil jedoch Rolle. Gerade Test Manager üben ihre Aufgabe nicht zu 100 % ihrer ver-
reduziert, was zeigt, dass das Thema auch in anderen Branchen angekom- fügbaren Zeit aus, sondern nehmen zusätzlich andere Rollen wahr.
men ist.
IT 36.1 %
30 %
Finanzen, Versicherungen 28.4 %
Industrie 7.4 %
Staatliche und staatsnahe Betriebe 7.4 %
20 %
Transport und Verkehr 5.6 %
Telekom 4.0 %
MedTech 3.7 %
10 %
Andere 7.4 %
0 % 10 % 20 % 30 % 40 %
0 %
IT-Mitarbeitende ge
r r A r
ite / B nee eite este age
r r r
ee
r
a na mle er g i tl T a n g in
Etwas mehr als die Hälfte der Befragten arbeitet in Firmen mit mehr als
tM ea in
e En ojek M En
500 IT-Mitarbeitenden. es / T Eng Test Pr ts re
T s- s en twa
ng ent m f
lu ire So
tei rem qu
Ab qui Re
R e
2001– ... 33.0 %
501 – 2000 17.6 %
60% 33%
251 – 500 13.6 %
51 – 250 15.4 %
11 – 50 14.2 %
der Befragten arbeiten der Befragten haben eine
vor allem im Projektkontext. Linienfunktion inne.
1 – 10 6.2 %
0 % 5 % 10 % 15 % 20 % 25 % 30 % 35 %

17. SCHWERPUNKT STRATEGIE MANAGEMENT SwissQ Testing Trends Benchmarks 2012 17
In den letzten Jahren wurde in einigen Organisationen stark in Testing investiert, es wurden dedizierte Personen eingestellt, Werkzeuge
eingekauft und Ausbildung betrieben. Doch viele Erwartungen werden nicht erfüllt. Die Tester-Zunft muss sich die Fragen des Wie‘s und Wieso‘s
gefallen lassen. Neue, schlankere und effizientere Ansätze sind gefragt. Ein klarer Wertbeitrag an das Unternehmen wird verlangt.
Seit rund 10 Jahren ist eine beachtliche Evolution im Bereich Testing im Gange. Während sich viele Organisationen lange Zeit den Diskussionen „zentrales vs.
In vielen Organisationen wurde Testen als wichtig deklariert und entsprechend dezentrales Testing“ und „evolutionärer vs. revolutionärer Verbesserung“ ge-
in die einzelnen Gebiete wie dediziertes Personal, Werkzeuge, Ausbildung oder widmet haben, sind momentan Lösungen zum aktuellen Kostendruck und zur
gar zentrale Testorganisationen investiert. Dem Hype folgt nun jedoch die Er- Effizienzsteigerung und Reduzierung von „Waste“ gefragt. Auf der Suche nach
nüchterung: Die Erwartungen wurden nicht erfüllt, die Kosten sind zu hoch, der Einsparungen können gerade Fragen nach dem Wert von Software Testing im
(ausgewiesene) Nutzen ist zu tief oder zu technokratisch - das hört man oft. Einige lokalen Kontext Lösungen bieten; ist beispielsweise hohe Prozessreife das Ziel,
Unternehmen bauen bereits wieder zurück oder zerschlagen gar ihre Testeinhei- oder „wichtige“ Dokumente zu haben, oder liegt der Fokus einfach nur darauf,
ten, wie neulich die Raiffeisen. möglichst viele Fehler in kurzer Zeit zu finden?
Unabhängig vom aktuellen Reifegrad von Testing in einer Organisation ist bemer-
Bei 200 FTEs in Testing kommt logischerweise die Frage der Existenzbe-
kenswert zu sehen, dass eigentlich so gut wie niemand auf die Zukunft vorbereitet
rechtigung und möglicherweise der Zerschlagung der Einheit auf.
ist; wichtige Themen werden verschlafen, Mannschaft, Methoden und Werkzeuge
Leiter Testeinheit aus der Industrie
nicht auf die nächsten Veränderungen vorbereitet. Der eigentliche Radar fehlt und
somit wird nicht wahrgenommen, welche Themen wie Planeten um das eigene
System kreisen, auf dieses einwirken und wo der nächste Asteroid einschlagen wird.
Viele Organisationen, so scheint es, haben Mühe, die richtige Balance zwischen
Kosten und Nutzen zu finden. Während Sinn und Zweck des Testens langsam
anerkannt sind, wird oft versucht, mit allgemeinen „Silver-Bullets“ die Herausfor- Re-org
derungen zu lösen. Das richtige Management-Handwerk, die Berücksichtigung Scrum
des lokalen Kontexts und gute strategische Führung scheinen zu fehlen.
Testing
Mit ein Grund für die mangelnde strategische Ausrichtung des Themas Testing
(resp. der Test-Organisationen, falls vorhanden) ist die oft fehlende Definition des
Wertbeitrags von Testing: Was wird genau erwartet, wo sollen welche Veränderun-
Outsourcing
gen erkennbar sein, wie wird der Erfolg gemessen, etc. Dass dabei auch andere
Ansätze, als die oft hoch umjubelte zentrale Testorganisation, passen können, Beispiel eines minimalen Zukunfts-Radars
wird gerade von Testern nicht gerne gehört.
Zusammenfassend kann gesagt werden, dass nach der Spezialisierung von Testing
Vor allem bei Organisationen mit nun die Phase der stärkeren Integration folgen wird. Tester wie Testorganisationen
20-100 FTEs sind solch neue,
organisch wachsende und stark
integrierende Vorgehen gefragt.
150 Fehler müssen sich öffnen und einiges stärker mit den anderen Disziplinen und Vorgehen
interagieren. Organisationen, die neu an diesen Themen arbeiten, starten gleich
an diesem Punkt. Der Fokus muss stärker auf dem Wertbeitrag für das Unterneh-
Wie das Beispiel nebenan auf- in nur 3 Tagen haben zwei SwissQ men liegen und weniger als in der Vergangenheit auf Prozessen, Dokumenten und
zeigt, können diese oft mit Embedded Scrum Tester 8 Tage vor Werkzeugen. Dass verschiedene, auf den jeweiligen Kontext passende Ansätze die-
weniger Aufwand einen erhebli- Go-Live gefunden. sen Wertbeitrag liefern können, zeigt die Arbeit von SwissQ bei ihren unterschied-
chen Mehrwert generieren. lichsten Kunden. Referenzen und Beispiele werden gerne zur Verfügung gestellt.

18. SWISSQ REQUIREMENTS ENGINEERING SwissQ Testing Trends Benchmarks 2012 18
TRENDS BENCHMARKS REPORT 2012
Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering ab April über www.SwissQ.it
SwissQ Requirements Engineering Trends Benchmarks 2012
Viele weitere Zahlen und Details sind im SwissQ
Requirements Engineering Trend Benchmark Report 2012 zu finden.
Wo wird künftig investiert?
Investitionen Investitionen Investitionen
nehmen zu bleiben gleich nehmen ab
Aus- und Weiterbildung
für Mitarbeiter
Engere Zusammenarbeit
33 % 54 % 13 %
80% 36% prüfen Anforderungen
33 % 53 % 14 % der Fälle werden Anforde-
zwischen Business und IT nicht auf ihre
rungen auf fachliche Rich-
tigkeit, Realisierbarkeit und Notwendigkeit.
Standardisierung der
internen RE Prozesse 25 % 61 % 14 %
Vollständigkeit geprüft.
Ausarbeitung / Definition
der RE Rolle
24 % 60 % 16 %
Entwicklung von
Vorlagen und Guidelines 22 % 61 % 17 %
2/3
Anstellung neuer
RE-Mitarbeiter 22 % 55 % 23 %
Etablierung spezifischer
RE Tools 21 % 64 % 15 %
der Befragten verwenden
Etablierung eigener weniger als 1 Tag für die
RE-Bereiche/-Abteilungen 17 % 63 % 20 %
Stakeholderanalyse.
Auslagerung von
RE Aktivitäten 11 % 48 % 41 %
0 % 20 % 40 % 60 % 80 % 100 %

19. SWISSQ AGILE TRENDS BENCHMARKS REPORT 2012 SwissQ Testing Trends Benchmarks 2012 19
Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends ab April über www.SwissQ.it
SwissQ Agile Trends Benchmarks 2012
Viele weitere Zahlen und Details sind im SwissQ
Agile Trend Benchmark Report 2012 zu finden.
Hauptgründe für das Scheitern von agilen Vorgehensmethoden
Nur
40%
Fehlende Erfahrung mit agilen
Vorgehensmethoden
52 %
Unternehmensphilosophie nicht mit agilen
Werten verknüpfbar
45 %
sind zufrieden mit der
Implementierung ihrer Externer Druck einem klassischen
agilen Vorgehensmethode. Vorgehensmodell zu folgen
41 %
Fehlende Unterstützung durch das
Management 38 %
Fehlende / ungenügende Schulung / Coaching 36 %
1/3 Fehlende Verbindung zw. den
Organisationseinheiten
35 %
der Befragten haben 2 Fehlender Wille des Teams 22 %
oder mehr Jahre Erfahrung
mit agilen Methoden.
Andere 12 %
0 % 10 % 20 % 30 % 40 % 50 % 60 %

20. ÜBER UNS
SwissQ unterstützt ihre Kunden bei der Entwicklung und Einführung von IT-
Lösungen und stellt sicher, dass die Benutzer die Funktionalität erhalten, die sie
tatsächlich benötigen. Wir erreichen dies durch die eindeutige Erfassung
der Anforderungen und das risikogerechte Testen der Umsetzung.
Unsere Vision ist es, die Wertsteigerung in der IT durch Anforderungsmanage-
ment und Software Testing zu verbessern. Nebst der Erbringung von hochquali-
tativen Services,verfolgen wir diese Vision durch die Schaffung von unabhängi-
gen Plattformen wie dem Swiss Testing Day und dem Swiss Requirements Day,
die den Wissens- und Erfahrungsaustausch ermöglichen.
Ausserdem helfen wir hellen Köpfen, ihr Wissen durch unsere Schulungen
zu erweitern.
© by SwissQ Consulting AG | Stadthaus-Quai 15 | CH-8001 Zürich
www.SwissQ.it | info@SwissQ.it | Tel +41 43 288 88 40 | Fax +41 43 288 88 39