SlideShare ist ein Scribd-Unternehmen logo
1 von 20
Downloaden Sie, um offline zu lesen
Trends & Benchmarks Report Schweiz
Wo stehen wir – wohin geht es?


Testing 2013
                                     In Kooperation mit
Inhaltsverzeichnis                                        Testing Trends & Benchmarks Schweiz 2013 2




      3   EDITORIAL
      4   TRENDWAVE 2013
      6   KEY MESSAGES
      7   PROJEKTE
      8   VORGEHEN
      9   AGILITÄT
     10   REIFE
     12   ORGANISATION
     14   TESTAUFWAND
     15   TESTWERKZEUGE
     16   TESTAUTOMATISIERUNG
     17   ERHEBUNGSGRUNDLAGEN
     18   Requirements Trends & Benchmarks Schweiz 2013
     19   Agile Trends & Benchmarks Schweiz 2013
EDITORIAL                                                                                                                           Testing Trends & Benchmarks Schweiz 2013 3



Seit 5 Jahren fühlt SwissQ den Puls der IT Community und veröffentlicht jährlich Zahlen und Fakten zum Stand des Software Testings in der
Schweiz und gibt einen Ausblick auf die wichtigsten Trends der kommenden Zeit. Seit letztem Jahr werden die Testing Trends und Benchmarks
ergänzt durch die beiden Themenbereiche Requirements Engineering und Agile. Diese erscheinen in separaten Reports. Die Datenbasis bildet
einerseits die Online-Umfrage und andererseits persönliche Interviews mit IT-Entscheidungsträgern aus unterschiedlichen Firmen, Branchen
und Regionen. Für die diesjährige Ausgabe konnten wir auf 580 ausgefüllte Fragebogen - ein neuer Rekord - und um die 25 Interviews zu-
rückgreifen. An dieser Stelle ein herzliches Dankeschön an alle, die mit ihrem Input dazu beigetragen haben.

Neu führt SwissQ die Studie zu den Trends & Benchmarks in Kooperation mit dem        Unter „Projekte“ ist zum Beispiel ersichtlich, dass sich einerseits die Anzahl der
Institut für Technologiemanagement der Universität St.Gallen (HSG) durch. Die Zu-    Neuentwicklungen im Vergleich zum Vorjahr reduziert hat und es andererseits
sammenarbeit zeigt auf, wie wichtig diese Themen für die heutigen Unternehmen        immer mehr Grossprojekte gibt. Es gibt also weniger, dafür aber grössere Neupro-
geworden sind. Es freut uns, mit dieser Kooperation erneut eine Brücke zwischen      jekte. Dies hat wohl damit zu tun, dass immer weniger Vorhaben auf der grünen
der akademischen und unternehmerischen Welt schlagen zu können.                      Wiese starten. Entweder werden bestehende Lösungen erweitert oder dann kom-
                                                                                     plett neu gebaut, was oft sehr teuer ist.
Der Report gliedert sich wie gehabt in 2 Teile: die SwissQ Trend Wave® und
die Benchmarks.                                                                      Bei den Vorgehen halten sich Wasserfall und agile Vorgehen die Waage, wobei vie-
                                                                                     le Unternehmen auf mehr als ein Vorgehensmodell setzen. Im besten Fall gelingt
Im ersten Teil wird aufgezeigt, wie sich einzelne Trends entwickeln. Dies auf        es, die Vorzüge beider Modelle zu vereinen. In der Praxis tut man sich aber an den
Basis der Testing Trend Wave 2013. Die kondensierte Darstellung der wichtigsten      Übergängen und mit den unterschiedlichen Rollen und Zusammenarbeitsmodel-
Themen auf einer Seite erlaubt einen raschen Überblick. Dadurch lässt sich der       len schwer. Gerade auch die Tester müssen lernen, mit beiden Welten umzugehen
Einfluss der Marktveränderungen auf das eigene Unternehmen abschätzen und            bzw. umzudenken und die notwendige Flexibilität an den Tag zu legen. Hier muss
es können, falls notwendig, geeignete Vorhaben initiiert werden. Eine einfache       sicherlich noch mehr Erfahrung gesammelt bzw. Ausbildung betrieben werden.
Massnahme um den Veränderungsdruck aufzuzeigen ist es, die Trends und Bench-
marks intern bekannt zu machen.                                                      Die grösste Herausforderung im Testing bleiben die mangelhaften Anforderungen.
                                                                                     Da ist es spannend zu sehen, dass zu den am häufigsten angewandten Techniken
Wie bereits in den letzten Jahren offeriert SwissQ den Unternehmen die Gelegen-      zur Testfallermittlung die anwendungsfall- und geschäftsprozessbasierten Vorge-
heit, die Trends & Benchmarks intern vor ihren Mitarbeitern zu präsentieren. Ziel-   hen gehören, welche beide sauber modellierte Anforderungen voraussetzen. Das
publikum sind vor allem die Tester Community, Software Ingenieure, Projektleiter,    drückt sich wiederum darin aus, dass von den Testaktivitäten die Testfallermittlung
Requirements Engineers und das Management. Die Präsentation ermöglicht, einen        am schlechtesten abschneidet. Ein Grund, vermehrt agile Methoden in Betracht zu
externen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation und       ziehen?
den Stellenwert des Testings zu steigern, sowie von Ideen für die konstante Wei-
terentwicklung des Testings zu profitieren. Falls gewünscht, können die Ergebnisse   Bei den Testinvestitionen ist und bleibt der Fokus auf der Testautomatisierung
aus dem Requirements Engineering und Agile Report auch miteinbezogen werden.         und dem Auf- und Ausbau der Regressionstests. Dies deckt sich mit der anfangs
                                                                                     erwähnten Tatsache, dass vor allem Erweiterungs- und Wartungsprojekte statt-
Den zweiten und umfangreicheren Teil des Reports bilden die Benchmarks.              finden, bei denen naturgemäss die Sicherstellung der bestehenden Funktionalität
Die  Grafiken sind das Rückgrat des Reports und ermöglichen es, sich im Vergleich    mittels Regressionstests einen hohen Stellenwert hat. Die Automatisierung wiede-
mit anderen Unternehmen zu positionieren. Der Vergleich mit den Vorjahren er-        rum ist ein zwingendes Instrument, um der wachsenden Regression Herr
laubt es zudem zu sehen, in welche Richtung sich die Unternehmen entwickeln.         zu werden.

                                                                                     Wir hoffen, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren,
                                                                                     neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen in
                                                                                     Ihrem Unternehmen zu ergreifen.
TRENDWAVE 2013                                                                                                                   Testing Trends & Benchmarks Schweiz 2013 4




                         INTRODUCTION                               GROWTH                                 MATURITY                                    DECLINE
Priority




                                                                                                                           Keyword Driven Test Automation
                                                                                               ALM Tools

                                                                                                             Scrum (but)
                                                                            Embedded Testing

                                                                                                   Agile Testing                                       Exploratory Testing
                                                     Load and Performance Testing

                                                                                                                                 ISO 9126
                                                                                       Waterfall / Scrum Hybrid
                                              Session Based Testing / SET
                                                                                                                                  ISTQB FL & AL Level
                                       Security & Penetration Testing

                                                                             Business Driven Test Automation
                                                                                                                                             Outsourcing

                                                                        App / Mobile Testing


                                                              ISO 25010
                     Agile Test Management
            Accessibility Testing                   Model Based Testing



                                                                                                                                                                              TIME
           INTRODUCTION – Das Thema wurde            GROWTH – Das Thema wird immer             MATURITY – Die meisten Unterneh-       DECLINE – Das Thema wurde von
           erkannt und einige Unternehmen            mehr anerkannt und viele Unterneh-        men arbeiten an der Umsetzung oder     den meisten Unternehmen, mit
           arbeiten an ersten Umsetzungen. Es        men gehen darauf ein. Es entstehen        haben diese bereits abgeschlossen.     Ausnahme einzelner Nachzügler,
           ist allerdings nicht absehbar, ob sich    die ersten Werkzeuge und Beratungs-       Das Wissen zu dem Thema ist oft sehr   bereits umgesetzt. Wissen in diesen
           dieser Trend positiv weiterentwickelt     firmen bieten Dienstleistungen dazu       verbreitet, wobei häufig auch Unter-   Bereichen neu aufzubauen generiert
           und das Testing tatsächlich erheblich     an. Mit der fehlenden Erfahrung bei       arten dazu entstehen.                  oft keinen Nutzen mehr, da dieses in
           beeinflussen wird.                        der Umsetzung gehen oft diverse                                                  Kürze obsolet wird.
                                                     Risiken einher.
TRENDWAVE 2013                                                                                                                      Testing Trends & Benchmarks Schweiz 2013 5



Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen und
Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglich
aktiv mitzugestalten. Haben viele Aussagen unverändert Bestand, so sind doch einige Trends erkennbar, wie z.B. der wachsende Anteil an Testauto-
mation oder die sinkende Beschäftigung externer Testressourcen.

Die Technologien, welche den Consumer-Markt in den letzten Jahren verändert         Folgerichtig liegt der primäre Fokus auf zwei Bereichen. Einer davon ist Agile
haben – Smartphones und Tablets, SocialMedia und die Cloud - finden vermehrt        Testing, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil
auch in der Unternehmenswelt Verwendung. Die Revolution von unten hat statt-        mit agilen Vorgehensweisen. Doch die grundlegend andere Ausgangslage in Bezug
gefunden, Endkunden wie Mitarbeiter kommen mit ihren eigenen Geräten und            auf Kultur, Zeitpunkt der Involvierung und Erwartungen, was Testing liefern muss,
verlangen Funktionen und Content auf diesen nutzen zu können. Doch auch die         stellt viele Tester und ihre Organisationen vor erhebliche Probleme.
Usability Anforderungen an herkömmliche Anwendungen steigen rasant – was auf
dem Handy geht, muss doch am Monitor erst recht möglich sein.                       Der zweite Bereich ist das Requirements Engineering, der damit direkt eine der
                                                                                    grössten Herausforderungen aufgreift: Die mangelhafte Qualität von Anforderun-
Steigende Komplexität der IT und Öffnung der Unternehmungen durch das Thema         gen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kann
Mobile sind die Herausforderungen der modernen Organisationen. Diese rasante        nur von Vorteil sein.
Entwicklung stellt nicht nur Business Analysten und Software Entwickler vor neue
Herausforderungen. Gerade das Testing wird dadurch immer komplexer, aufwän-         Haben wir letztes Jahr noch prophezeit, dass Mobile Testing für viele Organisatio-
diger und vor allem schneller.                                                      nen und Software-Tester auf dem Radar erscheinen würden, so sind sie für viele
                                                                                    inzwischen Alltag. Die immer kürzeren Entwicklungs- und Releasezyklen können
Kein Wunder also, werden rund die Hälfte der IT-Projekte in der Schweiz agil        dabei nur mit Hilfe von Testautomation beherrscht werden. Ein Thema, das uns
durchgeführt (davon grösstenteils mit Scrum). Viele Firmen haben diese Trends       schon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelöst
erkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Pro-   wurde.
dukten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf.
                                                                                    Die Prognose für 2013? Manuelles Testen wird wieder an Bedeutung gewinnen.
                                                                                    In Testautomatisierung wird weiter investiert, die Testabdeckung kann weiter
                                                                                    erhöht werden. Auf der anderen Seite wird der Kostendruck weitere Effizienzstei-
                                                                                    gerungen erzwingen und entsprechend leichtere Prozesse fordern. Testorganisatio-
                                                                                    nen müssen sich dabei vermehrt integrieren und weniger auf Separation setzen.
KEY MESSAGES                                                                                   Testing Trends & Benchmarks Schweiz 2013 6




 1    Es gibt eine Verschiebung zu we-
      niger Neuentwicklungen und mehr
      Erweiterungen und Wartungs-
      projekten. Dafür steigt der Anteil
      der Mega-Projekte über 20 Mio. CHF
                                            2   Neue, technologie- und prozess-
                                                getriebene Vorgehen, wie mobile
                                                Testing, agiles Testen oder Session
                                                Based Test Management, setzen
                                                sich immer mehr durch.
                                                                                      3   Wasserfall und agile Vorgehen
                                                                                          halten sich die Waage, und werden
                                                                                          oft in Kombination eingesetzt.
                                                                                          Wasserfall / Scrum Hybrid Projekte
                                                                                          sind auf dem Vormarsch, lösen aber
      stetig.                                                                             viele Unsicherheiten aus.




 4    Die Reife des Requirement Enginee-
      ring Prozesses hat gegenüber dem
      Test weiterhin Nachholbedarf.
      Mangelhafte Anforderungen sind
      die grösste Herausforderung im
                                            5   Von den Testaktivitäten wird
                                                die Testfallermittlung klar am
                                                schlechtesten bewertet.
                                                Strukturiert Testfälle herzuleiten,
                                                fällt vielen immer noch schwer.
                                                                                      6   Bei der Ausbildung wird weiterhin
                                                                                          auf Zertifikate gesetzt. Der ISTQB
                                                                                          Foundation Level und Advanced
                                                                                          Level Test Manager waren und
                                                                                          bleiben populär.
      Testing.




 7    In die Testautomatisierung und
      den Auf- und Ausbau der
      Regressionstests wird stetig
      investiert. Das Outsourcing ist für
      viele keine gangbare Lösung.
                                            8   Der durchschnittliche Testaufwand
                                                im Verhältnis zum Gesamtprojekt-
                                                aufwand wurde über die Jahre
                                                konstant auf 16 - 20% geschätzt.
                                                                                      9   Bei den Tools für das Testmanage-
                                                                                          ment und die Testautomatisierung
                                                                                          zersplittert der Markt zusehends.
                                                                                          Zudem kann man sich in den
                                                                                          wenigsten Firmen auf ein Tool
                                                                                          einigen.
Projekte                                                                                                                                                                      Testing Trends & Benchmarks Schweiz 2013 7




Projektart                                                                                       Projekterfolg
Im letzten Jahr betrug der Anteil der Neuentwicklung noch 39%.                                   Die letzten drei Jahre haben Bewegung bezüglich des Projekterfolgs gezeigt.
Es gab eine klare Verschiebung hin zu weniger Neuentwicklungen                                   Zum einen haben inzwischen 4% der Unternehmen den Mut, Projekte zu
und mehr Erweiterungen und Wartungsprojekten.                                                    stoppen, wenn der mangelnde Erfolg dies verlangt (2011 <1%). Auf der an-
                                                                                                 deren Seite konnten seit 2011 immerhin fast 50 % mehr Projekte in time und
                                                                                                 on budget beendet werden (von 23.7% auf 36.3%)!
                       5%
               6%                                                                                40%
                                                   Erweiterung einer
                                                   bestehenden Lösung                                                                                                                             2011             2012        2013




                                                                                                                                   37.2%
     17%




                                                                                                                          36.3%
                                                                                                                 35.1%
                                                                                                 30%
                                                   Neuentwicklung




                                                                                                                                                   27.1%
                                                   Betrieb, Support, Wartung,




                                                                                                                                           25.1%
                             47%                                                                 20%




                                                                                                         23.7%




                                                                                                                                                           23.7%
                                                   Re-Design, ...




                                                                                                                                                                           20.8%




                                                                                                                                                                                                   18.1%
                                                                                                                                                                   17.5%
      25%




                                                                                                                                                                                                                                     4.2%
                                                                                                                                                                                                                             4.1%
                                                   Migration




                                                                                                                                                                                          14.7%
                                                                                                 10%




                                                                                                                                                                                                                      0.6%
                                                                                                                                                                                                           11.6%
                                                   Einführung Standard-Software
                                                                                                  0%
                                                                                                         Projekt in Zeit,            Projekt im                Projekt                  Projekt mit                        Projekt
                                                                                                            Budget,                Rahmen, über            verlängert/neu             grossen funkt.                      gestoppt
                                                                                                         Funktionalität           Budget und/oder              geplant                 Änderungen
                                                                                                            beendet                     Zeit



Projektgrösse (in CHF)                                                                           Aufstellung der IT
                                                               2011      2012             2013                                             Durchschnittliche Bewertung
           48.7%
                                                     15%                                           Erfahrung der Mitarbeiter                                                                               3.07
                                                                                                   Erfüllung von Regularien                                                                        2.87
                                                                                  12.9%

   40%
                                                     10%                                            Business-/ Kundenfokus                                                                        2.85
                                                                          10.8%




                        38.3%                                                                                               Qualität                                                              2.84

                                                      5%                                         Erfüllung des Auftrags/Ziele                                                                2.73
                                                                  5.2%




                                                                                                                         Flexibilität                                                 2.65

   20%                                                                                                                   Innovation                                                   2.64
                                                      0%
                                                                      über 20 Mio                   Budget und Ressourcen                                                          2.49
                                                                                                                           Prozesse                                                2.46
                                       12.9%                                                                Standardisierung                                                 2.39
                                                                                                                           Effizienz                                       2.35
    0%
           bis 1 Mio    bis 20 Mio   über 20 Mio                                                                                       1                            2                                           3                              4
                                                                                                                                  Ungenügend                Zufriedenstellend                                  Gut                          Sehr gut
VORGEHEN                                                                                                                                 Testing Trends & Benchmarks Schweiz 2013 8




Angewandte Vorgehensmodelle                                                                  Gründe für agile Methoden
Viele Unternehmen setzen auf mehr als ein Vorgehensmodell. Wasserfall                        Besserer Umgang mit sich stetig ändernden Prioritäten gilt als ein Hauptgrund
hat erstaunlicherweise wieder zugelegt, was mit der gestiegenen Anzahl                       für den Einsatz agiler Methoden, ebenso wie die Zusammenarbeit zwischen
Grossprojekte zusammenhängen kann, wobei die Umsetzung in den ver-                           Business und IT und die Beschleunigung von Time-to-Market.
schiedenen Teams agil erfolgt.


                                                                                               Beschleunigung Time-to-Market
                                                                                                                       Entwicklungsprozesse vereinfachen
                                                    Wasserfall
                  Agil                                53%                                                   Produktivität erhöhen
                  49%                                     (40%)                                                                      Sichtbarkeit erhöhen
                  (51%)


                                                        RUP
                                                                Hermes
                                                                 10%                           Mit sich ändernden
                                                                                              Prioritäten umgehen
                                    Iterativ                      (12%)
                                                        10%
                                      20%               (16%)
                                        (22%)
                                                                  ( ) = Werte Umfrage 2012


                                                                                                                             Teammoral verbessern
                              Scrum                               85.7%                                         Wartbarkeit erhöhen
               Agile Hybrid (Mix aus
          verschiedenen Methoden)            29.3%                                                  Risiken minimieren
                             Kanban       24.3%

                  Lean Development              12.1%                                                          Zusammenarbeit
          Extreme Programming (XP)              10.7%                                                   Business – IT verbessern
                          ScrumBan           6.4%                                                  Kosten reduzieren
      Agile Unified Process (AgileUP)        5.7%

   Feature Driven Development (FDD)          3.6%

                                        0%      20%      40%    60%   80%   100%
AGILITäT                                                                                                                                             Testing Trends & Benchmarks Schweiz 2013 9




Testing im Kontext von Agilität

                                              Die Abnahmetests erfolgen           21.6%             38.8%                  32.4%
                                                        direkt im Sprint


                                   Man hat jederzeit den Überblick, was           21.6%                  51.8%                20.1%
                                                   gerade getestet wird


31.7%
glauben immer noch an grosse
                                Jedes Team organisiert sich selbstständig
                                  und macht Testing ein bisschen anders
                                                                              14.4%                46.0%                   31.7%                                50%
                                                                                                                                                                setzen auf Embedded
zentrale Vorgaben.
                                                                                                                                                                Testing. Der Durchbruch
                                       Wir wenden Embedded Testing an         13.6%              36.4%       15.0%           35.0%                              ist geschafft, Testen ent-
                                                                                                                                                                faltet immer mehr seinen
                                                                                                                                                                Nutzen.
                                   Die Unsicherheit der Tester ist grösser                25.2%                    57.6%
                                  geworden, da die Prozesse unklar sind


57.6%                           Die Rolle Test Manager gibt es nicht mehr            21.6%                       66.2%


                                                                                                                                                                66.2%
sehen keine Unsicherheit in
Bezug auf Prozesse. Dies im
Gegensatz zu den Aussagen der      Es braucht deutlich weniger Aufwand            9.3%                      82.1%
                                                         für das Testing                                                                                        sehen immer noch die
IT- Executives.
                                                                                                                                                                Existenzberechtigung der
                                                                                                                                                                Rolle des Test Managers.
                                   Es gibt keine formalen Vorgaben mehr            15.9%                     74.6%
                                      bezüglich Dokumentation von Tests


                                         Wir arbeiten ausschliesslich mit                 35.0%                    50.7%
                                                      Akzeptanzkriterien


91.4%
sehen weiterhin Bedarf an
                                                Wir testen nur explorativ         17.1%                     74.3%
                                                                                                                                                                74.3%
Testspezifikationen und                                                                                                                                         der Befragten setzen neben
Testfällen.                        Es werden keine Testspezifikationen /                                   91.4%                                                dem explorativen Testen
                                                Testfälle mehr benötigt                                                                                         weitere Testarten ein.
                                                                             0%            20%       40%           60%       80%         100%


                                                    Voll einverstanden       Mehrheitlich einverstanden            Nicht einverstanden          Kann ich nicht beurteilen
REIFE                                                                                                                                            Testing Trends & Benchmarks Schweiz 2013 10




Reifegrad                                                                                    Ansehen des Testens
Beurteilen beim Testing etwas über einem Drittel die Reife als schwach
oder mittelmässig, sind es beim RE fast die Hälfte der Befragten.

40%
                                                                        Test                 Es ist für den Erfolg der Organisation
                                                                                                                         strategisch               19%
                                                                        RE
30%                                                                                                 Es ist ein wichtiger Faktor, um
                                                                                             verlässliche Software zu produzieren                                                 51%


20%                                                                                                   Es ist ein notwendiges Übel                      20%


                                                                                                              Es hat tiefe Priorität        8%
10%
                                                                                                     Die Kosten für Tests könnten
                                                                                                                  wir uns sparen            2%

 0%                                                                                                                                    0%        10%      20%      30%       40%      50%

           ac
             h             sig        Gut               gut             ne
                                                                          t
                        äs                         hr                ich
         hw           lm
       Sc                                        Se                ze
                  itte                                           ge
                 M
                                                              Aus


                                 Die grössten Herausforderungen
                                 Die „zu späte Lieferung der Software“ wurde neu aufgenommen und hat sich                                                                 Anforde-
                                 prompt zum Renner entwickelt, der allen anderen ein paar Prozentpunkte                                                                    rungen
                                 streitig gemacht hat.                                                                                                                   mangelhaft

                                 ( ) = Werte Umfrage 2012
                                                                                                                        Zu wenig                   Tester zu               50%
                                                                                                  Zu späte              Budget /                     spät                   (63%)
                                                                                 Auto-           Lieferung                                        involviert
                                                               Testum-                                                 Ressourcen
                                   Testdaten                                   matisierung         der SW
                                                               gebung
                                                                                                                         29%                       30%
                                    19%                        21%              22%              26%                                                (38%)
                                                                                                                           (30%)
                                                                                  (33%)
                                     (24%)                       (30%)                             (NEU)
REIFE                                                                                                                                           Testing Trends & Benchmarks Schweiz 2013 11




Zufriedenheit mit Testaktivitäten                                                         Anwendung der Testtechniken
Die Aktivitäten Testmanagement und Testdurchführung schneiden am                          Die grundlegenden Black Box-Techniken kommen nur sporadisch
besten ab. Das klare Schlusslicht bildet die Testfallermittlung.                          zum Einsatz. Am verbreitetsten sind noch die Äquivalenzklassen- und
                                                                                          Grenzwertanalyse.



                                                                                          40.1%
                 Zufrieden              Mittelmässig                 Unzufrieden


                                                                                   100%   wenden exploratives Testen an.                     Anwendungsfälle und Geschäftspro-
          12%                                                  9%
                            15%              18%                           18%
                                                                                          Wobei der Begriff oft mit Adhoc                   zesse bilden eine ideale Basis für die
                                                                                          Testing gleichgesetzt wird.                     Definition von Testfällen. Die Techniken
                                                                                   80%                                                              sind entsprechend verbreitet.
          32%                                                  35%
                            39%                                           38%
                                                                                   60%            Anwendungsfallbasiert                                        56.8%
                                             44%

                                                                                                            Risikobasiert                           42.0%
                                                                                   40%
                                                                                                      Exploratives Testen                           41.6%
          56%                                                  56%
                            46%                                            44%     20%           Geschäftsprozessbasiert                           40.1%
                                             38%

                                                                                               Äquivalenzklassenanalyse                 23.7%
                                                                                   0%
                                                                                                       Grenzwertanalyse              21.8%
             t
                           ng                   ng            un
                                                                g
                                                                             ng
           en                                 lu            hr
          m              nu               itt              ü              rtu
        ge            pl
                        a
                                        rm               hf            sw
                                                                         e
                                                                                                           Fehlerbasiert          18.3%
      na            st               lle             u rc
                                                                    au
     a            Te            t fa               d              st
  stm                         s                  st             Te
Te                          Te                 Te                                                                            11.7%
                                                                                                      Checklistenbasiert

                                                                                                  Entscheidungstabellen      10.4%


                                                                                                         Zustandsbasiert     7.6%



Nur   38%
sind zufrieden mit der Testfallermittlung.
                                                                                            Klassifikationsbaumverfahren

                                                                                                                            0%
                                                                                                                                 1.9%

                                                                                                                                    10%     20% 30%         40%   50%   60%

Dies deckt sich mit den Erfahrungen bei
SwissQ Test Assessments. Strukturiert
Testfälle herzuleiten fällt vielen schwer.
ORGANISATION                                                                                                             Testing Trends & Benchmarks Schweiz 2013 12




Wer führt Testaktivitäten durch?                                      Ausbildung
                                                                      Nach wie vor ist der ISTQB Foundation Level das meistverbreitete Zertifikat.
                                                                      Dahinter liefern sich Zertifikate aus den Disziplinen Test, ITIL, RE und Projekt
                                                                      Management ein Kopf-an-Kopf-Rennen. Agile holt derzeit mit dem Certified
               Unit Tests                                             Scrum Master auf.

                                        84% Entwickler
                                                                                    Hab ich schon               Ist geplant           Mal in ferner Zukunft



              Systemtests                                                          ISTQB Foundation Level

                                                                                     ISTQB Advanced Level
                                         52% IT Tester                                       Test Manager

                                                                                                        ITIL

           Abnahmetests                                                        IREB® Cert. Professional for
                                                                                Requirements Engineering

                              48% Fachbereich Endbenutzer                            ISTQB Advanced Level
                                                                                              Test Analyst
                                                                                      Projektmanagement
                                                                                           (IPMA, PMI, ...)
     Testautomatisierung
                                                                                    Certified Scrum Master
                                         54% IT Tester
                                                                                     ISTQB Advanced Level
                                                                                     Technical Test Analyst

 Last & Performance Tests                                                                     Agile Testing

                                                                                     Qualitätsmanagement
                                         54% IT Tester                          (dipl. Quality Manager, ...)

                                                                                   Certified Product Owner


                                                                          Agiles Requirements Engineering


                                                                                        ISTQB Expert Level

 Entwickler       IT Tester   RE / BA        Fachbereich    Niemand                                            0%     20%       40%       60%       80%       100%
                                             Endbenutzer
ORGANISATION                                                                                             Testing Trends & Benchmarks Schweiz 2013 13




Einsatz externer Ressourcen                                  Investitionen
                                                             Der Fokus ist und bleibt auf der Testautomatisierung und dem Auf- und Ausbau
                                                             der Regressionstests. Am anderen Ende der Skala finden sich wie gehabt die

                                                41.1%        Auslagerung von Testaktivitäten und die Anstellung neuer Testmitarbeiter.


            Die Unterstützung der Testaktivitäten durch
            externe Ressourcen hat sich gegenüber dem
            letzten Jahr verringert. So beziehen nun 41.1%                 Testautomatisierung
            statt 33.8% keine externen Ressourcen mehr.

                                                              Auf- und Ausbau Regressionstests



                                                                       Testdaten-Management
 Keine externen Ressourcen          8.8%

 Bezug externer Ressourcen                                                    Testumgebungen
 (Insourcing)                11.9%
 Bezug als Dienstleistung
                                                  41.1%
 (Managed Service)                                              Aus-/ Weiterbildung Mitarbeiter

 Auslagerung an externe
 Ressourcen (Outsourcing)
                                 38.2%                                  Testmanagement-Tools



                                                                       Testprozesse / Methoden



                                                              Anstellung neuer Test-Mitarbeiter




  58.9%
                                                                Auslagerung von Testaktivitäten



  Insgesamt nehmen 58.9% externe Unterstützung in
  Anspruch. Der Anteil des Outsourcing hat sich gegenüber
  2012 von 5.9% auf 8.8% leicht erhöht, ist aber immer                                            Investitionen      Investitionen
  noch relativ klein.                                                                              nehmen ab          nehmen zu
TESTAUFWAND                                                                                                                                   Testing Trends & Benchmarks Schweiz 2013 14




 Testaufwand im Verhältnis zum                                                                  Testaufwand im Verhältnis zum
 Gesamtaufwand                                                                                  Entwicklungsaufwand
                                                            2011       2012       2013                                                                    2011       2012        2013


30%                                                                                              30%




                                                 23.5%
20%                                                                                              20%




                                                                                                                                               21.3%




                                                                                                                                                                         20.4%
                                                                                                                                                            20.7%
                                    20.1%
                       19.4%




                                                                                                                                  16.9%
                                                              14.4%
10%                                                                                              10%




                                                                                                                                                                                        4.1%
                                                                                                                      9.7%
           12.5%




                                                                           8.2%




                                                                                         1.9%




                                                                                                           6.9%
0%                                                                                                0%
       < 5%        5 – 10%     11 – 15%     16 – 20%     21 – 30%     31 – 50%     darüber              < 5%      5 – 10%    11 – 15%     16 – 20%     21 – 30%     31 – 50%      darüber




  Auf den ersten Blick scheint sich                                                                                                           Ähnlich wie beim Gesamtauf-
      der Testaufwand von Jahr zu
                                                                        16 – 20%                                                              wand hat es beim Testaufwand
            Jahr stark zu verändern.                                                                                 21 – 30%                 im Verhältnis zum Entwicklungs-
          Analysiert man die Zahlen                                                                                                           aufwand über die Jahre hinweg
         genauer, stellt man jedoch                                                                                                           Verschiebungen gegeben.
   fest, dass der durchschnittliche                                                                                                           Trotzdem ist auch hier der
   Testaufwand im Verhältnis zum                                                                                                              Durchschnitt stabil bei
  Gesamtprojektaufwand konstant
                                                           Gesamt-                                     Entwicklungs-                          21 - 30% geblieben.
   auf 16 – 20% geschätzt wurde.                           aufwand                                     aufwand
TESTWERKZEUGE                                                                                                                                         Testing Trends & Benchmarks Schweiz 2013 15




  Testmanagement-Tools                                                                            Testautomatisierungs-Tools
  HP QC /ALM beherrscht weiterhin den Markt. Tricentis Tosca hat sich aber                        Insgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschie-
  zu einer ernstzunehmenden Konkurrenz entwickelt. Dahinter ist der Markt                         dene Tools genannt.
  angesichts der stetig wachsenden Zahl von Alternativen zersplittert.
  Weiterhin kommen oft mehrere Tools zum Einsatz (namentlich die
  MS Office Palette).

            HP QC / ALM                                       52%                                  HP Quick Test Professional (QTP)                              34.5%


              MS Office                            38%                                                           Eigenentwicklung                       27.2%


         Tricentis Tosca               20%                                                                           Tricentis Tosca                   26.8%

    Eigene Entwicklung           14%                                                                  xUnit (z.B. jUnit, TestNG, ...)                 24.1%


   MS TFS Test Manager           9%                                                                       Selenium (RC/WebDriver)             15.3%


      Polarion QA / ALM               7%                                                                      MS TFS / Visualstudio      8.8%
                                                                             2012    2013                                                                                            2012     2013

       Bugzilla Testopia              6%                 HP QC / ALM                                                         QF Test          5.0%            HP Quick Test
                                                                                                                                                          Professional (QTP)
          IBM Rational                                     MS Office
       Quality Manager
                                  4%                                                                                        Ranorex           4.2%
                                                                                                                                                          Eigenentwicklung
                                                    Tricentis Tosca
                                                                                                    IBM Rational Functional Tester
          Inflectra Spira        3%                                                                                          (RFT)            4.2%
                                                              Eigene                                                                                          Tricentis Tosca
                                                         Entwicklung
                TestLink         3%                       MS TFS Test                                                       FitNesse          4.2%                 Selenium
                                                           Manager                                                                                            (RC/WebDriver)

 SmartBear QAComplete            2%                                     0%     20%   40%    60%                                  Lisa        3.4%                               0%      20%     40%


SilkCentral Test Manager         1%                                                                                  Canoo Webtest           2.3%

                  keines          3%                                                                                         Andere          18.0%

                            0%               20%          40%                                                                           0%      10%       20%        30%
TESTAUTOMATISIERUNG                                                                                                                          Testing Trends & Benchmarks Schweiz 2013 16




Testautomatisierung pro Teststufe                                                                  Automatisierte Tests auf
                                                                                                   Stufe Systemtest

                                                                                                   60%
  80%
                                                                                                                                                2011            2012          2013
                                                                                                   40%
                    22.2%

  60%
                                                                                                   20%



                                                                                                     0%
  40%    44.8%                  8.8%                                                                          0 – 10%     11 – 20%          21 – 50%     51 – 80%              > 80%
                    34.5%                                            9.2%
                                             8.8%                                                                             % der Testfälle automatisiert
                                                          6.1%       12.3%

  20%
                                21.5%
                                             13.8%                             Kosteneinsparungen
                                                          12.6%
          5.4%
                                                                               Insgesamt wird das Potential für Einsparungen durch Automatisierung
                    22.2%                                            22.2%     höher eingeschätzt als im Vorjahr. Wie schon im Vorjahr hat ein beachtlicher
          13.8%                 14.2%        14.9%        12.6%
                                                                               Teil der Teilnehmenden gesagt, dass keine Aussage möglich ist.
   0%
           0%      1 – 10%    11 – 20%     21 – 50%      51 – 80%   über 80%

                         % der Testfälle automatisiert                         40%


            Unit Tests           Systemtests               Abnahmetests                       2012        2013




                                                                                                                                                                                       33.3%
                                                                               30%




                                                                                                                                                                                               24.9%
                                                                                                                            23.7%
                                                                               20%




                                                                                                          22.6%




                                                                                                                                    21.8%
                                                                                                                  19.5%
  82%                                                                                         6.9%




                                                                                                                                                        16.1%
                                                                                       7.3%


                                                                               10%




                                                                                                                                                                       2.8%

                                                                                                                                                                               10.7%
                                                                                                                                                10.2%
  der Befragten haben
  automatisierte Tests
  auf einer oder mehreren                                                       0%

  Stufen.                                                                               Kosten             bis 10%           bis 20%             bis 50%                bis 80%          Keine
                                                                                       gestiegen                                                                                        Aussage
                                                                                                                                                                                        möglich
ERHEBUNGSGRUNDLAGEN                                                                                                                               Testing Trends & Benchmarks Schweiz 2013 17




  Wirtschaftssektor                                                                            Aufgabenbereich
  Wenig überraschend ist, dass der Anteil an Finanzen und Versicherungen                       Viele Teilnehmende umschreiben ihre Tätigkeit mit mehr als einer Rolle.
  stetig sinkt. Von 35% im 2011 über 28.4% im 2012 zu 24.8% im 2013.                           Das Spektrum der zu erfüllenden Aufgabenbereiche ist insgesamt sehr breit
  Zeitgleich stieg der Anteil staatlicher Betriebe von 6.5% auf inzwischen 9%.                 gefächert.

                                                                                                                                             0%     10%           20%       30%         40%
                                  IT                                             37.7%
                                                                                                                          Test Manager                                     35.5%
        Finanzen, Versicherungen                              24.8%
                                                                                                    Test Engineer / Test Analyst / Tester                          27.8%
Staatliche und staatsnahe Betriebe          9.0%
                                                                                                                   Berater / Consultant                   18.6%
                           Industrie        8.7%
                                                                                                                            Projektleiter                 18.3%
            Transport und Verkehr                  5.9%
                                                                                                                              Teamleiter              17.8%
                           Telekom              4.2%
                                                                                                       Abteilungsleiter / Bereichsleiter           14.0%
                           MedTech             2.4%
                            Andere                 7.3%                                                        Requirements Engineer               13.5%

                                       0%             10%         20%           30%      40%                           Business Analyst           12.6%

                                                                                                Quality Manager / QS-Verantwortlicher             12.0%
  IT-Mitarbeitende                                                                                     Softwareentwickler / Developer                7.4%
  Über die Hälfte der Befragten arbeitet in Firmen mit mehr als                                SW Engineer in Test / Testautomatisierer             6.6%
  250 IT-Mitarbeitenden.
                                                                                                                 C-Level (CEO / CIO / ...)         6.0%

                                                                                                                          Scrum Master             5.7%
    2001–...                                                            29.0%
                                                                                                                         Product Owner             5.2%
   501–2000                             14.9%

    251–500                            13.7%

     51–250                                                 23.8%

      11–50                            13.7%

        1–10        5.0%

               0%      5%          10%          15%         20%     25%          30%     35%
Requirements Trends & Benchmarks Schweiz 2013                                                                                  Testing Trends & Benchmarks Schweiz 2013 18




Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering über www.SwissQ.it.




Requirements Trends & Benchmarks Schweiz 2013
Viele weitere Zahlen und Details sind im
Requirements Trends & Benchmark Report 2013 zu finden.




RE-Aufwand im Verhältnis zum                                                  Zufriedenheit
Gesamtaufwand
                                                                                    Erheben von Anforderungen             44.1%                          42.1%                13.8%
              24.7%
20%                     22.6%
                                                                                 Analysieren von Anforderungen            48.7%                          33.3%               17.9%
                                   20.4%
                                             18.3%
                                                                              Dokumentieren von Anforderungen          35.9%                        44.1%                    20.0%

10%
      10.8%                                                                          Prüfen von Anforderungen          36.4%                       41.0%                     22.6%

                                                           2.73%
                                                                    0.5%          Verwalten von Anforderungen         28.2%                  40.5%                      31.3%
0%
      < 5%    5-10%     10-15%     15-20%    20-30%        30-50%   darüber                                      0%       20%            40%           60%            80%            100%




              RE Aufwand im Verhältnis zum Gesamtaufwand                                                               Zufrieden             Mittelmässig             Unzufrieden
Agile Trends & Benchmarks Schweiz 2013                                                                                                          Testing Trends & Benchmarks Schweiz 2013   19




  Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends über www.SwissQ.it.




                                                                           Agile Trends & Benchmarks Schweiz 2013
                                                                           Viele weitere Zahlen und Details sind im
                                                                           Agile Trends & Benchmark Report 2013 zu finden.




   Verwendete Tools im agilen Umfeld                                                      Management Practices

     MS Office (Word, Excel)                                       52.9%                 Sprint Review / Product Demo                                            78.6%

                                                                                                 Backlog Management                                             75.7%
Atlassian JIRA / Greenhopper                                 47.1%
                                                                                                         Daily Standup                                          73.6%
                HP QC / ALM                          37.9%
                                                                                                      Burndown Chart                                     64.3%
 MS Team Foundation Server                 20.0%                                                    Definition of Done                                  62.1%

                    Bugzilla    10.7%                                                                   Retrospektiven                                  61.4%

                                                                                                     Release Planning                                60.0%
  IBM Rational Team Concert     8.6%
                                                                                                             Taskboard                          50.0%
        Eigene Entwicklung      6.4%
                                                                                                       Planning Poker                        42.1%
                     Scrumy            4.3%
                                                                                             Dedicated Product Owner                         41.4%

                Version One          3.6%                                                                Velocity Chart            28.6%

Rally Software Development          2.1%                                                           Definition of Ready         17.9%

                                                                                                     On-Site Customer                   16.4%
 Inflectra SpiraDevelopment         1.4%
                                                                                                           Co-Location            9.3%
                     Andere         14.3%
                                                                                          Work in Progress (WiP) Limits          7.1%

                               0%              20%           40%                                                          0%           20%      40%          60%
Über Uns
SwissQ unterstützt ihre Kunden in den Themen Requirements, Testing und Agilität.
Wir stellen dabei sicher, dass die richtige Funktionalität schnell und richtig geliefert
wird. Dies durch das Bereitstellen von Expertise, Ressourcen, Assessments, Methoden
und Trainings.
Unsere Vision ist es, die Wertsteigerung in der IT durch perfektes Requirements
Engineering, professionelles Software Testing und den bewussten Einsatz von
agilen Methoden zu verbessern. Nebst der Erbringung von hochqualitativen Services,
verfolgen wir diese Vision durch die Schaffung von unabhängigen Plattformen wie
dem Swiss Testing Day und dem Swiss Requirements Day, die den Wissens- und
Erfahrungsaustausch ermöglichen. Ausserdem helfen wir hellen Köpfen, ihr Wissen
durch unsere Schulungen zu erweitern.




                                                                                     © by SwissQ Consulting AG | Stadthaus-Quai 15 | CH-8001 Zürich
                                                                         www.SwissQ.it | info@SwissQ.it | Tel +41 43 288 88 40 | Fax +41 43 288 88 39
                                                                                                       Twitter: @SwissQ | Facebook: swissqconsulting

Weitere ähnliche Inhalte

Andere mochten auch

Dtsr cd handbuch
Dtsr cd handbuchDtsr cd handbuch
Dtsr cd handbuch
ELF MACHINE
 
Music Magazine Questionaire [Pie Chart]
Music Magazine Questionaire [Pie Chart]Music Magazine Questionaire [Pie Chart]
Music Magazine Questionaire [Pie Chart]
guesta303227d
 
Soiree "Chants de Noel"
Soiree "Chants de Noel"Soiree "Chants de Noel"
Soiree "Chants de Noel"
Lutetia
 
Les Appareils De Départ Moteurs Diapo
Les Appareils De Départ Moteurs DiapoLes Appareils De Départ Moteurs Diapo
Les Appareils De Départ Moteurs Diapo
youri59490
 
Amour vu-par-les-enfants
Amour vu-par-les-enfantsAmour vu-par-les-enfants
Amour vu-par-les-enfants
OliveiraPedro
 
Introduccion a las nuevas tecnologías
Introduccion a las nuevas tecnologíasIntroduccion a las nuevas tecnologías
Introduccion a las nuevas tecnologías
Patricio Recalde
 

Andere mochten auch (20)

Diag Prof
Diag ProfDiag Prof
Diag Prof
 
Dtsr cd handbuch
Dtsr cd handbuchDtsr cd handbuch
Dtsr cd handbuch
 
Practicas2 TABLESPACE
Practicas2 TABLESPACEPracticas2 TABLESPACE
Practicas2 TABLESPACE
 
Henry potter henry_virginie_serge_annabelle_charles_et_georges
Henry potter henry_virginie_serge_annabelle_charles_et_georgesHenry potter henry_virginie_serge_annabelle_charles_et_georges
Henry potter henry_virginie_serge_annabelle_charles_et_georges
 
SwissQ Culture Desk - Kapitel 5: Wir alle haben Freiheiten - und tragen Veran...
SwissQ Culture Desk - Kapitel 5: Wir alle haben Freiheiten - und tragen Veran...SwissQ Culture Desk - Kapitel 5: Wir alle haben Freiheiten - und tragen Veran...
SwissQ Culture Desk - Kapitel 5: Wir alle haben Freiheiten - und tragen Veran...
 
Music Magazine Questionaire [Pie Chart]
Music Magazine Questionaire [Pie Chart]Music Magazine Questionaire [Pie Chart]
Music Magazine Questionaire [Pie Chart]
 
Soiree "Chants de Noel"
Soiree "Chants de Noel"Soiree "Chants de Noel"
Soiree "Chants de Noel"
 
Les Appareils De Départ Moteurs Diapo
Les Appareils De Départ Moteurs DiapoLes Appareils De Départ Moteurs Diapo
Les Appareils De Départ Moteurs Diapo
 
Bill gatesdicea losadolescentes12 (1)
Bill gatesdicea losadolescentes12 (1)Bill gatesdicea losadolescentes12 (1)
Bill gatesdicea losadolescentes12 (1)
 
RéTrospective cirey 2008
RéTrospective cirey 2008RéTrospective cirey 2008
RéTrospective cirey 2008
 
Comment ca s'ecrit ? - Les couleurs
Comment ca s'ecrit ? - Les couleursComment ca s'ecrit ? - Les couleurs
Comment ca s'ecrit ? - Les couleurs
 
KITCHEN
KITCHENKITCHEN
KITCHEN
 
Amour vu-par-les-enfants
Amour vu-par-les-enfantsAmour vu-par-les-enfants
Amour vu-par-les-enfants
 
newsletter0807-fr.pdf
newsletter0807-fr.pdfnewsletter0807-fr.pdf
newsletter0807-fr.pdf
 
Dipoexo
DipoexoDipoexo
Dipoexo
 
Introduccion a las nuevas tecnologías
Introduccion a las nuevas tecnologíasIntroduccion a las nuevas tecnologías
Introduccion a las nuevas tecnologías
 
Compter des objets
Compter des objetsCompter des objets
Compter des objets
 
"PROF-EUROPE" Varsovie 2008-9
"PROF-EUROPE" Varsovie 2008-9"PROF-EUROPE" Varsovie 2008-9
"PROF-EUROPE" Varsovie 2008-9
 
De 1 000 a 10 000
De 1 000 a 10 000De 1 000 a 10 000
De 1 000 a 10 000
 
Objetivo clase 3
Objetivo clase 3Objetivo clase 3
Objetivo clase 3
 

Ähnlich wie Testing Trends und Benchmarks 2013

Berlin Startup Insights Projektvorstellung
Berlin Startup Insights ProjektvorstellungBerlin Startup Insights Projektvorstellung
Berlin Startup Insights Projektvorstellung
berlinstartupinsights
 
C1 SetCon Broschüre Software Testen
C1 SetCon Broschüre Software TestenC1 SetCon Broschüre Software Testen
C1 SetCon Broschüre Software Testen
C1 SetCon GmbH
 
mimacom f the_process
mimacom f the_processmimacom f the_process
mimacom f the_process
Felix Kubasch
 
Mimacom f the_process
Mimacom f the_processMimacom f the_process
Mimacom f the_process
Felix Kubasch
 

Ähnlich wie Testing Trends und Benchmarks 2013 (20)

Testing Trends und Benchmarks 2013 De
Testing Trends und Benchmarks 2013 DeTesting Trends und Benchmarks 2013 De
Testing Trends und Benchmarks 2013 De
 
SwissQ Agile Trends & Benchmarks 2012 (Deutsch)
 SwissQ Agile Trends & Benchmarks 2012 (Deutsch) SwissQ Agile Trends & Benchmarks 2012 (Deutsch)
SwissQ Agile Trends & Benchmarks 2012 (Deutsch)
 
Agile Trends und Benchmarks 2013
Agile Trends und Benchmarks 2013Agile Trends und Benchmarks 2013
Agile Trends und Benchmarks 2013
 
SwissQ Testing Trends & Benchmarking 2011
SwissQ Testing Trends & Benchmarking 2011SwissQ Testing Trends & Benchmarking 2011
SwissQ Testing Trends & Benchmarking 2011
 
Berlin Startup Insights Projektvorstellung
Berlin Startup Insights ProjektvorstellungBerlin Startup Insights Projektvorstellung
Berlin Startup Insights Projektvorstellung
 
Scrum Rocks, Testing Sucks ?! RELOADED
Scrum Rocks, Testing Sucks ?! RELOADEDScrum Rocks, Testing Sucks ?! RELOADED
Scrum Rocks, Testing Sucks ?! RELOADED
 
Lean Six Sigma Leistungsangebot
Lean Six Sigma LeistungsangebotLean Six Sigma Leistungsangebot
Lean Six Sigma Leistungsangebot
 
Ich will agil testen! was muss ich können iqnite 2014 - verison 2.0
Ich will agil testen! was muss ich können   iqnite 2014 - verison 2.0Ich will agil testen! was muss ich können   iqnite 2014 - verison 2.0
Ich will agil testen! was muss ich können iqnite 2014 - verison 2.0
 
Werkbox flyer
Werkbox flyerWerkbox flyer
Werkbox flyer
 
Enterprise 2.0 Stude Saia-Burgess Conrols AG
Enterprise 2.0 Stude  Saia-Burgess Conrols AG Enterprise 2.0 Stude  Saia-Burgess Conrols AG
Enterprise 2.0 Stude Saia-Burgess Conrols AG
 
Referat: Scrum Rocks – Testing Sucks?! (reloaded)
Referat: Scrum Rocks – Testing Sucks?! (reloaded)Referat: Scrum Rocks – Testing Sucks?! (reloaded)
Referat: Scrum Rocks – Testing Sucks?! (reloaded)
 
Panaya Test Center – Auf zu postmodernem ERP Testing
Panaya Test Center – Auf zu postmodernem ERP TestingPanaya Test Center – Auf zu postmodernem ERP Testing
Panaya Test Center – Auf zu postmodernem ERP Testing
 
Agile Skalierung ohne Blaupause (Scrum Day 2014)
Agile Skalierung ohne Blaupause (Scrum Day 2014)Agile Skalierung ohne Blaupause (Scrum Day 2014)
Agile Skalierung ohne Blaupause (Scrum Day 2014)
 
C1 SetCon Broschüre Software Testen
C1 SetCon Broschüre Software TestenC1 SetCon Broschüre Software Testen
C1 SetCon Broschüre Software Testen
 
Agile Entwicklungsmethoden: Höhere Kundenzufriedenheit, mehr Transparenz und ...
Agile Entwicklungsmethoden: Höhere Kundenzufriedenheit, mehr Transparenz und ...Agile Entwicklungsmethoden: Höhere Kundenzufriedenheit, mehr Transparenz und ...
Agile Entwicklungsmethoden: Höhere Kundenzufriedenheit, mehr Transparenz und ...
 
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
 
ScALeD: Agile Skalierung jenseits von Skalierungsframeworks
ScALeD: Agile Skalierung jenseits von SkalierungsframeworksScALeD: Agile Skalierung jenseits von Skalierungsframeworks
ScALeD: Agile Skalierung jenseits von Skalierungsframeworks
 
Die Success Driver Analyse (SDA) als wirksames Instrument zur Steuerung von k...
Die Success Driver Analyse (SDA) als wirksames Instrument zur Steuerung von k...Die Success Driver Analyse (SDA) als wirksames Instrument zur Steuerung von k...
Die Success Driver Analyse (SDA) als wirksames Instrument zur Steuerung von k...
 
mimacom f the_process
mimacom f the_processmimacom f the_process
mimacom f the_process
 
Mimacom f the_process
Mimacom f the_processMimacom f the_process
Mimacom f the_process
 

Mehr von SwissQ Consulting AG

GTD 2013 Adrian Zwingli - Der einsame Tester
GTD 2013 Adrian Zwingli - Der einsame TesterGTD 2013 Adrian Zwingli - Der einsame Tester
GTD 2013 Adrian Zwingli - Der einsame Tester
SwissQ Consulting AG
 
GTD 2013 Stephan Wiesner - Wenn Tester Apps entwickeln
GTD 2013 Stephan Wiesner - Wenn Tester Apps entwickelnGTD 2013 Stephan Wiesner - Wenn Tester Apps entwickeln
GTD 2013 Stephan Wiesner - Wenn Tester Apps entwickeln
SwissQ Consulting AG
 
Introduction Priority Poker (En)
Introduction Priority Poker (En)Introduction Priority Poker (En)
Introduction Priority Poker (En)
SwissQ Consulting AG
 
Einführung Priority Poker (De)
Einführung Priority Poker (De)Einführung Priority Poker (De)
Einführung Priority Poker (De)
SwissQ Consulting AG
 

Mehr von SwissQ Consulting AG (20)

NEW: Prioritize ruthlessly: Priority Poker with Business Value Alignment
NEW: Prioritize ruthlessly: Priority Poker with Business Value AlignmentNEW: Prioritize ruthlessly: Priority Poker with Business Value Alignment
NEW: Prioritize ruthlessly: Priority Poker with Business Value Alignment
 
Prioritize ruthlessly: Priority Poker with Business Value Alignment
Prioritize ruthlessly: Priority Poker with Business Value AlignmentPrioritize ruthlessly: Priority Poker with Business Value Alignment
Prioritize ruthlessly: Priority Poker with Business Value Alignment
 
SwissQ Culture Code
SwissQ Culture CodeSwissQ Culture Code
SwissQ Culture Code
 
SwissQ Culture Desk - Intro
SwissQ Culture Desk - IntroSwissQ Culture Desk - Intro
SwissQ Culture Desk - Intro
 
Der Test Manager ist tot - lang lebe der Test Master
Der Test Manager ist tot - lang lebe der Test MasterDer Test Manager ist tot - lang lebe der Test Master
Der Test Manager ist tot - lang lebe der Test Master
 
GTD 2013 Adrian Zwingli - Der einsame Tester
GTD 2013 Adrian Zwingli - Der einsame TesterGTD 2013 Adrian Zwingli - Der einsame Tester
GTD 2013 Adrian Zwingli - Der einsame Tester
 
GTD 2013 Stephan Wiesner - Wenn Tester Apps entwickeln
GTD 2013 Stephan Wiesner - Wenn Tester Apps entwickelnGTD 2013 Stephan Wiesner - Wenn Tester Apps entwickeln
GTD 2013 Stephan Wiesner - Wenn Tester Apps entwickeln
 
Agile Trends and Benchmarks 2013 EN
Agile Trends and Benchmarks 2013 ENAgile Trends and Benchmarks 2013 EN
Agile Trends and Benchmarks 2013 EN
 
Scrum Rocks, Testing Sucks?! (de)
Scrum Rocks, Testing Sucks?! (de)Scrum Rocks, Testing Sucks?! (de)
Scrum Rocks, Testing Sucks?! (de)
 
Computerworld: Mehr Kommunikation, bitte! by Stephan Adler SwissQ
Computerworld: Mehr Kommunikation, bitte! by Stephan Adler SwissQComputerworld: Mehr Kommunikation, bitte! by Stephan Adler SwissQ
Computerworld: Mehr Kommunikation, bitte! by Stephan Adler SwissQ
 
Introduction Priority Poker (En)
Introduction Priority Poker (En)Introduction Priority Poker (En)
Introduction Priority Poker (En)
 
Einführung Priority Poker (De)
Einführung Priority Poker (De)Einführung Priority Poker (De)
Einführung Priority Poker (De)
 
Swiss Requirements Day 2013 - Vom Spieltrieb zur Systematik
Swiss Requirements Day 2013 - Vom Spieltrieb zur SystematikSwiss Requirements Day 2013 - Vom Spieltrieb zur Systematik
Swiss Requirements Day 2013 - Vom Spieltrieb zur Systematik
 
Netzwoche: Agil versus Wasserfall
Netzwoche: Agil versus WasserfallNetzwoche: Agil versus Wasserfall
Netzwoche: Agil versus Wasserfall
 
Netzwoche: Trends und Hürden im Requirements Engineering
Netzwoche: Trends und Hürden im Requirements EngineeringNetzwoche: Trends und Hürden im Requirements Engineering
Netzwoche: Trends und Hürden im Requirements Engineering
 
Netzwoche: Agile Methoden allein reichen nicht
Netzwoche: Agile Methoden allein reichen nichtNetzwoche: Agile Methoden allein reichen nicht
Netzwoche: Agile Methoden allein reichen nicht
 
Digital Marketing - Reduktion von technischen Risiken
Digital Marketing - Reduktion von technischen RisikenDigital Marketing - Reduktion von technischen Risiken
Digital Marketing - Reduktion von technischen Risiken
 
SwissQ Testing Trends & Benchmarks 2012 (Englisch)
 SwissQ Testing Trends & Benchmarks 2012 (Englisch) SwissQ Testing Trends & Benchmarks 2012 (Englisch)
SwissQ Testing Trends & Benchmarks 2012 (Englisch)
 
SwissQ Agile Trends & Benchmarks 2012 (Englisch)
SwissQ Agile Trends & Benchmarks 2012 (Englisch)SwissQ Agile Trends & Benchmarks 2012 (Englisch)
SwissQ Agile Trends & Benchmarks 2012 (Englisch)
 
Introduction Priority Poker for Tester (Englisch)
Introduction Priority Poker for Tester (Englisch)Introduction Priority Poker for Tester (Englisch)
Introduction Priority Poker for Tester (Englisch)
 

Testing Trends und Benchmarks 2013

  • 1. Trends & Benchmarks Report Schweiz Wo stehen wir – wohin geht es? Testing 2013 In Kooperation mit
  • 2. Inhaltsverzeichnis Testing Trends & Benchmarks Schweiz 2013 2 3 EDITORIAL 4 TRENDWAVE 2013 6 KEY MESSAGES 7 PROJEKTE 8 VORGEHEN 9 AGILITÄT 10 REIFE 12 ORGANISATION 14 TESTAUFWAND 15 TESTWERKZEUGE 16 TESTAUTOMATISIERUNG 17 ERHEBUNGSGRUNDLAGEN 18 Requirements Trends & Benchmarks Schweiz 2013 19 Agile Trends & Benchmarks Schweiz 2013
  • 3. EDITORIAL Testing Trends & Benchmarks Schweiz 2013 3 Seit 5 Jahren fühlt SwissQ den Puls der IT Community und veröffentlicht jährlich Zahlen und Fakten zum Stand des Software Testings in der Schweiz und gibt einen Ausblick auf die wichtigsten Trends der kommenden Zeit. Seit letztem Jahr werden die Testing Trends und Benchmarks ergänzt durch die beiden Themenbereiche Requirements Engineering und Agile. Diese erscheinen in separaten Reports. Die Datenbasis bildet einerseits die Online-Umfrage und andererseits persönliche Interviews mit IT-Entscheidungsträgern aus unterschiedlichen Firmen, Branchen und Regionen. Für die diesjährige Ausgabe konnten wir auf 580 ausgefüllte Fragebogen - ein neuer Rekord - und um die 25 Interviews zu- rückgreifen. An dieser Stelle ein herzliches Dankeschön an alle, die mit ihrem Input dazu beigetragen haben. Neu führt SwissQ die Studie zu den Trends & Benchmarks in Kooperation mit dem Unter „Projekte“ ist zum Beispiel ersichtlich, dass sich einerseits die Anzahl der Institut für Technologiemanagement der Universität St.Gallen (HSG) durch. Die Zu- Neuentwicklungen im Vergleich zum Vorjahr reduziert hat und es andererseits sammenarbeit zeigt auf, wie wichtig diese Themen für die heutigen Unternehmen immer mehr Grossprojekte gibt. Es gibt also weniger, dafür aber grössere Neupro- geworden sind. Es freut uns, mit dieser Kooperation erneut eine Brücke zwischen jekte. Dies hat wohl damit zu tun, dass immer weniger Vorhaben auf der grünen der akademischen und unternehmerischen Welt schlagen zu können. Wiese starten. Entweder werden bestehende Lösungen erweitert oder dann kom- plett neu gebaut, was oft sehr teuer ist. Der Report gliedert sich wie gehabt in 2 Teile: die SwissQ Trend Wave® und die Benchmarks. Bei den Vorgehen halten sich Wasserfall und agile Vorgehen die Waage, wobei vie- le Unternehmen auf mehr als ein Vorgehensmodell setzen. Im besten Fall gelingt Im ersten Teil wird aufgezeigt, wie sich einzelne Trends entwickeln. Dies auf es, die Vorzüge beider Modelle zu vereinen. In der Praxis tut man sich aber an den Basis der Testing Trend Wave 2013. Die kondensierte Darstellung der wichtigsten Übergängen und mit den unterschiedlichen Rollen und Zusammenarbeitsmodel- Themen auf einer Seite erlaubt einen raschen Überblick. Dadurch lässt sich der len schwer. Gerade auch die Tester müssen lernen, mit beiden Welten umzugehen Einfluss der Marktveränderungen auf das eigene Unternehmen abschätzen und bzw. umzudenken und die notwendige Flexibilität an den Tag zu legen. Hier muss es können, falls notwendig, geeignete Vorhaben initiiert werden. Eine einfache sicherlich noch mehr Erfahrung gesammelt bzw. Ausbildung betrieben werden. Massnahme um den Veränderungsdruck aufzuzeigen ist es, die Trends und Bench- marks intern bekannt zu machen. Die grösste Herausforderung im Testing bleiben die mangelhaften Anforderungen. Da ist es spannend zu sehen, dass zu den am häufigsten angewandten Techniken Wie bereits in den letzten Jahren offeriert SwissQ den Unternehmen die Gelegen- zur Testfallermittlung die anwendungsfall- und geschäftsprozessbasierten Vorge- heit, die Trends & Benchmarks intern vor ihren Mitarbeitern zu präsentieren. Ziel- hen gehören, welche beide sauber modellierte Anforderungen voraussetzen. Das publikum sind vor allem die Tester Community, Software Ingenieure, Projektleiter, drückt sich wiederum darin aus, dass von den Testaktivitäten die Testfallermittlung Requirements Engineers und das Management. Die Präsentation ermöglicht, einen am schlechtesten abschneidet. Ein Grund, vermehrt agile Methoden in Betracht zu externen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation und ziehen? den Stellenwert des Testings zu steigern, sowie von Ideen für die konstante Wei- terentwicklung des Testings zu profitieren. Falls gewünscht, können die Ergebnisse Bei den Testinvestitionen ist und bleibt der Fokus auf der Testautomatisierung aus dem Requirements Engineering und Agile Report auch miteinbezogen werden.  und dem Auf- und Ausbau der Regressionstests. Dies deckt sich mit der anfangs   erwähnten Tatsache, dass vor allem Erweiterungs- und Wartungsprojekte statt- Den zweiten und umfangreicheren Teil des Reports bilden die Benchmarks. finden, bei denen naturgemäss die Sicherstellung der bestehenden Funktionalität Die  Grafiken sind das Rückgrat des Reports und ermöglichen es, sich im Vergleich mittels Regressionstests einen hohen Stellenwert hat. Die Automatisierung wiede- mit anderen Unternehmen zu positionieren. Der Vergleich mit den Vorjahren er- rum ist ein zwingendes Instrument, um der wachsenden Regression Herr laubt es zudem zu sehen, in welche Richtung sich die Unternehmen entwickeln. zu werden. Wir hoffen, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren, neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen in Ihrem Unternehmen zu ergreifen.
  • 4. TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 4 INTRODUCTION GROWTH MATURITY DECLINE Priority Keyword Driven Test Automation ALM Tools Scrum (but) Embedded Testing Agile Testing Exploratory Testing Load and Performance Testing ISO 9126 Waterfall / Scrum Hybrid Session Based Testing / SET ISTQB FL & AL Level Security & Penetration Testing Business Driven Test Automation Outsourcing App / Mobile Testing ISO 25010 Agile Test Management Accessibility Testing Model Based Testing TIME INTRODUCTION – Das Thema wurde GROWTH – Das Thema wird immer MATURITY – Die meisten Unterneh- DECLINE – Das Thema wurde von erkannt und einige Unternehmen mehr anerkannt und viele Unterneh- men arbeiten an der Umsetzung oder den meisten Unternehmen, mit arbeiten an ersten Umsetzungen. Es men gehen darauf ein. Es entstehen haben diese bereits abgeschlossen. Ausnahme einzelner Nachzügler, ist allerdings nicht absehbar, ob sich die ersten Werkzeuge und Beratungs- Das Wissen zu dem Thema ist oft sehr bereits umgesetzt. Wissen in diesen dieser Trend positiv weiterentwickelt firmen bieten Dienstleistungen dazu verbreitet, wobei häufig auch Unter- Bereichen neu aufzubauen generiert und das Testing tatsächlich erheblich an. Mit der fehlenden Erfahrung bei arten dazu entstehen. oft keinen Nutzen mehr, da dieses in beeinflussen wird. der Umsetzung gehen oft diverse Kürze obsolet wird. Risiken einher.
  • 5. TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 5 Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen und Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglich aktiv mitzugestalten. Haben viele Aussagen unverändert Bestand, so sind doch einige Trends erkennbar, wie z.B. der wachsende Anteil an Testauto- mation oder die sinkende Beschäftigung externer Testressourcen. Die Technologien, welche den Consumer-Markt in den letzten Jahren verändert Folgerichtig liegt der primäre Fokus auf zwei Bereichen. Einer davon ist Agile haben – Smartphones und Tablets, SocialMedia und die Cloud - finden vermehrt Testing, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil auch in der Unternehmenswelt Verwendung. Die Revolution von unten hat statt- mit agilen Vorgehensweisen. Doch die grundlegend andere Ausgangslage in Bezug gefunden, Endkunden wie Mitarbeiter kommen mit ihren eigenen Geräten und auf Kultur, Zeitpunkt der Involvierung und Erwartungen, was Testing liefern muss, verlangen Funktionen und Content auf diesen nutzen zu können. Doch auch die stellt viele Tester und ihre Organisationen vor erhebliche Probleme. Usability Anforderungen an herkömmliche Anwendungen steigen rasant – was auf dem Handy geht, muss doch am Monitor erst recht möglich sein. Der zweite Bereich ist das Requirements Engineering, der damit direkt eine der grössten Herausforderungen aufgreift: Die mangelhafte Qualität von Anforderun- Steigende Komplexität der IT und Öffnung der Unternehmungen durch das Thema gen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kann Mobile sind die Herausforderungen der modernen Organisationen. Diese rasante nur von Vorteil sein. Entwicklung stellt nicht nur Business Analysten und Software Entwickler vor neue Herausforderungen. Gerade das Testing wird dadurch immer komplexer, aufwän- Haben wir letztes Jahr noch prophezeit, dass Mobile Testing für viele Organisatio- diger und vor allem schneller. nen und Software-Tester auf dem Radar erscheinen würden, so sind sie für viele inzwischen Alltag. Die immer kürzeren Entwicklungs- und Releasezyklen können Kein Wunder also, werden rund die Hälfte der IT-Projekte in der Schweiz agil dabei nur mit Hilfe von Testautomation beherrscht werden. Ein Thema, das uns durchgeführt (davon grösstenteils mit Scrum). Viele Firmen haben diese Trends schon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelöst erkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Pro- wurde. dukten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf. Die Prognose für 2013? Manuelles Testen wird wieder an Bedeutung gewinnen. In Testautomatisierung wird weiter investiert, die Testabdeckung kann weiter erhöht werden. Auf der anderen Seite wird der Kostendruck weitere Effizienzstei- gerungen erzwingen und entsprechend leichtere Prozesse fordern. Testorganisatio- nen müssen sich dabei vermehrt integrieren und weniger auf Separation setzen.
  • 6. KEY MESSAGES Testing Trends & Benchmarks Schweiz 2013 6 1 Es gibt eine Verschiebung zu we- niger Neuentwicklungen und mehr Erweiterungen und Wartungs- projekten. Dafür steigt der Anteil der Mega-Projekte über 20 Mio. CHF 2 Neue, technologie- und prozess- getriebene Vorgehen, wie mobile Testing, agiles Testen oder Session Based Test Management, setzen sich immer mehr durch. 3 Wasserfall und agile Vorgehen halten sich die Waage, und werden oft in Kombination eingesetzt. Wasserfall / Scrum Hybrid Projekte sind auf dem Vormarsch, lösen aber stetig. viele Unsicherheiten aus. 4 Die Reife des Requirement Enginee- ring Prozesses hat gegenüber dem Test weiterhin Nachholbedarf. Mangelhafte Anforderungen sind die grösste Herausforderung im 5 Von den Testaktivitäten wird die Testfallermittlung klar am schlechtesten bewertet. Strukturiert Testfälle herzuleiten, fällt vielen immer noch schwer. 6 Bei der Ausbildung wird weiterhin auf Zertifikate gesetzt. Der ISTQB Foundation Level und Advanced Level Test Manager waren und bleiben populär. Testing. 7 In die Testautomatisierung und den Auf- und Ausbau der Regressionstests wird stetig investiert. Das Outsourcing ist für viele keine gangbare Lösung. 8 Der durchschnittliche Testaufwand im Verhältnis zum Gesamtprojekt- aufwand wurde über die Jahre konstant auf 16 - 20% geschätzt. 9 Bei den Tools für das Testmanage- ment und die Testautomatisierung zersplittert der Markt zusehends. Zudem kann man sich in den wenigsten Firmen auf ein Tool einigen.
  • 7. Projekte Testing Trends & Benchmarks Schweiz 2013 7 Projektart Projekterfolg Im letzten Jahr betrug der Anteil der Neuentwicklung noch 39%. Die letzten drei Jahre haben Bewegung bezüglich des Projekterfolgs gezeigt. Es gab eine klare Verschiebung hin zu weniger Neuentwicklungen Zum einen haben inzwischen 4% der Unternehmen den Mut, Projekte zu und mehr Erweiterungen und Wartungsprojekten. stoppen, wenn der mangelnde Erfolg dies verlangt (2011 <1%). Auf der an- deren Seite konnten seit 2011 immerhin fast 50 % mehr Projekte in time und on budget beendet werden (von 23.7% auf 36.3%)! 5% 6% 40% Erweiterung einer bestehenden Lösung 2011 2012 2013 37.2% 17% 36.3% 35.1% 30% Neuentwicklung 27.1% Betrieb, Support, Wartung, 25.1% 47% 20% 23.7% 23.7% Re-Design, ... 20.8% 18.1% 17.5% 25% 4.2% 4.1% Migration 14.7% 10% 0.6% 11.6% Einführung Standard-Software 0% Projekt in Zeit, Projekt im Projekt Projekt mit Projekt Budget, Rahmen, über verlängert/neu grossen funkt. gestoppt Funktionalität Budget und/oder geplant Änderungen beendet Zeit Projektgrösse (in CHF) Aufstellung der IT 2011 2012 2013 Durchschnittliche Bewertung 48.7% 15% Erfahrung der Mitarbeiter 3.07 Erfüllung von Regularien 2.87 12.9% 40% 10% Business-/ Kundenfokus 2.85 10.8% 38.3% Qualität 2.84 5% Erfüllung des Auftrags/Ziele 2.73 5.2% Flexibilität 2.65 20% Innovation 2.64 0% über 20 Mio Budget und Ressourcen 2.49 Prozesse 2.46 12.9% Standardisierung 2.39 Effizienz 2.35 0% bis 1 Mio bis 20 Mio über 20 Mio 1 2 3 4 Ungenügend Zufriedenstellend Gut Sehr gut
  • 8. VORGEHEN Testing Trends & Benchmarks Schweiz 2013 8 Angewandte Vorgehensmodelle Gründe für agile Methoden Viele Unternehmen setzen auf mehr als ein Vorgehensmodell. Wasserfall Besserer Umgang mit sich stetig ändernden Prioritäten gilt als ein Hauptgrund hat erstaunlicherweise wieder zugelegt, was mit der gestiegenen Anzahl für den Einsatz agiler Methoden, ebenso wie die Zusammenarbeit zwischen Grossprojekte zusammenhängen kann, wobei die Umsetzung in den ver- Business und IT und die Beschleunigung von Time-to-Market. schiedenen Teams agil erfolgt. Beschleunigung Time-to-Market Entwicklungsprozesse vereinfachen Wasserfall Agil 53% Produktivität erhöhen 49% (40%) Sichtbarkeit erhöhen (51%) RUP Hermes 10% Mit sich ändernden Prioritäten umgehen Iterativ (12%) 10% 20% (16%) (22%) ( ) = Werte Umfrage 2012 Teammoral verbessern Scrum 85.7% Wartbarkeit erhöhen Agile Hybrid (Mix aus verschiedenen Methoden) 29.3% Risiken minimieren Kanban 24.3% Lean Development 12.1% Zusammenarbeit Extreme Programming (XP) 10.7% Business – IT verbessern ScrumBan 6.4% Kosten reduzieren Agile Unified Process (AgileUP) 5.7% Feature Driven Development (FDD) 3.6% 0% 20% 40% 60% 80% 100%
  • 9. AGILITäT Testing Trends & Benchmarks Schweiz 2013 9 Testing im Kontext von Agilität Die Abnahmetests erfolgen 21.6% 38.8% 32.4% direkt im Sprint Man hat jederzeit den Überblick, was 21.6% 51.8% 20.1% gerade getestet wird 31.7% glauben immer noch an grosse Jedes Team organisiert sich selbstständig und macht Testing ein bisschen anders 14.4% 46.0% 31.7% 50% setzen auf Embedded zentrale Vorgaben. Testing. Der Durchbruch Wir wenden Embedded Testing an 13.6% 36.4% 15.0% 35.0% ist geschafft, Testen ent- faltet immer mehr seinen Nutzen. Die Unsicherheit der Tester ist grösser 25.2% 57.6% geworden, da die Prozesse unklar sind 57.6% Die Rolle Test Manager gibt es nicht mehr 21.6% 66.2% 66.2% sehen keine Unsicherheit in Bezug auf Prozesse. Dies im Gegensatz zu den Aussagen der Es braucht deutlich weniger Aufwand 9.3% 82.1% für das Testing sehen immer noch die IT- Executives. Existenzberechtigung der Rolle des Test Managers. Es gibt keine formalen Vorgaben mehr 15.9% 74.6% bezüglich Dokumentation von Tests Wir arbeiten ausschliesslich mit 35.0% 50.7% Akzeptanzkriterien 91.4% sehen weiterhin Bedarf an Wir testen nur explorativ 17.1% 74.3% 74.3% Testspezifikationen und der Befragten setzen neben Testfällen. Es werden keine Testspezifikationen / 91.4% dem explorativen Testen Testfälle mehr benötigt weitere Testarten ein. 0% 20% 40% 60% 80% 100% Voll einverstanden Mehrheitlich einverstanden Nicht einverstanden Kann ich nicht beurteilen
  • 10. REIFE Testing Trends & Benchmarks Schweiz 2013 10 Reifegrad Ansehen des Testens Beurteilen beim Testing etwas über einem Drittel die Reife als schwach oder mittelmässig, sind es beim RE fast die Hälfte der Befragten. 40% Test Es ist für den Erfolg der Organisation strategisch 19% RE 30% Es ist ein wichtiger Faktor, um verlässliche Software zu produzieren 51% 20% Es ist ein notwendiges Übel 20% Es hat tiefe Priorität 8% 10% Die Kosten für Tests könnten wir uns sparen 2% 0% 0% 10% 20% 30% 40% 50% ac h sig Gut gut ne t äs hr ich hw lm Sc Se ze itte ge M Aus Die grössten Herausforderungen Die „zu späte Lieferung der Software“ wurde neu aufgenommen und hat sich Anforde- prompt zum Renner entwickelt, der allen anderen ein paar Prozentpunkte rungen streitig gemacht hat. mangelhaft ( ) = Werte Umfrage 2012 Zu wenig Tester zu 50% Zu späte Budget / spät (63%) Auto- Lieferung involviert Testum- Ressourcen Testdaten matisierung der SW gebung 29% 30% 19% 21% 22% 26% (38%) (30%) (33%) (24%) (30%) (NEU)
  • 11. REIFE Testing Trends & Benchmarks Schweiz 2013 11 Zufriedenheit mit Testaktivitäten Anwendung der Testtechniken Die Aktivitäten Testmanagement und Testdurchführung schneiden am Die grundlegenden Black Box-Techniken kommen nur sporadisch besten ab. Das klare Schlusslicht bildet die Testfallermittlung. zum Einsatz. Am verbreitetsten sind noch die Äquivalenzklassen- und Grenzwertanalyse. 40.1% Zufrieden Mittelmässig Unzufrieden 100% wenden exploratives Testen an. Anwendungsfälle und Geschäftspro- 12% 9% 15% 18% 18% Wobei der Begriff oft mit Adhoc zesse bilden eine ideale Basis für die Testing gleichgesetzt wird. Definition von Testfällen. Die Techniken 80% sind entsprechend verbreitet. 32% 35% 39% 38% 60% Anwendungsfallbasiert 56.8% 44% Risikobasiert 42.0% 40% Exploratives Testen 41.6% 56% 56% 46% 44% 20% Geschäftsprozessbasiert 40.1% 38% Äquivalenzklassenanalyse 23.7% 0% Grenzwertanalyse 21.8% t ng ng un g ng en lu hr m nu itt ü rtu ge pl a rm hf sw e Fehlerbasiert 18.3% na st lle u rc au a Te t fa d st stm s st Te Te Te Te 11.7% Checklistenbasiert Entscheidungstabellen 10.4% Zustandsbasiert 7.6% Nur 38% sind zufrieden mit der Testfallermittlung. Klassifikationsbaumverfahren 0% 1.9% 10% 20% 30% 40% 50% 60% Dies deckt sich mit den Erfahrungen bei SwissQ Test Assessments. Strukturiert Testfälle herzuleiten fällt vielen schwer.
  • 12. ORGANISATION Testing Trends & Benchmarks Schweiz 2013 12 Wer führt Testaktivitäten durch? Ausbildung Nach wie vor ist der ISTQB Foundation Level das meistverbreitete Zertifikat. Dahinter liefern sich Zertifikate aus den Disziplinen Test, ITIL, RE und Projekt Management ein Kopf-an-Kopf-Rennen. Agile holt derzeit mit dem Certified Unit Tests Scrum Master auf. 84% Entwickler Hab ich schon Ist geplant Mal in ferner Zukunft Systemtests ISTQB Foundation Level ISTQB Advanced Level 52% IT Tester Test Manager ITIL Abnahmetests IREB® Cert. Professional for Requirements Engineering 48% Fachbereich Endbenutzer ISTQB Advanced Level Test Analyst Projektmanagement (IPMA, PMI, ...) Testautomatisierung Certified Scrum Master 54% IT Tester ISTQB Advanced Level Technical Test Analyst Last & Performance Tests Agile Testing Qualitätsmanagement 54% IT Tester (dipl. Quality Manager, ...) Certified Product Owner Agiles Requirements Engineering ISTQB Expert Level Entwickler IT Tester RE / BA Fachbereich Niemand 0% 20% 40% 60% 80% 100% Endbenutzer
  • 13. ORGANISATION Testing Trends & Benchmarks Schweiz 2013 13 Einsatz externer Ressourcen Investitionen Der Fokus ist und bleibt auf der Testautomatisierung und dem Auf- und Ausbau der Regressionstests. Am anderen Ende der Skala finden sich wie gehabt die 41.1% Auslagerung von Testaktivitäten und die Anstellung neuer Testmitarbeiter. Die Unterstützung der Testaktivitäten durch externe Ressourcen hat sich gegenüber dem letzten Jahr verringert. So beziehen nun 41.1% Testautomatisierung statt 33.8% keine externen Ressourcen mehr. Auf- und Ausbau Regressionstests Testdaten-Management Keine externen Ressourcen 8.8% Bezug externer Ressourcen Testumgebungen (Insourcing) 11.9% Bezug als Dienstleistung 41.1% (Managed Service) Aus-/ Weiterbildung Mitarbeiter Auslagerung an externe Ressourcen (Outsourcing) 38.2% Testmanagement-Tools Testprozesse / Methoden Anstellung neuer Test-Mitarbeiter 58.9% Auslagerung von Testaktivitäten Insgesamt nehmen 58.9% externe Unterstützung in Anspruch. Der Anteil des Outsourcing hat sich gegenüber 2012 von 5.9% auf 8.8% leicht erhöht, ist aber immer Investitionen Investitionen noch relativ klein. nehmen ab nehmen zu
  • 14. TESTAUFWAND Testing Trends & Benchmarks Schweiz 2013 14 Testaufwand im Verhältnis zum Testaufwand im Verhältnis zum Gesamtaufwand Entwicklungsaufwand 2011 2012 2013 2011 2012 2013 30% 30% 23.5% 20% 20% 21.3% 20.4% 20.7% 20.1% 19.4% 16.9% 14.4% 10% 10% 4.1% 9.7% 12.5% 8.2% 1.9% 6.9% 0% 0% < 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber < 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber Auf den ersten Blick scheint sich Ähnlich wie beim Gesamtauf- der Testaufwand von Jahr zu 16 – 20% wand hat es beim Testaufwand Jahr stark zu verändern. 21 – 30% im Verhältnis zum Entwicklungs- Analysiert man die Zahlen aufwand über die Jahre hinweg genauer, stellt man jedoch Verschiebungen gegeben. fest, dass der durchschnittliche Trotzdem ist auch hier der Testaufwand im Verhältnis zum Durchschnitt stabil bei Gesamtprojektaufwand konstant Gesamt- Entwicklungs- 21 - 30% geblieben. auf 16 – 20% geschätzt wurde. aufwand aufwand
  • 15. TESTWERKZEUGE Testing Trends & Benchmarks Schweiz 2013 15 Testmanagement-Tools Testautomatisierungs-Tools HP QC /ALM beherrscht weiterhin den Markt. Tricentis Tosca hat sich aber Insgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschie- zu einer ernstzunehmenden Konkurrenz entwickelt. Dahinter ist der Markt dene Tools genannt. angesichts der stetig wachsenden Zahl von Alternativen zersplittert. Weiterhin kommen oft mehrere Tools zum Einsatz (namentlich die MS Office Palette). HP QC / ALM 52% HP Quick Test Professional (QTP) 34.5% MS Office 38% Eigenentwicklung 27.2% Tricentis Tosca 20% Tricentis Tosca 26.8% Eigene Entwicklung 14% xUnit (z.B. jUnit, TestNG, ...) 24.1% MS TFS Test Manager 9% Selenium (RC/WebDriver) 15.3% Polarion QA / ALM 7% MS TFS / Visualstudio 8.8% 2012 2013 2012 2013 Bugzilla Testopia 6% HP QC / ALM QF Test 5.0% HP Quick Test Professional (QTP) IBM Rational MS Office Quality Manager 4% Ranorex 4.2% Eigenentwicklung Tricentis Tosca IBM Rational Functional Tester Inflectra Spira 3% (RFT) 4.2% Eigene Tricentis Tosca Entwicklung TestLink 3% MS TFS Test FitNesse 4.2% Selenium Manager (RC/WebDriver) SmartBear QAComplete 2% 0% 20% 40% 60% Lisa 3.4% 0% 20% 40% SilkCentral Test Manager 1% Canoo Webtest 2.3% keines 3% Andere 18.0% 0% 20% 40% 0% 10% 20% 30%
  • 16. TESTAUTOMATISIERUNG Testing Trends & Benchmarks Schweiz 2013 16 Testautomatisierung pro Teststufe Automatisierte Tests auf Stufe Systemtest 60% 80% 2011 2012 2013 40% 22.2% 60% 20% 0% 40% 44.8% 8.8% 0 – 10% 11 – 20% 21 – 50% 51 – 80% > 80% 34.5% 9.2% 8.8% % der Testfälle automatisiert 6.1% 12.3% 20% 21.5% 13.8% Kosteneinsparungen 12.6% 5.4% Insgesamt wird das Potential für Einsparungen durch Automatisierung 22.2% 22.2% höher eingeschätzt als im Vorjahr. Wie schon im Vorjahr hat ein beachtlicher 13.8% 14.2% 14.9% 12.6% Teil der Teilnehmenden gesagt, dass keine Aussage möglich ist. 0% 0% 1 – 10% 11 – 20% 21 – 50% 51 – 80% über 80% % der Testfälle automatisiert 40% Unit Tests Systemtests Abnahmetests 2012 2013 33.3% 30% 24.9% 23.7% 20% 22.6% 21.8% 19.5% 82% 6.9% 16.1% 7.3% 10% 2.8% 10.7% 10.2% der Befragten haben automatisierte Tests auf einer oder mehreren 0% Stufen. Kosten bis 10% bis 20% bis 50% bis 80% Keine gestiegen Aussage möglich
  • 17. ERHEBUNGSGRUNDLAGEN Testing Trends & Benchmarks Schweiz 2013 17 Wirtschaftssektor Aufgabenbereich Wenig überraschend ist, dass der Anteil an Finanzen und Versicherungen Viele Teilnehmende umschreiben ihre Tätigkeit mit mehr als einer Rolle. stetig sinkt. Von 35% im 2011 über 28.4% im 2012 zu 24.8% im 2013. Das Spektrum der zu erfüllenden Aufgabenbereiche ist insgesamt sehr breit Zeitgleich stieg der Anteil staatlicher Betriebe von 6.5% auf inzwischen 9%. gefächert. 0% 10% 20% 30% 40% IT 37.7% Test Manager 35.5% Finanzen, Versicherungen 24.8% Test Engineer / Test Analyst / Tester 27.8% Staatliche und staatsnahe Betriebe 9.0% Berater / Consultant 18.6% Industrie 8.7% Projektleiter 18.3% Transport und Verkehr 5.9% Teamleiter 17.8% Telekom 4.2% Abteilungsleiter / Bereichsleiter 14.0% MedTech 2.4% Andere 7.3% Requirements Engineer 13.5% 0% 10% 20% 30% 40% Business Analyst 12.6% Quality Manager / QS-Verantwortlicher 12.0% IT-Mitarbeitende Softwareentwickler / Developer 7.4% Über die Hälfte der Befragten arbeitet in Firmen mit mehr als SW Engineer in Test / Testautomatisierer 6.6% 250 IT-Mitarbeitenden. C-Level (CEO / CIO / ...) 6.0% Scrum Master 5.7% 2001–... 29.0% Product Owner 5.2% 501–2000 14.9% 251–500 13.7% 51–250 23.8% 11–50 13.7% 1–10 5.0% 0% 5% 10% 15% 20% 25% 30% 35%
  • 18. Requirements Trends & Benchmarks Schweiz 2013 Testing Trends & Benchmarks Schweiz 2013 18 Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering über www.SwissQ.it. Requirements Trends & Benchmarks Schweiz 2013 Viele weitere Zahlen und Details sind im Requirements Trends & Benchmark Report 2013 zu finden. RE-Aufwand im Verhältnis zum Zufriedenheit Gesamtaufwand Erheben von Anforderungen 44.1% 42.1% 13.8% 24.7% 20% 22.6% Analysieren von Anforderungen 48.7% 33.3% 17.9% 20.4% 18.3% Dokumentieren von Anforderungen 35.9% 44.1% 20.0% 10% 10.8% Prüfen von Anforderungen 36.4% 41.0% 22.6% 2.73% 0.5% Verwalten von Anforderungen 28.2% 40.5% 31.3% 0% < 5% 5-10% 10-15% 15-20% 20-30% 30-50% darüber 0% 20% 40% 60% 80% 100% RE Aufwand im Verhältnis zum Gesamtaufwand Zufrieden Mittelmässig Unzufrieden
  • 19. Agile Trends & Benchmarks Schweiz 2013 Testing Trends & Benchmarks Schweiz 2013 19 Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends über www.SwissQ.it. Agile Trends & Benchmarks Schweiz 2013 Viele weitere Zahlen und Details sind im Agile Trends & Benchmark Report 2013 zu finden. Verwendete Tools im agilen Umfeld Management Practices MS Office (Word, Excel) 52.9% Sprint Review / Product Demo 78.6% Backlog Management 75.7% Atlassian JIRA / Greenhopper 47.1% Daily Standup 73.6% HP QC / ALM 37.9% Burndown Chart 64.3% MS Team Foundation Server 20.0% Definition of Done 62.1% Bugzilla 10.7% Retrospektiven 61.4% Release Planning 60.0% IBM Rational Team Concert 8.6% Taskboard 50.0% Eigene Entwicklung 6.4% Planning Poker 42.1% Scrumy 4.3% Dedicated Product Owner 41.4% Version One 3.6% Velocity Chart 28.6% Rally Software Development 2.1% Definition of Ready 17.9% On-Site Customer 16.4% Inflectra SpiraDevelopment 1.4% Co-Location 9.3% Andere 14.3% Work in Progress (WiP) Limits 7.1% 0% 20% 40% 0% 20% 40% 60%
  • 20. Über Uns SwissQ unterstützt ihre Kunden in den Themen Requirements, Testing und Agilität. Wir stellen dabei sicher, dass die richtige Funktionalität schnell und richtig geliefert wird. Dies durch das Bereitstellen von Expertise, Ressourcen, Assessments, Methoden und Trainings. Unsere Vision ist es, die Wertsteigerung in der IT durch perfektes Requirements Engineering, professionelles Software Testing und den bewussten Einsatz von agilen Methoden zu verbessern. Nebst der Erbringung von hochqualitativen Services, verfolgen wir diese Vision durch die Schaffung von unabhängigen Plattformen wie dem Swiss Testing Day und dem Swiss Requirements Day, die den Wissens- und Erfahrungsaustausch ermöglichen. Ausserdem helfen wir hellen Köpfen, ihr Wissen durch unsere Schulungen zu erweitern. © by SwissQ Consulting AG | Stadthaus-Quai 15 | CH-8001 Zürich www.SwissQ.it | info@SwissQ.it | Tel +41 43 288 88 40 | Fax +41 43 288 88 39 Twitter: @SwissQ | Facebook: swissqconsulting