SlideShare ist ein Scribd-Unternehmen logo
1 von 14
Downloaden Sie, um offline zu lesen
Software Measurement
in agilen Projekten
mit Open Source Tools


            Michael Palotas & Dominik Dary
            eBay Quality Engineering Europe
            2011-10-11
Agenda



• Komplexität und Herausforderungen bei eBay
• Ausgangssituation
• Manuelles und Tool-basiertes Software Measurement
• Auswirkungen des Software Measurement




                                                                                    2
                                     Erstellt von: Michael Palotas & Dominik Dary
Komplexität und Herausforderungen bei eBay


                         60 million lines of code

                   10.000+ Java application servers

                        2 billion page views/day

                      25,000 searches per second

                110 million items in > 50,000 categories

         25 Petabyte of data processed by Data Warehouse/day

               4.4 billion API calls per month (public API)

                     48 billion SQL executions/day

                 2 Terabyte of application log files/day

                     2 million outbound emails/day

                   14 Gbps peak network utilization
                                                    Erstellt von: Michael Palotas & Dominik Dary
Ihre Referenten




   Michael Palotas                    Dominik Dary
   •    Head of Quality Engineering   •  Senior Software Engineer in Test
        Europe                        •  E-Mail: ddary@ebay.com
   •    E-Mail: mpalotas@ebay.com




                                                                                                  4
                                                   Erstellt von: Michael Palotas & Dominik Dary
Ziele von Software Measurement?

          Wir möchten uns ständig verbessern in dem was wir tun



                   Festlegung von Akzeptanzkriterien aus der Sicht der
                                   Qualitätssicherung

             Schaffung der Vergleichbarkeit von Projekten und Teams

                  Ermittlung der aktuellen Reife (Maturity) der Projekte

                              Anreiz für das Team um sich zu verbessern

              Um von dem „gutem Bauchgefühl“ Measurement Ansatz
                              wegzukommen J
                                                                                                                                                  5
 Image Source: http://www.clickbuyhelp.org/wp-content/uploads/2010/03/Continuous-Improvement.jpg   Erstellt von: Michael Palotas & Dominik Dary
Tool-basiertes Software Measurement

Beispiel: eBay Deals Anwendung




                                                                                       6
                                        Erstellt von: Michael Palotas & Dominik Dary
Software Measurement in der Praxis?

  Warum reicht Tool-basiertes Measurement nicht aus?

    Ganzheitlicher Ansatz im Gegensatz nur zur Verwendung von
                     statischer Analyse-Tools

        Nicht nur die “harten Fakten” werden mit einbezogen

   Einige Kriterien können nicht Tool-basiert verifiziert werden (i.e.
        Testfallqualität, Qualität der Dokumentation, Testplan)

Tool-basiert                            Manuelles Audit
- SONAR Open Source Tool
                                  &     -  Durchgeführt vom QE
                                           Engineer
                                        -  Alle 3-5 Iterationen


                                                                                               7
                                                Erstellt von: Michael Palotas & Dominik Dary
Unsere Vision


                                 Engineering Practices

                      QA                  QE                       DEV


                  Manual Tests                 Automated Testing

                                     Large          Small          Integra-
                  Exploratory        Tests          Tests            tion
                    Testing                                         Tests
 Projekt Audits




                                                                                                                      Fast
                                     Continuous                    SCM                                               Delivery
                                     Integration
                  Acceptance
                     Test



                                                                         Tools


                                                            Wiki




                                                                                                                                8
                                                                                 Erstellt von: Michael Palotas & Dominik Dary
Maturity-Definition der Key-Area “Test Strategy”

 Test Plan
                                                   Maturity Definition
                                           1
                                                   •  Level 1:
                                                      Ein Testplan existiert für das Project.
                                   Manual Tests
                                                   •  Level 2:
      User Acceptance         Dev
                                                      Ein manueller Testplan existiert
           Tests             Tests
                                                   •  Level 3:
                                                      System Tests & automatisierte Large
      Regression Tests      System                    Tests sind vorhanden und sind
                             Tests                    aufeinander abgestimmt.

                                                   •  Level 4:
                               3               2      Low-Level Testplan existiert

                                                   •  Level 5:
                             Large                    High-Level und Low-Level Tests sind
                             Tests                    aufeinander abgestimmt.
   High level test
                                           5
   Low level test
      Small              Integration
      Tests          4      Tests


                             Automated Tests                                                                 9
                                                              Erstellt von: Michael Palotas & Dominik Dary
Wie wird mit den Ergebnissen des Audits umgegangen?

      Feedback an das SCRUM-Team & das Management

  Scrum Master + Product Owner entscheiden basierend
         auf den vorgeschlagenen Maßnahmen

    Maßnahmen werden übers Produktbacklog umgesetzt




                                                                                                                   10
Image Source: http://en.wikipedia.org/wiki/File:Scrum_process.svg   Erstellt von: Michael Palotas & Dominik Dary
Auswirkungen des Software Measurement

         Messbare Verbesserung der Qualität des Quellcodes und des Produkts
                  Team sind motiviert sich beständig zu verbessern
                            Anreiz zwischen den Teams

Entwicklung der Maturity Levels:                   Beispiel Darstellung eines Audits




                                                                                                      11
                                                       Erstellt von: Michael Palotas & Dominik Dary
Unsere Erfahrungen als Auditoren




Positive Erfahrungen           Was haben wir geändert:
•  Erste Audits benötigen      •  Neue Metriken:
   einige Vorbereitungszeit        • Continuous Integration
•  Später durchgeführte            • Code Reviews
   Audits können schnell           • Source Code Management
   durchgeführt werden
•  Schnelles Feedback über
   die Projekte
•  Die Leistungsfähigkeit
   liegt in der Einfachheit
   der Audits

                                                                                        12
                                         Erstellt von: Michael Palotas & Dominik Dary
Kommentare, Vorschläge oder Fragen?




                                                                            13
                             Erstellt von: Michael Palotas & Dominik Dary
Vielen Dank für Ihre Aufmerksamkeit!



                                                                          14
                           Erstellt von: Michael Palotas & Dominik Dary

Weitere ähnliche Inhalte

Andere mochten auch

eBay Architecture
eBay Architecture eBay Architecture
eBay Architecture
Tony Ng
 
eBay 2009 Analyst Day
eBay 2009 Analyst DayeBay 2009 Analyst Day
eBay 2009 Analyst Day
Phil Wolff
 
V ida charles chaplin
V ida   charles chaplinV ida   charles chaplin
V ida charles chaplin
Jorge Llosa
 
Calendario 2010
Calendario 2010Calendario 2010
Calendario 2010
ali
 
Convocatoria expositores acapulco 2012
Convocatoria expositores acapulco 2012Convocatoria expositores acapulco 2012
Convocatoria expositores acapulco 2012
Rosa Paollucci
 

Andere mochten auch (20)

Mobile WebDriver Selendroid
Mobile WebDriver SelendroidMobile WebDriver Selendroid
Mobile WebDriver Selendroid
 
Neuerungen für gewerbliche Händler – der eBay Marktplatz 2016 (e-CommerceDay ...
Neuerungen für gewerbliche Händler – der eBay Marktplatz 2016 (e-CommerceDay ...Neuerungen für gewerbliche Händler – der eBay Marktplatz 2016 (e-CommerceDay ...
Neuerungen für gewerbliche Händler – der eBay Marktplatz 2016 (e-CommerceDay ...
 
BVOH eBay Excellence Workshop am Tag des Onlinhandels 2014
BVOH eBay Excellence Workshop am Tag des Onlinhandels 2014BVOH eBay Excellence Workshop am Tag des Onlinhandels 2014
BVOH eBay Excellence Workshop am Tag des Onlinhandels 2014
 
Selendroid in Action
Selendroid in ActionSelendroid in Action
Selendroid in Action
 
Pulsar: Real-time Analytics at Scale with Kafka, Kylin and Druid
Pulsar: Real-time Analytics at Scale with Kafka, Kylin and DruidPulsar: Real-time Analytics at Scale with Kafka, Kylin and Druid
Pulsar: Real-time Analytics at Scale with Kafka, Kylin and Druid
 
eBay Architecture
eBay Architecture eBay Architecture
eBay Architecture
 
eBay 2009 Analyst Day
eBay 2009 Analyst DayeBay 2009 Analyst Day
eBay 2009 Analyst Day
 
V ida charles chaplin
V ida   charles chaplinV ida   charles chaplin
V ida charles chaplin
 
Le Mans überrascht - Le Mans surprend DE
Le Mans überrascht  - Le Mans surprend DELe Mans überrascht  - Le Mans surprend DE
Le Mans überrascht - Le Mans surprend DE
 
Reglamento de evaluación uni 2013
Reglamento de evaluación uni 2013Reglamento de evaluación uni 2013
Reglamento de evaluación uni 2013
 
Calendario 2010
Calendario 2010Calendario 2010
Calendario 2010
 
Projekt "Weitersagen" - virales Spitalmarketing
Projekt "Weitersagen" - virales SpitalmarketingProjekt "Weitersagen" - virales Spitalmarketing
Projekt "Weitersagen" - virales Spitalmarketing
 
Kwick test
Kwick testKwick test
Kwick test
 
Horario2014 1 geologia
Horario2014 1 geologiaHorario2014 1 geologia
Horario2014 1 geologia
 
Auszug kultur
Auszug kulturAuszug kultur
Auszug kultur
 
ACLE Diplomado en Marketing BUAP 2011
ACLE Diplomado en Marketing BUAP 2011ACLE Diplomado en Marketing BUAP 2011
ACLE Diplomado en Marketing BUAP 2011
 
Tatort Tunzenberg
Tatort TunzenbergTatort Tunzenberg
Tatort Tunzenberg
 
Convocatoria expositores acapulco 2012
Convocatoria expositores acapulco 2012Convocatoria expositores acapulco 2012
Convocatoria expositores acapulco 2012
 
Reflexiones
ReflexionesReflexiones
Reflexiones
 
Imagenes2
Imagenes2Imagenes2
Imagenes2
 

Ähnlich wie Software Measurement in agilen Projekten mit Open Source Tools

Creasoft - Software QS
Creasoft - Software QSCreasoft - Software QS
Creasoft - Software QS
Creasoft AG
 
Einführung in die Software-Qualitätssicherung
Einführung in die Software-QualitätssicherungEinführung in die Software-Qualitätssicherung
Einführung in die Software-Qualitätssicherung
Christian Baranowski
 
Creasoft - Software QS Review
Creasoft - Software QS ReviewCreasoft - Software QS Review
Creasoft - Software QS Review
Creasoft AG
 
Lean development 04
Lean development 04Lean development 04
Lean development 04
SuperB2
 
Einführung Vorgehensmodelle und Agile Software Entwicklung
Einführung Vorgehensmodelle und Agile Software EntwicklungEinführung Vorgehensmodelle und Agile Software Entwicklung
Einführung Vorgehensmodelle und Agile Software Entwicklung
Christian Baranowski
 
software test management
software test managementsoftware test management
software test management
Test Management
 

Ähnlich wie Software Measurement in agilen Projekten mit Open Source Tools (20)

Softwarequalität Entwicklung - Test - Wartung
Softwarequalität Entwicklung -  Test - WartungSoftwarequalität Entwicklung -  Test - Wartung
Softwarequalität Entwicklung - Test - Wartung
 
Creasoft - Software QS
Creasoft - Software QSCreasoft - Software QS
Creasoft - Software QS
 
Der Agile Qualitätsbaukasten - PHP Unconference 2014
Der Agile Qualitätsbaukasten - PHP Unconference 2014Der Agile Qualitätsbaukasten - PHP Unconference 2014
Der Agile Qualitätsbaukasten - PHP Unconference 2014
 
Markus Schranner: "Das Lean Startup Prinzip - Potentiale für NGOs und soziale...
Markus Schranner: "Das Lean Startup Prinzip - Potentiale für NGOs und soziale...Markus Schranner: "Das Lean Startup Prinzip - Potentiale für NGOs und soziale...
Markus Schranner: "Das Lean Startup Prinzip - Potentiale für NGOs und soziale...
 
Einführung in die Software-Qualitätssicherung
Einführung in die Software-QualitätssicherungEinführung in die Software-Qualitätssicherung
Einführung in die Software-Qualitätssicherung
 
Creasoft - Software QS Review
Creasoft - Software QS ReviewCreasoft - Software QS Review
Creasoft - Software QS Review
 
SE2013 ANECON Testen in agilen Projekten
SE2013 ANECON Testen in agilen ProjektenSE2013 ANECON Testen in agilen Projekten
SE2013 ANECON Testen in agilen Projekten
 
Agiles Testen - Überblick
Agiles Testen - ÜberblickAgiles Testen - Überblick
Agiles Testen - Überblick
 
ASQF Dresden: Benötigen wir mit SCRUM noch einen Testmanager?
ASQF Dresden: Benötigen wir mit SCRUM noch einen Testmanager?ASQF Dresden: Benötigen wir mit SCRUM noch einen Testmanager?
ASQF Dresden: Benötigen wir mit SCRUM noch einen Testmanager?
 
Lean development 04
Lean development 04Lean development 04
Lean development 04
 
Test Management mit Visual Studio 2012
Test Management mit Visual Studio 2012Test Management mit Visual Studio 2012
Test Management mit Visual Studio 2012
 
Softwarequalität - Einführung in eine neue Vorlesung
Softwarequalität - Einführung in eine neue VorlesungSoftwarequalität - Einführung in eine neue Vorlesung
Softwarequalität - Einführung in eine neue Vorlesung
 
Crowdsourced Mobile Testing – Alternative oder Ergänzung?
Crowdsourced Mobile Testing – Alternative oder Ergänzung?Crowdsourced Mobile Testing – Alternative oder Ergänzung?
Crowdsourced Mobile Testing – Alternative oder Ergänzung?
 
Software-Tests in PHP-Anwendungen
Software-Tests in PHP-AnwendungenSoftware-Tests in PHP-Anwendungen
Software-Tests in PHP-Anwendungen
 
Einführung Vorgehensmodelle und Agile Software Entwicklung
Einführung Vorgehensmodelle und Agile Software EntwicklungEinführung Vorgehensmodelle und Agile Software Entwicklung
Einführung Vorgehensmodelle und Agile Software Entwicklung
 
Softwaretests: Motivation und Überblick
Softwaretests: Motivation und ÜberblickSoftwaretests: Motivation und Überblick
Softwaretests: Motivation und Überblick
 
Scrum Rocks, Testing Sucks ?! RELOADED
Scrum Rocks, Testing Sucks ?! RELOADEDScrum Rocks, Testing Sucks ?! RELOADED
Scrum Rocks, Testing Sucks ?! RELOADED
 
Quo vadis DevOps
Quo vadis DevOpsQuo vadis DevOps
Quo vadis DevOps
 
software test management
software test managementsoftware test management
software test management
 
Automatisiertes Testen von Software in C++ (mit dem Test Framework Google Test)
Automatisiertes Testen von Software in C++ (mit dem Test Framework Google Test)Automatisiertes Testen von Software in C++ (mit dem Test Framework Google Test)
Automatisiertes Testen von Software in C++ (mit dem Test Framework Google Test)
 

Software Measurement in agilen Projekten mit Open Source Tools

  • 1. Software Measurement in agilen Projekten mit Open Source Tools Michael Palotas & Dominik Dary eBay Quality Engineering Europe 2011-10-11
  • 2. Agenda • Komplexität und Herausforderungen bei eBay • Ausgangssituation • Manuelles und Tool-basiertes Software Measurement • Auswirkungen des Software Measurement 2 Erstellt von: Michael Palotas & Dominik Dary
  • 3. Komplexität und Herausforderungen bei eBay 60 million lines of code 10.000+ Java application servers 2 billion page views/day 25,000 searches per second 110 million items in > 50,000 categories 25 Petabyte of data processed by Data Warehouse/day 4.4 billion API calls per month (public API) 48 billion SQL executions/day 2 Terabyte of application log files/day 2 million outbound emails/day 14 Gbps peak network utilization Erstellt von: Michael Palotas & Dominik Dary
  • 4. Ihre Referenten Michael Palotas Dominik Dary •  Head of Quality Engineering •  Senior Software Engineer in Test Europe •  E-Mail: ddary@ebay.com •  E-Mail: mpalotas@ebay.com 4 Erstellt von: Michael Palotas & Dominik Dary
  • 5. Ziele von Software Measurement? Wir möchten uns ständig verbessern in dem was wir tun Festlegung von Akzeptanzkriterien aus der Sicht der Qualitätssicherung Schaffung der Vergleichbarkeit von Projekten und Teams Ermittlung der aktuellen Reife (Maturity) der Projekte Anreiz für das Team um sich zu verbessern Um von dem „gutem Bauchgefühl“ Measurement Ansatz wegzukommen J 5 Image Source: http://www.clickbuyhelp.org/wp-content/uploads/2010/03/Continuous-Improvement.jpg Erstellt von: Michael Palotas & Dominik Dary
  • 6. Tool-basiertes Software Measurement Beispiel: eBay Deals Anwendung 6 Erstellt von: Michael Palotas & Dominik Dary
  • 7. Software Measurement in der Praxis? Warum reicht Tool-basiertes Measurement nicht aus? Ganzheitlicher Ansatz im Gegensatz nur zur Verwendung von statischer Analyse-Tools Nicht nur die “harten Fakten” werden mit einbezogen Einige Kriterien können nicht Tool-basiert verifiziert werden (i.e. Testfallqualität, Qualität der Dokumentation, Testplan) Tool-basiert Manuelles Audit - SONAR Open Source Tool & -  Durchgeführt vom QE Engineer -  Alle 3-5 Iterationen 7 Erstellt von: Michael Palotas & Dominik Dary
  • 8. Unsere Vision Engineering Practices QA QE DEV Manual Tests Automated Testing Large Small Integra- Exploratory Tests Tests tion Testing Tests Projekt Audits Fast Continuous SCM Delivery Integration Acceptance Test Tools Wiki 8 Erstellt von: Michael Palotas & Dominik Dary
  • 9. Maturity-Definition der Key-Area “Test Strategy” Test Plan Maturity Definition 1 •  Level 1: Ein Testplan existiert für das Project. Manual Tests •  Level 2: User Acceptance Dev Ein manueller Testplan existiert Tests Tests •  Level 3: System Tests & automatisierte Large Regression Tests System Tests sind vorhanden und sind Tests aufeinander abgestimmt. •  Level 4: 3 2 Low-Level Testplan existiert •  Level 5: Large High-Level und Low-Level Tests sind Tests aufeinander abgestimmt. High level test 5 Low level test Small Integration Tests 4 Tests Automated Tests 9 Erstellt von: Michael Palotas & Dominik Dary
  • 10. Wie wird mit den Ergebnissen des Audits umgegangen? Feedback an das SCRUM-Team & das Management Scrum Master + Product Owner entscheiden basierend auf den vorgeschlagenen Maßnahmen Maßnahmen werden übers Produktbacklog umgesetzt 10 Image Source: http://en.wikipedia.org/wiki/File:Scrum_process.svg Erstellt von: Michael Palotas & Dominik Dary
  • 11. Auswirkungen des Software Measurement Messbare Verbesserung der Qualität des Quellcodes und des Produkts Team sind motiviert sich beständig zu verbessern Anreiz zwischen den Teams Entwicklung der Maturity Levels: Beispiel Darstellung eines Audits 11 Erstellt von: Michael Palotas & Dominik Dary
  • 12. Unsere Erfahrungen als Auditoren Positive Erfahrungen Was haben wir geändert: •  Erste Audits benötigen •  Neue Metriken: einige Vorbereitungszeit • Continuous Integration •  Später durchgeführte • Code Reviews Audits können schnell • Source Code Management durchgeführt werden •  Schnelles Feedback über die Projekte •  Die Leistungsfähigkeit liegt in der Einfachheit der Audits 12 Erstellt von: Michael Palotas & Dominik Dary
  • 13. Kommentare, Vorschläge oder Fragen? 13 Erstellt von: Michael Palotas & Dominik Dary
  • 14. Vielen Dank für Ihre Aufmerksamkeit! 14 Erstellt von: Michael Palotas & Dominik Dary