W-Jax 2015: QS-Maßnahmen bei Continuous Delivery

Stephan Kaps | Bundesversicherungsamt / kitenco
QS-Maßnahmen bei CD

Stephan Kaps
Techn. Projektleiter
Software-
Architekt
JEE – SOA -
Host
Java seit 2002Speaker & Autor
ISTQB, ISAQB,
IREB und ITIL
zertifiziert
Leidenschaft sind neue
Technologien und Methoden
04.11.2015 www.kitenco.de

Agenda

Roadmap
 07.03.16 – Release 2.1
 04.04.16 – Release 2.2
 09.05.16 – Release 2.3
 08.08.16 – Release 3.0
 05.09.16 – Release 3.1

??-Bingo

Voraussetzungen

Commit Stage

Statische Analysen

Ansicht Jenkins

Dependency Check

Quality Gates

OWASP Top 10
Quelle: http://de.slideshare.net/cmlh/owasp-top-ten?related=1

Testabdeckung

Quality-Gates
 Durch Jenkins-Plugins
 Violations-Plugin
 Analysis-Collector Plugin &
 Static-Code-Analysis Plugin (bieten
einheitliche Konfigurations- und
Auswertungsmöglichkeiten)
 JaCoCo-Plugin

ISO 25010
 Änderbarkeit und Wartbarkeit
 Codierrichtlinien
 Zuverlässigkeit
 Code-Duplikate und Fehlermuster
 Secure Coding Guide / 3rd-Party Verwundbarkeiten
 Funktionale Qualität
 Unit-Tests

UAT Stage

UAT Stage
 Automatisierte Integrationstests
 JUnit
 soapUI

Jenkins Integration

UAT Stage
 JUnit
 soapUI
 Citrus Framework

CitrusFramework.org

UAT Stage
 JUnit
 soapUI
 Automatisierte Akzeptanztests
 BDD-Tools (Cucumber, Robot, JBehave, Concordion, ..)

Given <condition> When <action> Then <result>
public class BookSearchSteps {
Library library = new Library();
List<Book> result = new ArrayList<>();
@Given(".+book with the title '(.+)', published in (.+)")
public void addNewBook(final String title, @Format("dd MMMMM yyyy"), final
Date published) {
Book book = new Book(title, published);
library.addBook(book);
}
@When("^the customer searches for books published between (d+) and
(d+)$")
public void setSearchParameters(@Format("yyyy") final Date from,
@Format("yyyy") final Date to) {
result = library.findBooks(from, to);
}
@Then("Book (d+) should have the title '(.+)'$")
public void verifyBookAtPosition(final int position, final String title) {
assertThat(result.get(position - 1).getTitle(), equalTo(title));
}
}

Given <condition> When <action> Then <result>
public class BookSearchSteps {
Library library = new Library();
List<Book> result = new ArrayList<>();
@Given(".+book with the title '(.+)', published in (.+)")
public void addNewBook(final String title, @Format("dd MMMMM yyyy"), final
Date published) {
Book book = new Book(title, published);
library.addBook(book);
}
@When("^the customer searches for books published between (d+) and
(d+)$")
public void setSearchParameters(@Format("yyyy") final Date from,
@Format("yyyy") final Date to) {
result = library.findBooks(from, to);
}
@Then("Book (d+) should have the title '(.+)'$")
public void verifyBookAtPosition(final int position, final String title) {
assertThat(result.get(position - 1).getTitle(), equalTo(title));
}
}
Feature: Book search
To allow a customer to find his favourite books quickly, the library must offer multiple
ways to search for a book.
Scenario: Search books by publication year
Given a book with the title 'One good book', published in 14 March 2013
And another book with the title 'Some other book', published in 23 August 2014
And another book with the title 'How to cook a dino', published in 01 January 2012
When the customer searches for books published between 2013 and 2014
Then 2 books should have been found
And Book 1 should have the title 'Some other book'
And Book 2 should have the title 'One good book'

UAT Stage
 JUnit
 soapUI
 Selenium, Xebium & FitNesse

Simple BDD

Data-Driven-Testing

Selenium, Xebium, FitNesse
 Pro:
 Keine Programmierung
notwendig
 Unterstützt Specification by
Example
 Gut für Data-Driven-Tests
 Contra:
 Anwendung muss schon
existieren (somit kein TDD)
 Noch ein Tool und noch ein
Tool

UAT Stage
 JUnit
 soapUI
 Selenium, Xebium & FitNesse
 Manuelle Akzeptanztests
 Nicht-testbares oder explorativ

Quality-Gates

ISO meets UAT
 Funktionalität
 Akzeptanztests
 Kompatibilität
 Integrationstests
 Usability / Benutzbarkeit
 Manuelles / exploratives Testen

Pre-Production Stage

 Security-Checks
 Zed Attack Proxy (ZAP)

 Security-Checks
 FindSecurityBugs

 Security-Checks
 Alternativen:
 Einzelne Spezialisten, z.B. SQLmap
 W3AF-Framework

 Security-Checks
 Alternativen:
 W3AF-Framework
 Datenschutz-Tests

 Security-Checks
 Alternativen:
 W3AF-Framework
 Datenschutz-Tests
 BDD-Security

BDD-Security

 Last- und Performance-Tests
 JMeter

 JMeter
 soapUI

 JMeter
 soapUI
 Parametrisierte Webdriver Tests

 JMeter
 soapUI
 Gatling.io

 JMeter
 soapUI
 Gatling.io
 Kommerzielle Alternativen:
 AppDynamics
 Dynatrace

 Clientseitig:
 Google Page Speed / WebPageTest
 kein Jenkins-Plugin verfügbar
 YSlow
 Sitespeed.io
 Setzt auf Yslow u.a. auf
 Integriert WebPageTest
 Manuelle Jenkins-Plugin Installation notwendig
 Im Auge behalten!
Last- und Performance-Tests

YSlow

YSlow Quality Gate
C:devphantomjs-1.9.7-windows
phantomjs.exe c:/dev/yslow.js -i grade -
threshold „B“ -f tap http://kitenco.de >
yslow.tap exit 0

Quality-Gates
 ZAP: über Plugin
 FindSecurityBugs: nur innerhalb von FindBugs
 Datenschutz: All or nothing
 JMeter: über Jenkins-Performance-Plugin
 soapUI: innerhalb der TestSuiten
 Gatling: innerhalb der Simulation
 YSlow: über Aufruf-Parameter

ISO meets Pre-Production
 Sicherheit
 Security-Tests
 Zuverlässigkeit und Effizienz
 Übertragbarkeit
 Unterschiedliche Browser in diversen Versionen
 Installierbarkeit
 Durch Deployment auf mehreren Umgebungen
sichergestellt

Produktion
 Smoke Tests
 z.B. anhand eines kleinen Sets aus
Regressionstests
 z.B. Prüfungen, ob Verbindungen existieren
anhand von ping-Skripten

Build Lauf
BUILD SUCCESSFUL
Total time: 1 minute 51 seconds
[CHECKSTYLE] Collecting checkstyle analysis files...
[CHECKSTYLE] Successfully parsed file
c:dev.jenkinsjobsTestworkspacekitencotrunkAnwendung1checkstyle_reportsc
heckstyle_report.xml of module checkstyle_reports with 11 warnings.
[FINDBUGS] Collecting findbugs analysis files...
[FINDBUGS] Successfully parsed file
c:dev.jenkinsjobsTestworkspacekitencotrunkAnwendung1findbugs_reportsres
ult.xml of module findbugs_reports with 321 warnings.
Performance: Percentage of errors greater or equal than 25% sets the build as
unstable
Performance: Percentage of errors greater or equal than 50% sets the build as
failure
Performance: Recording JMeter reports 'kitenco/trunk/Anwendung1/perf_test/*.xml'
Performance: Parsing JMeter report file result.xml
Performance: File result.xml reported 25.0% of errors during the tests. Build
status is: UNSTABLE
Finished: UNSTABLE

Nur für agile Teams?

• Es geht nicht nur um die Entwicklungsabteilung!
• Fachbereiche nicht immer ad hoc verfügbar!
• Systemadministratoren gibt es nicht im Überfluss!

• Wichtig ist ein automatisierter Prozess!
• Pipeline kann auch nur alle 3 Monate durchlaufen
werden!
• Bei outgesourcter Entwicklung startet die Pipeline
einfach an anderer Stelle

Fazit & Ausblick
 Automatisierung bringt enorme Vorteile
 Quality-Gates sind ein enabler für Continuous Delivery
 Die hier vorgestellten Maßnahmen sind mit wenig
Aufwand einsetzbar
 Tool-Chain ist erweiterbar
 Auch für klassische Projekte sinnvoll
 Gute Tools für Architektur-Prüfungen fehlen noch

Noch Fragen?
Ausführlicher Artikel dazu in Objektspektrum
3/2015 und 5/2015 erschienen
info@kitenco.de - @kitenco1
Vielen Dank!

Referenzen
 Jez Humble, Continuous Delivery: Reliable Software Releases Through Build, Test, and
Deployment Automation, 2010, Addison-Wesley
 Jenkins, http://www.jenkins-ci.org
 Checkstyle, http://checkstyle.sourceforge.net
 FindBugs, http://findbugs.sourceforge.net
 PMD, http://pmd.sourceforge.net
 OWASP Dependency Check, https://www.owasp.org/index.php/OWASP_Dependency_Check
 JaCoCo, http://www.eclemma.org/jacoco
 JUnit, http://www.junit.org
 OWASP ZAP, https://www.owasp.org/index.php/OWASP_Zed_Attack_Proxy_Project
 soapUI, http://www.soapui.org
 JMeter, http://jmeter.apache.org
 Xebium, http://xebia.github.io/Xebium/
 Selenium, http://www.seleniumhq.org
 Google Page Speed, https://developers.google.com/speed/pagespeed/
 Sitespeed, http://www.sitespeed.io
 Yslow, http://www.yslow.org
 Jenkins Plugins, https://wiki.jenkins-ci.org/display/JENKINS/Plugins

W-Jax 2015: QS-Maßnahmen bei Continuous Delivery

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie W-Jax 2015: QS-Maßnahmen bei Continuous Delivery

Ähnlich wie W-Jax 2015: QS-Maßnahmen bei Continuous Delivery (20)

W-Jax 2015: QS-Maßnahmen bei Continuous Delivery