Bei der Konzeption von End-2-End-Tests ist eine der größten Problemstellungen die Frage, wie die Testausführung möglichst robust, reproduzierbar und parallelisierbar gestaltet werden kann. Diese Hürde lässt sich meist mit klassischen Ansätzen nicht überwinden. Einen eleganten Ausweg bieten in Container verpackte Testumgebungen. Dadurch wird es möglich, einen definierten Systemstand reproduzierbar aufzurufen und Tests performant auszuführen. Anhand typischer E2E-Tests wird gezeigt, wie z. B. parallele GUI-Tests in verschiedenen Umgebungen zur Qualitätssicherung beitragen. Die Beispiele sind mit dem Open-Source-Tools „Sakuli“ und „Docker“ realisiert und testen Web- und Rich-Client-Applikationen. Um die Integration in eine Continous-Deployment-Pipeline zu demonstrieren, wird eine rein auf Container-Technologie basierende Testumgebung durch das CI-Tool Jenkins aufgebaut, um darauf automatisierte End-2-End-Tests headless zur Ausführung zu bringen. Ziel ist es, dem Zuhörer aufzuzeigen, wie das Potenzial von Container-Technologien genutzt werden kann, um die Softwarequalität zu erhöhen und den manuellen Testaufwand drastisch zu verringern. Eine abschließende Bewertung der Erfahrungen sowie ein Ausblick auf weitere Einsatzszenarien und Entwicklungsschritte runden den Vortrag ab.

2. Agenda
1. Einordnung End­2­End Tests
2. Nutzen Container­Technologie
3. Überblick Sakuli Framework
4. DEMO
5. Ausblick

3. Testpyramide
Robust
Unabhängig
Isoliert
Schnell

4. Besonderheiten bei End­2­End Tests
Unterschiedliche Testarten:
Regressionstests
Funktionale Abnahmetests
Parallele Tests mit GUIs sind komplex!
Stateful Tests: User­Logins, Sessions, verlaufsbasierte Daten
Setup und Cleanup von Testdaten
Manueller Aufwand > Aufwand für Automatisierung

5. 2. Nutzen
Container­Technologie

6. Vorteile der Container­Technologie
Isolation von Umgebungen
Repository für Versionierung und Verteilung
Reproduzierbarer Aufbau von Umgebungen
Dockerfile, docker­compose.yml
Start von Containern on­the­fly
Optimiert für Parallelisierung
Geteilter Linux Kernel (Speicherplatz, CPU, RAM)
Cloud­ready (Kubernetes, OpenShift, Mesos)

7. Virtuelle Maschinen vs. Container
(am Beispiel Docker)

8. Containerized GUIs
### start the docker container via x­forwarding
docker run ­it ­e DISPLAY=$DISPLAY ­v /tmp/.X11­unix:/tmp/.X11­unix:rw rasch/inkscape
### start the docker container with VNC interface
# connect via URL: http://localhost:6911/vnc_auto.html?password=vncpassword
docker run ­it ­p 5911:5901 ­p 6911:6901 consol/ubuntu­xfce­vnc
docker run ­it ­p 5912:5901 ­p 6912:6901 consol/centos­xfce­vnc

9. 3. Überblick
Sakuli Framework

10. Was bietet ?
Kategorie
Web Tests via HTML­Selektoren
Testen von nativen GUI Inhalten
(nicht HTML­Inhalte, z. B. PDF's oder Plugins)
Open Source & Java API
Headless­Execution
Unterstützung bei Testerstellung
(Recorder, Screenshot­Finder)
Automatisierbarkeit & Ergebnis­Aufbereitung
(CI, DB, Monitoring Systeme)

11. Aktionsbereich: Browser­Inhalte
(HTML­Seiten, Single­Page­Apps)
Objekt­Adressierung über
DOM­Elemente
Erkennt, wenn Seiten/AJAX­Requests
fertig geladen sind (keine waits)
Guter Umgang mit modernen Web­
Frameworks
Recorder­ / Selektoren­UI­Assistent
Assert Funktionen
Aktionsbereich: Bildschirm ­Inhalte
(z.B. Rich­Clients, Browser­Plugins)
Objekt­Adressierung über
Image­Patterns (Mini­Screenshots)
Off­Browser­Testing, sieht und steuert
das, was der User sieht
Flexible Region­Patterns für die
Navigation innerhalb des Bildschirms
OCR­Features (experimental)
Nutzt java.awt.Robot und openCV

12. Nagios OMD Incinga
Monitoring Integration

13. Test Definition (Java Script)

14. Test Case Structure
// testcase.js
/*************************************
* Initialization
*************************************/
_dynamicInclude($includeFolder);
var testCase = new TestCase(60, 70);
var env = new Environment();
var appNotepad = new Application("gedit");
var region = new Region();
/******************************
* Description of the test case
******************************/
try {
//...
/************************************************
* Exception handling and shutdown of test case
**********************************************/
} catch (e) {
testCase.handleException(e);
} finally {
testCase.saveResult();
}

15. Unterstützung für alle Sahi­Funktionen
// testacase.js
/************************
* Call Sahi Functions
***********************/
_navigateTo("http://sahi.example.com/_s_/dyn/Driver_initialized");
_highlight(_link("SSL Manager"));
_isVisible(_link("SSL Manager"));
_highlight(_link("Logs"))
_click(_link("Logs"))
testCase.endOfStep("Test Sahi landing page", 5);

16. Fluent API für UI­Testing
// testacase.js
/*** open calculator app ***/
var calculatorApp = new Application("galculator")
.open();
testCase.endOfStep("Open Calculator", 3);
/*** calculate 525 + 100 ***/
var calculatorRegion = calculatorApp.getRegion();
calculatorRegion.type("525")
.find("plus.png")
.click()
.type("100")
.find("calculate")
.click();
testCase.endOfStep("calculate 525 +100", 20);

17. Custom Functions
// e.g. excluded into a separate common.js
/**********
* Combine click and highlight
*********/
function clickHighlight($selector) {
_highlight($selector);
_click($selector);
}
/***************
* Open PDF in native viewer
**************/
var PDF_EDITOR_NAME = "masterpdfeditor3";
function openPdfFile(pdfFileLocation) {
return new Application(PDF_EDITOR_NAME + ' "' + pdfFileLocation + '"').open();
}

18. Sakuli End­2­End­Testing Container

19. 4. DEMO

20. Demo ­ Sakuli Container
# start the docker container
docker run ­it ­p 5911:5901 ­p 6911:6901 consol/sakuli­ubuntu­xfce
docker run ­it ­p 5912:5901 ­p 6912:6901 consol/sakuli­centos­xfce
# start in parallel via docker­compose
# use docker­compos.yml from https://github.com/ConSol/sakuli/tree/master/docker
docker­compose up

21. Bakery Demo Setup

22. Bakery Demo Setup

23. Bakery Demo
git clone https://github.com/toschneck/sakuli­example­bakery­testing.git
# start jenkins
jenkins/deploy_jenkins.sh
# start OMD montioring
omd­nagios/deploy_omd.sh
# start the build of the application images
bakery­app/app­deployment­docker­compose/deploy_app.sh
#start tests
sakuli­tests/execute_all.sh
#start tests for monitoring
sakuli­tests/execute_all_4_monitoring.sh

24. 4. Ausblick

25. What's next?
Headless­Execution ­ Linux: VNC & Docker Windows: ?
Cloud­ready container für OpenShift (security, source­2­image)
Video­Aufzeichnung der Testabläufe zur Fehlerdokumentation
Web­UI für die Test­Suite­Verwaltung und Reporting
Externe Test­Management­Systeme anbinden
(HP QC, TestRail, ...)
Darstellung von Testergebnissen in CI­Tools verbessern
Selenium als Alternative zu Sahi ermöglichen

26. Links
ConSol/sakuli
Consol/sakuli­examples
toschneck/sakuli­example­bakery­testing
sakuli@consol.de

27. Danke Software­QS­Tag!
Tobias Schneck
ConSol Software GmbH
Franziskanerstraße 38
D­81669 München
Tel: +49­89­45841­100
Fax: +49­89­45841­111
tobias.schneck@consol.
toschneck
info@consol.de
www.consol.de
ConSol