Folien meines Vortrags zu Continuous Integration mit Jenkins auf der web Devon 2011 in Hamburg.

1. CONTINUOUS INTEGRATION
MIT JENKINS
Web DevCon 2011
InterContinental Hotel, Hamburg
17. Oktober 2011

2. DANTE
ALIGHIERI
* 1265
✝ 1321

4. Dante Alighieri
Die
Göttliche
Komödie

7. DIE ZEHN HÖLLENKREISE
Vorhölle
Die
Wollustigen
Die Die
Schlemmer Verschwender
Die
Zornigen Die
Ketzer
Die
Gewaltätigen
Die Mörder &
Räuber
Die
Betrüger
Die
Verräter

8. DAS WAR 1320 A.D.

9. WIR HABEN 2011.

10. DER ELFTE HÖLLENKREIS
Vorhölle
Die
Wollustigen
Die Die
Schlemmer Verschwender
Die
Zornigen Die
Ketzer
Die
Gewaltätighen Die Mörder &
Räuber
Die
Betrüger Die
Verräter
Die
Spätintegrierer

11. SPÄTINTEGRIERER KOMMEN IN DIE
INTEGRATIONSHÖLLE

12. SIE WOLLEN NICHT MEHR IN
DIE INTEGRATIONSHÖLLE?
Jenkins

13. STEPHAN
SCHMIDT
Head of Web Sales
Development bei der 1&1
Internet AG
PHP seit 1999
Autor & Redner

14. HAB‘S NOCH AUF KEINE
EURO-MÜNZE GESCHAFFT :(

15. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?

16. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 20

17. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 20
dev dev

18. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 10
dev dev

19. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 5
dev dev

20. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 0
dev dev

21. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 0
dev dev

22. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 0
dev dev
✘
integrate

23. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 0
deploy dev
dev
✘
integrate

24. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
Tage bis zur Deadline : 0
deploy dev
dev
✘
integrate

25. WIE KOMMT MAN IN DIE
INTEGRATIONSHÖLLE?
• Esfinden parallele Entwicklungen auf einzelnen Rechnern der
Mitarbeiter statt.
• Niemand hat alle Änderungen im Blick.
• Kurzvor dem Release-Termin werden alle Änderungen für das
nächste Release zusammengeführt.
• Es werden keine automatisierten Tests erstellt.
• Es bleibt keine Zeit mehr, Seiteneffekte zu überprüfen.

26. WIE SIEHT ES IN DER
INTEGRATIONSHÖLLE AUS?
• Es ist dunkel, meistens wird bis spät in die Nacht integriert.
• Die Entwickler haben feuerrote Köpfe.
• Schuldzuweisungen sind die einzige Kommunikation.
• Es
werden hektisch Bugfixes für die Bugfixes der Bugfixes
gemacht.
• Spitze
oder harte Gegenstände sollten weggeschlossen
werden.

27. WIE ENTKOMMEN SIE DER
INTEGRATIONSHÖLLE?
• Erhöhen Sie die Frequenz der Integrationen in Ihrem Projekt.
• Führen Sie für Ihre Applikationen bei jeder Änderung einen
vollständigen Build durch.
• WeisenSie damit jeden Entwickler auf möglichst frühzeitig auf
Probleme hin.
• Gefahr erkannt - Gefahr gebannt.

28. Jenkins ist ihr
persönlicher CI
Butler.

29. AUSWEG AUS DER
INTEGRATIONSHÖLLE

30. AUSWEG AUS DER
INTEGRATIONSHÖLLE
mit
com

31. AUSWEG AUS DER
INTEGRATIONSHÖLLE
it
mit
mm
com
co

32. AUSWEG AUS DER
INTEGRATIONSHÖLLE
it
mit
mm
com
co

33. AUSWEG AUS DER
INTEGRATIONSHÖLLE
checkout
it
mit
mm
com
co

34. AUSWEG AUS DER
INTEGRATIONSHÖLLE
checkout
it
mit
mm
com
co

35. AUSWEG AUS DER
INTEGRATIONSHÖLLE
checkout
it
info
mit
mm
com
co

36. AUSWEG AUS DER
INTEGRATIONSHÖLLE
checkout
it
info
mit
mm
com
co

37. JENKINS KANN NICHT ALLES
ÜBERNEHMEN...
• Gemeinsame Codebasis und ein SCM sind nötig.
• Der Build muss vollkommen automatisiert funktionieren.
• Ihr Build muss schnell sein.
• Ihre Applikation muss über automatisierte Tests verfügen.

38. VORTEILE VON CONTINUOUS
INTEGRATION
• Reduzierung der Risiken.
• Verbesserung der Produktqualität.
• Applikation„funktioniert“ zu jeder Zeit, sie haben jederzeit ein
deploy-fähiges Artefakt.
• Konzentration auf das Wesentliche.
• Dokumentierter Build-Prozess.

39. INSTALLATION VON JENKINS
• Downloaden
$ mkdir /usr/local/jenkins
$ cd /usr/local/jenkins
$ wget http://mirrors.jenkins-ci.org/war-stable/latest/↵
jenkins.war
• Starten
$ export JENKINS_HOME=/usr/local/jenkins
$ java -jar jenkins.war

40. FERTIG.

41. JENKINS SPRECH
• Alles, was Jenkins für Sie erledigt, ist ein Job.
• Von jedem Job gibt es mehrere Builds.
• Jeder Build führt zu einem Artefakt.
• DieBuilds werden in eine Queue gelegt und von dort
abgearbeitet.

42. ANLEGEN EINES JOBS

43. ANLEGEN EINES JOBS

44. ANLEGEN EINES JOBS

45. STARTEN EINES BUILDS

46. STARTEN EINES BUILDS

47. STARTEN EINES BUILDS

48. STARTEN EINES BUILDS

49. STARTEN EINES BUILDS

50. STATUS DES BUILDS
= Erfolgreich = Green Balls
Plugin
= Instabil
= Fehlgeschlagen
= wird gebaut
= Keine Daten

51. WAR DA NICHT WAS MIT
„CONTINUOUS“?
• Jenkins kann Builds zu bestimmten Zeiten starten.
• „Nightly Builds“.
• Jenkinskann regelmäßig ihr SCM pollen und den Build dann
starten, sobald sich etwas verändert hat.
• Feedback erfolgt in den meisten Fällen per Mail.
• Die Ergebnisse der Builds werden archiviert.

52. BUILD AUSLÖSER

53. PROJEKTGESUNDHEIT
>80% >60% >40% >20% ≦20%

54. DER ABLAUF BEI
CONTINUOUS INTEGRATION
Checkout Build Process

55. CHECKOUT
• Jenkins unterstützt verschiedene SCM-Systeme über Plugins.
• Installiert sind CVS und SVN.
• Weitere können einfach über den Plugin-Manager installiert
werden.

56. KOMPILIEREN UND
SYNTAKTISCHE PRÜFUNG
• Prüfung, ob der Quellcode syntaktische Fehler enthält.
• In
einigen Sprachen schon automatisch enthalten, da der
Quellcode kompiliert werden muss.
• Inanderen Sprachen können Tools eingesetzt werden (z.B.
JSLint für JavaScript, php -l für PHP)

57. AUTOMATISIERTE TESTS
• Software kann auf mehreren Ebenen getestet werden.
• Unit-Tests
• Integrationstests
• Akzeptanztests
• Jenkins
erzeugt für die meisten xUnit-Frameworks Berichte
über Testergebnisse und Testabdeckung.

58. POST-PROCESS SCHRITTE
UND BERICHTE
• Jenkins
Plugins führen keine Tests aus, erzeugen keine
Dokumentationen und erheben keine Metriken.
• Dies muss ihr Build-Prozess leisten.
• Jenkinserstellt „nur“ Berichte oder kopiert und archiviert
bereits erstellte Berichte.
• Interessant ist dabei die Entwicklung über die Zeit.

59. DOKUMENTATION
GENERIEREN
• Generieren der API-Dokumentation aus dem Quellcode über
javadoc, phpDocumentor, DocBlox, etc.
• Jenkins
liefert noch weitere Plugins, um zusätzliche
Dokumentationen zu erstellen, wie...
• SchemaSpy
• TaskScanner

60. CONTINUOUS INTEGRATION
IST NICHT DAS ENDE.
• Syntaktische
Prüfung und automatisierte Tests stellen sicher,
dass Ihre Applikation funktioniert.
• Aber: Eine Applikation, die
funktioniert, ist noch lange keine
gute und einfach zu wartende Applikation :(

61. Kann ich sonst noch
etwas für Sie tun?

62. CONTINUOUS INSPECTION
• Entspricht mein Code meinen Coding Guidelines?
• Ist mein Code zu kompliziert?
• Enthält mein Code ungenutzte Variablen, Klassen, Parameter?
• Enthält mein Code typische Programmierfehler?

63. Ihr kostenloser
Senior-Entwickler,
der rund um die Uhr
Code-Reviews
macht.

64. CODING STANDARDS
PRÜFEN
• Verwenden Sie Checkstyle, oder ein Tool, das Checkstyle-
kompatible Reports ausgibt, um Ihren Code auf Verletzungen
zu prüfen.
• Diese werden direkt von einem Jenkins-Plugin verarbeitet.
• Das Jenkins Plugin „Warnings“ untersucht die Ausgaben im
Build nach typischen Warning-Meldungen.

65. METRIKEN ERZEUGEN
• Integrieren
Sie verschiedene Tools, die Code-Metriken aus
ihrem Quellcode ermitteln:
• Anzahl der Zeilen, Klassen, Comment-Ratio, ...
• Zyklomatische Komplexität
• Ausgabedaten der meisten Tools können von verschiedenen
Jenkins-Plugins verarbeitet und visualisiert werden.

66. CODE METRIKEN

67. DUPLIZIERTEN CODE
ERKENNEN
• Integrieren Sie Tools, die duplizierten Code erkennen, z.B.
• PHP Copy/Paste Detector
• Dieerzeugte XML-Datei kann direkt von einem Jenkins-Plugin
verarbeitet werden.

68. ALLES ZUSAMMENFÜHREN
• Jedes
der Plugins erstellt einen eigenen Report; bis man alle
Metriken gesehen hat, muss man recht häufig klicken.
• Plugins führen die Daten zusammen:
• PHP_CodeBrowser verarbeitet die Logs stellt die Ergebnisse
direkt im Sourcecode dar.
• Sonar-Plugin meldet die Daten an Sonar.
• Static Analysis Collector kann für Java eingesetzt werden.

69. PHP_CODEBROWSER

70. SONAR

71. STATIC ANALYSIS COLLECTOR

72. VERMEIDEN SIE EINEN
BUILD-STAU.

73. HALTEN SIE DIE
BUILD-ZEITEN KURZ
• Messen
Sie, wie lange ihr Build dauert und suchen Sie nach
Wege diesen zu verkürzen, z.B. parallele Ausführung der
Code-Metrik-Tools.
• Teilen Sie die Build-Schritte in Einzelbuilds
• Fail-Early, bei syntaktischen Fehlern keine Metriken.
• Langsame Schritte nur im Nightly-Build.
• Bauen Sie nicht jedes Changeset.

74. EINFÜHRUNG VON
CONTINUOUS INTEGRATION
• Gehen Sie schrittweise vor, beginnen Sie mit einem Projekt.
• DefinierenSie am Anfang sehr wenige Regeln (z.B. Tests
müssen durchlaufen).
• Diese müssen jedoch strikt eingehalten werden.
• Erheben Sie nur die Metriken, die Sie auch verstehen und die
für Sie wichtig sind.

75. JENKINS PLUGINS
• Jenkins lässt sich sehr einfach über Plugins erweitern.
• Plugins können einfach über Web-Interface oder CLI-Client
installiert werden.
• Aktuell (Stand 11.10) bereits 470 Plugins.
• Mit Plugins ist in Jenkins alles erweiterbar.

76. EIGENE PLUGINS SCHREIBEN
• Plugins werden in Java geschrieben und mit Maven gebaut
• Ein Plugin kann in 60 Sekunden erstellt und gebaut werden.
$ mvn jpi:create
// Interaktive Eingabe des Namens
$ mvn jpi:run
// Startet Jenkins-Testinstanz mit dem Plugin
$ mvn package
// Erstellt installationsfähige HPI-Datei

77. JENKINS REMOTE API
• Jenkins bietet eine XML-, JSON- und Python API an:
http://localhost:8080/api/xml
http://localhost:8080/api/json
http://localhost:8080/api/python
• Dokumentation zur API gibt es unter:
http://localhost:8080/api
• An fast jede URL kann man einfach /api/* anhängen.

78. JENKINS BUILD MONITOR
FÜR FIREFOX
• Fügt einen Eintrag in das
Firefox-Kontext-Menü hinzu.

79. JENKINS BUILD MONITOR
FÜR FIREFOX
• Fügt einen Eintrag in das
Firefox-Kontext-Menü hinzu.
• Zeigtdes Status der Jobs in
der Taskleiste an.

80. JENKINS BUILD MONITOR
FÜR FIREFOX
• Fügt einen Eintrag in das
Firefox-Kontext-Menü hinzu.
• Zeigtdes Status der Jobs in
der Taskleiste an.
• Ermöglicht es, Builds direkt
aus Firefox anzustoßen.

81. HUDSON STATUS
FÜR CHROME

82. HUDSON STATUS
FÜR CHROME

83. IPHONE HELPER

84. JENKINS UND PHP

85. Diese Aufgabe
übernimmt
Sebastian für Sie.

86. JENKINS PHP TEMPLATE
• Entwickelt von Sebastian Bergmann.
• Stellt
eine fertige Konfiguration für eine PHP-basierten Jenkins
Job zur Verfügung.
• Auf der Website findet man gleich noch ein Ant-Build-Skript
für PHP-Projekte.
http://jenkins-php.org/

87. INSTALLATION DER PLUGINS
$ wget http://localhost:8080/jnlpJars/jenkins-cli.jar
$ java -jar jenkins-cli.jar -s ... install-plugin checkstyle
$ java -jar jenkins-cli.jar -s ... install-plugin cloverphp
$ java -jar jenkins-cli.jar -s ... install-plugin dry
$ java -jar jenkins-cli.jar -s ... install-plugin htmlpublisher
$ java -jar jenkins-cli.jar -s ... install-plugin jdepend
$ java -jar jenkins-cli.jar -s ... install-plugin plot
$ java -jar jenkins-cli.jar -s ... install-plugin pmd
$ java -jar jenkins-cli.jar -s ... install-plugin violations
$ java -jar jenkins-cli.jar -s ... install-plugin xunit
$ java -jar jenkins-cli.jar -s ... safe-restart

88. JENKINS PHP TEMPLATE
• Template installieren
$ cd $JENKINS_HOME/jobs
$ git clone git://github.com/sebastianbergmann/php-jenkins-↵
template.git php-template
$ chown -R jenkins:nogroup php-template/
• Config neu laden
$ java -jar jenkins-cli.jar -s ... reload-configuration

89. TOOLS FÜR DAS PROJEKT
• Verschiedene QA-Tools installieren
$ pear config-set auto_discover 1
$ pear install pear.phpqatools.org/phpqatools PHPDocumentor
• ant-basiertes Build-File von der Website runterladen.
• Komplettes Beispiel-Projekt ist auf GitHub verfügbar
https://github.com/thePHPcc/bankaccount/

90. UND LOS GEHT‘S...

91. ENTHALTEN IM TEMPLATE
• Syntaktische Analyse mit • CodingStandard Violations
„php -l“ mit PHP_CodeSniffer und
PHP Mess Detector
• Ausführen von PHPUnit-
Tests. • Duplizierter
Code mit PHP
Copy/Paste Detector.
• API-Dokumentation mit
phpDocumentor • Zusammenfassung
über
PHP_CodeBrowser.
• Metriken
mit phploc
PHP_Depend.

92. VIELEN DANK.
schst@php.net
@schst

93. ONE MORE THING...

94. GROWL NOTIFICATIONS

95. CONTINUOUS INTEGRATION
GAME
• Benutzer bekommen
Pluspunkte für
erfolgreiche Builds und
Minuspunkte für
fehlgeschlagene Builds.
• Ergebnisseder statischen
Analyse können auch mit
einfließen.

96. CHUCK NORRIS PLUGIN

97. BIG RED BUTTON

98. EXTREME FEEDBACK BEARS

99. JENKINS UND NABAZTAG

100. WER BRICHT DEN BUILD?

101. MEHR INFORMATIONEN
Theorie & Praxis Praxis Fokus auf PHP

102. VIELEN DANK.
schst@php.net
@schst