Session am 17.05.2017, DeveloperCamp 2017, Nürnberg Jeder Schritt in der Entwicklung oder Verwendung von Software hinterlässt wertvolle, digitale Spuren. Die Auswertung dieser „Softwaredaten“ (wie etwa Laufzeitmessungen, Logdateien oder Commits) lässt unser Bauchgefühl zu Fakten und stichhaltigen Beweisen werden. Ich zeige, wie sich Fragen aus der Softwareentwicklung datengetrieben, automatisiert und nachvollziehbar beantworten lassen. Dazu demonstriere ich das Zusammenspiel von Open-Source-Analysewerkzeugen (wie jQAssistant, Neo4j, Pandas und Jupyter) zur Auswertung von Daten aus unterschiedlichen Quellen (wie Profiler, Jenkins und Git). Gemeinsam sehen wir uns u. a. an, wie wir Lösungen zur Optimierung der Performance erarbeiten, Build-Breaker identifizieren oder Wissenslücken im Quellcode offenlegen können.

1. Nachvollziehbare, datengetriebene,
automatisierte Analysen der
Softwareentwicklung
Markus Harrer
@feststelltaste feststelltaste.de talk@markusharrer.de
software analytics softwaresanierung clean code

2. Coden

3. “Without data you're
just another person
with an opinion.“
W. Edwards Deming

4. Priorisierungsproblem
“Not all parts of a
system will be
well designed.“
Eric Evans

5. Fragen aus der Praxis
• Weshalb schlagen unsere CI-Builds fehl?
• Woher kommen die vielen DB-Calls?
• Welcher Entwickler kennt sich im Code aus?
• Wo gibt es sich gegenseitig überschreibende
statische Variablen?
• Wo verletzen wir Compliance-Vorgaben?
• Welche „JSF-Getter“ greifen auf das Backend
durch?
• ...
•Oft auch: Wo fange ich an?

6. Derzeitiger Stand

7. Derzeitiger Stand

8. Eure Fragen aus der Praxis

9. Anspruch
Lösungsoptionen
automatisiert,
datengetrieben und
nachvollziehbar
erarbeiten.

10. Motivation
Warum?
•Probleme sichtbar machen
+ Klarheit und Verständnis schaffen
•Entscheidungen treiben
+ Budgets sichern
+ Neue Budgets für weitere Analysen sichern
•Kontinuierliches Lernen unterstützen
+ Herausforderungen meistern
+ Selbst stetig besser werden

11. Software-
daten-
analyse
Metriken
Dash-
boards
Sweet Spot der Analysen
Handlungs-
orientierung
Nachvollziehbarkeit
Rohdaten

12. Anspruch
Lösungsoptionen
automatisiert,
datengetrieben und
nachvollziehbar
erarbeiten.

13. Anspruch
Lösungsoptionen
automatisiert,
datengetrieben und
nachvollziehbar
erarbeiten.

14. Checkliste Automatisierung
Auswertungen als Skripte mit
• Datenbeschaffung
• Analysen
• Visualisierung
DevOps style

15. Anspruch
Lösungsoptionen
automatisiert,
datengetrieben und
nachvollziehbar
erarbeiten.

16. Arten von Softwareartefakten und Metadaten
chronologischCommunity
Laufzeitstatisch

17. Checkliste Daten
Pro Variable eine Spalte (mit richtigem
Datentyp)
Für jede Beobachtung eine Reihe
Eine Tabelle für jede zusammengehörige
Gruppe von Variablen
Für jede Tabelle einer Analyse eine
verlinkende Spalte

18. Daten sind dreckig
Verwendete Zeit für Datenbereinigung:
bis zu 80%

19. Anspruch
Lösungsoptionen
automatisiert,
datengetrieben und
nachvollziehbar
erarbeiten.

20. Checkliste Nachvollziehbarkeit
• Idee / Kontext / Rahmen der Analyse
dokumentiert
• Annahmen und Vereinfachungen
kommuniziert
• Vorverarbeitung (insb. Löschungen)
dokumentiert
• Rechenweg offengelegt
• Zusammenfassungen begründet

21. Nachvollziehbarkeit + Automatisierung + Daten
Replizierbarkeit

22. Anspruch
Lösungsoptionen
automatisiert,
datengetrieben und
nachvollziehbar
erarbeiten.

23. Anspruch
Lösungsoptionen
automatisiert,
datengetrieben und
nachvollziehbar
erarbeiten.

24. Analyse-Pipeline
Programmiersprache u. a. für
Scientific Computing
Einfach
Effektiv
Schnell
Automatisierungsmeister

25. Analyse-Pipeline
Pragmatisches Datenanalyse-Framework
Effektive, tabellarische Datenstruktuen
• Schnell
• Flexibel
• Ausdruckstark
Sehr gute Integration

26. Die Spezialisten (insb. graphartige Daten)
Analyse-Pipeline
Framework zur statischen
Architektur- und Code-
Analyse
Graph-Datenbank
[:SPEICHERT_IN]

27. Analyse-Pipeline
ZIP
GZ
*.class
JAR, WAR, EAR
MANIFEST.MF
*.properties
XSD
YAML
XML
application.xml
web.xml
beans.xml
JaCoCo
FindBugs
CheckStyle
pom.xml
surefire-reports.xml RDBMS Schema
M2 Repository
DBCSV
Excel
BigQuery
Inputs
HDFStore
Web
JSON
Git
Pandas
jQAssistant

28. Analyse-Pipeline
Interaktives Notebook
• Analysen dokumentieren und ausführen
Ergebnisse nachvollziehbar
• Alles an einem einzigen Platz
• Lösungsweg sichtbar
• Auswertung wiederholbar

29. Bei Bedarf
• Data Mining
• NumPy
• scikit-learn
• SciPy
• Visualisierung / Präsentation
• matplotlib
• plot.ly
• Bokeh
• python-pptx
• ...
Analyse-Pipeline

30. Analyse-Pipeline
Seit grad‘:
Docker

31. Analyse-Pipeline
XML/Graph
Tabellen
matplotlib
Pandas,
...
Pandas
jQAssistant,
Neo4j
Text
xlsx
E
pptx
P
Python Jupyter
Eingabe
Vorver-
arbeitung
Analyse
Ausgabe
D3

32. Beispiel
Demo
Git-Log-Analyse

33. Erfahrungswerte
• Frameworks voll ausspielen
• Schnelle Installation
• Verschiedene Datenquellen kombinieren
• Zusammenfassende Analysen vornehmen
• Keine Angst vor großen Datenmengen
• Analyseumgebung standardisieren
• Gegenseitig unterstützen
Learning by Doing!

34. Was ist der
Wert der Information
in Relation zum
Aufwand für die Gewinnung
der Information?
Zu guter Letzt

35. Literatur
Leek, Jeff: The Elements of Data Analytic Style.
LeanPub, 2015.
McKinney, Wes: Python For Data Analysis, O’Reilly,
2012.
Mens, Tom; Serebrenik; Cleve, Anthony:Evolving
Software Systems. Springer, 2014.
Mens, Tom; Demeyer, Serge: Software Evolution.
Springer, 2008.
Shull, Forrest; Singer, Janice; Sjøberg, Dag I.K.: Guide
to Advanced Empirical Software Engineering. Springer,
2008.
Tornhill, Adam:Your Code As a Crime Scene.
Pragmatic Programmers, 2015.

36. Fragerunde
Eure Fragen

37. Fragerunde
Fragen, Details, Demos,
Pair Programming?
Bin heute und morgen hier ;-) !