SlideShare ist ein Scribd-Unternehmen logo
Agile Methoden als Erfolgsfaktor für BI und Big Data Projekte
Best Practices aus unseren Projekten
Dr. Stefan Igel
Mainz, 13.05.2014
2
1.  Agile BI und BI Agilität
2.  Agile Teams
3.  Agil BI-Projekte managen
4.  Agile BI-Lösungen entwickeln
5.  Agil testen
6.  Agil dokumentieren
Agenda
3TDWI: Memorandum für Agile Business Intelligence: http://www.tdwi.eu/wissen/agile-bi/memorandum/
Agile BI und BI-Agilität
Definition des TDWI
BI-Agilität
Eigenschaft der BI,
•  vorhersehbare oder
unvorhersehbare
Anforderungen
•  in Bezug auf Funktionalität
oder Inhalt einer BI-Lösung
•  in einem vorgegebenen
Zeitrahmen mit
angemessener Qualität
abzubilden
Agile BI
Alle Maßnahmen
eines Unternehmens,
die durchgeführt werden,
um BI-Agilität umzusetzen,
werden unter dem Begriff
„Agile Busienss Intelligence“
zusammengefaßt.
Agiles Manifest: http://www.agilemanifesto.org/ 4
„Wir zeigen bessere Wege auf, Software zu entwickeln, indem wir es selbst tun
und anderen dabei helfen, es zu tun. Durch unsere Arbeit sind wir zu folgender
Erkenntnis gekommen:
‣  Menschen und Interaktionen sind wichtiger als Prozesse und
Werkzeuge.
‣  Funktionierende Software ist wichtiger als umfassende Dokumentation.
‣  Zusammenarbeit mit dem Kunden ist wichtiger als die ursprünglich
formulierten Leistungsbeschreibungen.
‣  Eingehen auf Veränderungen ist wichtiger als Festhalten an einem Plan.
Das heißt: obwohl die Punkte auf der rechten Seite durchaus wichtig sind, halten
wir die Punkte links für wichtiger.“
Agile BI und BI-Agilität
Agiles Manifest
TDWI: Memorandum für Agile Business Intelligence: http://www.tdwi.eu/wissen/agile-bi/memorandum/ 5
‣  Werte und Prinzipien (TDWI), angelehnt an das Agile Manifest
‣  Unternehmensnutzen ist wichtiger als das Festhalten an Methoden und
Architekturkonzepten
‣  Kontinuierliche Zusammenarbeit und Interaktion zwischen Anforderern
und Umsetzern sind wichtiger als Prozesse und Werkzeuge
‣  Eingehen auf Veränderungen ist wichtiger als Festhalten an einem Plan
‣  Funktionierende BI-Lösungen sind wichtiger als detaillierte Spezifikation
Agile BI und BI-Agilität
Memorandum für Agile Business Intelligence
‣  Historische Berichte !" Vorhersagen
‣  Vordefinierte Aggregate !"
Alle granulare Daten
‣  Strukturierte Daten !"
Polystrukturierte Daten
‣  Schema-on-write !"
Schema-on read
‣  Regelbewirtschaftung !"
Ad-hoc Analysen
6
Agile BI und BI-Agilität
Beschleunigter Paradigmen-Wechsel durch Big Data
Optimierung der „Time to Insights“
7http://www.inovex.de/big-data-ebook
Agile BI und BI-Agilität
Wieviel Agilität ist sinnvoll?
Schnell, ausfallsicher, skalierbar
Wartungsfreundlich
Investitions- und innovationssicher!!
timetoinsights!
Report request!
Data modeling!
Implementation!
Delivery!
Requirement
Engineering!
ask
question"
datamine
answer"
verify
answer"
refine
question"
business goal!
Klassisches Vorgehen Agiles Vorgehen
8TDWI: Memorandum für Agile Business Intelligence: http://www.tdwi.eu/wissen/agile-bi/memorandum/
Agile BI und BI-Agilität
Unternehmensfaktoren
(Vision, Strategie, Kultur, Prozesse,
Standards, Menschen)
Umwelteinflüsse
(Märkte, Gesetze)
Einflußfaktoren: Wieviel darf es denn sein?
BI-Aufbauorganisation
BI-Ablauforganisation/
Prozesse
BI-Architektur
Prinzipien
Vorgehens-
modelle
Methoden Technologien
‣  Statistik
‣  Machine Learning
‣  Data Mining
‣  IT Engineering
‣  Daten Architektur
‣  Software Engineering
‣  Visualisierung
‣  Business Analyst
9
Agile Teams
Data Scientist - The „ sexiest job of the 21. century“ *
*http://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/ www.vecteezy.com
‣  Statistik
‣  Machine Learning
‣  Data Mining
‣  IT Engineering
‣  Daten Architektur
‣  Software Engineering
‣  Visualisierung
‣  Business Analyst
#  Business Intelligence
Competency Center
#  Agiles Projekt-Team
10
Agile Teams
Cross-functional Team aus „spezialisierte Generalisten“
Bilder:: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data-application-
development
Class A
extends
Mapper…
ROI, $$, …
apt-get
install…
11
Fertige Software im Zweiwochentakt...
Die geordnete,
abgeschätzte Liste aller
Anforderungen an das
zu entwickeln-de
Produkt.
Die im nächsten
Sprint umzusetzen-
den Anforderungen,
nebst einem Plan wie
dies zu tun ist.
Abarbeitung des
Sprintbacklogs mit
tagesaktueller Transparenz
über den Fortschritt.
Sprintergebnis:
Potentiell an den
Kunden ausliefer-bare
Version des Produkts.
Agiles Projektmanagement
Scrum im Überblick
12Bild Ken Schwaber: http://wikipedia.de
Agiles Projektmanagement
Rollen in Scrum
Scrum Master
Product Owner
Team
13
Vision-Sprint
4 Wochen
•  Initiales Backlog
•  Projekt-
Infrastruktur
•  Grob-Architektur
•  Technischer
Durchstich
Sprint 1
2-3 Wochen
•  Datenquelle
•  DWH
•  ETL
•  Datamart
•  Cube
•  Analyse/Report
Sprint 2
2-3 Wochen
•  Datenquelle
•  DWH
•  ETL
•  Datamart
•  Cube
•  Analyse/Report
...
2-3 Wochen
•  ...
•  ...
•  ...
•  ...
Agiles Projektmanagement
Projektablauf konkret
Release 0 Release 2Release 1
‣  Auf Anwender-Nutzen fokussieren
‣  „Vertikal“ statt „horizontal“ arbeiten
‣  Akzeptanz-Kriterien formulieren
‣  Definition of Done beachten
14
Agiles Projektmanagement
User Stories für das Product Backlog
15
Agiles Projektmanagement
PM-Tools: Redmine
16
‣  Eingesetzte BI-Werkzeuge reglementieren Architektur und Entwicklung
‣  Häufig werden bestehende Systeme spezifisch erweitert
‣  Fehlende Kapselung erschwert Refactoring
‣  Historisierung der Bestandsdaten ist zu gewährleisten
‣  Viele Schnittstellen zu vielen Quellsystemen
‣  Abstimmungsbedarf
‣  Änderungshäufigkeit
‣  BI-Anwendung stiftet erst Nutzen, wenn sie die richtigen Ergebnisse liefert
‣  Unbekannte Datenqualität
‣  Funktionale Korrektheit ist nur ein Teilaspekt
‣  Testen und Validieren hängen stark von Daten ab
‣  E2E-Tests sind wichtiger als funktionale Unit-Tests
‣  Repräsentative Testdaten sind erforderlich
‣  Performance-Tests
Agile BI Entwicklung
Besonderheiten und Herausforderungen
17
Agile BI-Entwicklung
Standardisiertes DWH Design
BI Source
Systems
Source Data
Fileserver Replicated
Source Data
DWH
Access
Reporting
Relational Database
Reporting Layer (Dependent Datamarts)
Integration Layer (Core DWH)
Acquisition Layer (Staging Area)
Adhoc Queries Data Export
OLAP
Cubes
OLAP
Cubes
E
T
L
‣  Pentaho – eine leistungsfähige,
ausgereifte und stabile Open-Source-
Lösung für BI-Anwendungen.
‣  Anbindung verschiedenster
Datenquellen
‣  ETL mit PDI
‣  Reporting & Dashboards
‣  Interaktive Analysen
‣  Machine Learning
‣  Relationale Datenbank als DWH
‣  z.B. PostgreSQL
‣  ...
18#
Agile BI Entwicklung
Tool Stack: BI Tool Suite plus RDBMS
Grafik: Pentaho Corporation
‣  ETL als kleine, modulare Einheiten (PDI:
Jobs, Transformationen) entwickeln
‣  Datenbank-Änderungen pro Release als
ALTER TABLE implementieren
‣  Fein-granular versionieren, Quellcode-
Repository verwenden (z.B. git)
‣  Continuous Integration:Täglich
einchecken, nächtlich integrieren
‣  Hinreichende Testabdeckung
sicherstellen
19
Agile BI-Entwicklung
Änderungsfreundliches Software Design Pattern
Beispiel: PDI Transformationen
20
Agile BI-Entwicklung
Big Data: „individuelles“ System Design
Applications

and

Analytics"
Server"
SystemsManagement"
Transport &

Speed"
Batch

Processing &

Storage"
STORM!
‣  Scale-out !" Scale-up
‣  Shared-nothing Architecture !"
Virtualisierung
‣  Commodity Hardware !"
Enterprise Hardware
‣  Cloud Lösungen
‣  Andere Backup und
Failover Strategien
21
Agiles Datacenter Management
Paradigmenwechsel durch Big Data in der IT
http://www.flickr.com/photos/dahlstroms/4083220012/"
22
Agiles Datacenter Management
Physical Network
Virtual Network
HostedVirtualReal
Foreman REST API
CMDB
DeploymentLifecycleMgmt.Open Source Datacenter Managment
23
Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data-
application-development
Agiles Testen von BI und Big Data Lösungen
Viele Rollen – unterschiedliche Schwerpunkte
Fachliche
Tests
Daten-
Validierung
Workflows
Deploy-
ments
ETL-/
MR-Jobs
DWH
24
Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data-
application-development
Agiles Testen von BI und Big Data Lösungen
Herausforderungen von „Test Driven BI“
DWH
Testdaten
bereitstellen
? Verteilte Umgebung
(binäre) Datenformate
? Reports
validieren
?
Modultests
E2E-Tests
‣  „ausführbare“ Wiki-Seiten
(Test Ergebnisse als Rückgabewerte)
‣  (fast) natürlichsprachliche
Test Spezifikation
‣  Verbindung zum SUT via
(Java-)“Fixtures“
25
Agiles Testen von BI und Big Data Lösungen
Testautomatisierung mit FitNesse
Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data-
application-development
„fully integrated
standalone wiki and
acceptance testing
framework”
26
Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data-
application-development
Agiles Testen von BI und Big Data Lösungen
FitNesse Architektur
script | !
check | !
num results |
3 |!
Browser
FitNesse
Server
public int
numResults
{ ... }
System under Test
Fixtures
#  Aufruf von Java Methoden „aus dem Wiki“
#  Vergleich der Rückgabewerte
#  Integration mit REST, Jenkins…
‣  Synthetische Daten
‣  Definition in FitNesse-Wiki
‣  Quellen (Files, DBs, ...)
‣  Formate (CSV, Thrift, Avro, ... )
‣  Reale Daten
‣  Zufällige oder verzerrte Stichproben,
z. B. eines Tages
‣  Feedback Schleife:
‣  Spezial- bzw. Fehlerfälle aus den
realen Daten identifizieren
‣  In synthetische Testdatenmenge
aufnehmen
‣  Inkrementelle Erhöhung der
Testabdeckung
27
Agiles Testen von BI und Big Data Lösungen
Testdaten
Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data-
application-development
28Siehe: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data-application-development
Agiles Testen von BI und Big Data Lösungen
Ein exemplarischer FitNesse Test
29
Agiles Testen von BI und Big Data Lösungen
FitNesse: Erweiterbar durch Fixtures
Hadoop-Fixture
Kettle-Fixture
Xebium-Fixture
Pig-Fixture
DBSlim
Shell-Fixture
Git pull
‣  Tests können zu Test-Suites
zusammengefasst werden
‣  Nächtliche Ausführung einplanen
‣  Integrationssystem aktualisieren
‣  Git pull
‣  DDLs (*.sql) mit DB-Deploy
ausführen
‣  Pentaho Files kopieren
‣  ETL (*.kjb, *.ktr) Files
‣  Cubes (*.mondrian)
‣  Reports (*.prpt, *.analyzer)
‣  Ggf. Testdaten aktualisieren
‣  Tests ausführen
30
Agiles Testen von BI und Big Data Lösungen
Continuous Integration mit FitNesse
‣  BI-Projekte haben typischerweise viele
Schnittstellen
‣  Mittlerweile oft parallele Entwicklung von
Quellsystem und BI-System
‣  Basis für Entwicklung und Synthetische
Testdaten
‣  Inhalt
‣  Gesamtkontext
‣  Fachliche Spezifikation
‣  IT-Technische Spezifikation
‣  Betriebskonzept (OSLA)
‣  inkrementelle Fortschreibung
31
Agile Dokumentation
Schnittstellen im Griff
‣  Dokumentation so nah wie
möglich am Artefakt
‣  DB-Kommentare
‣  Kommentare in Kettle
‣  Dokumentation generieren
‣  Kettle-Step für ETL-
Dokumentation
‣  Kettle-Jobs/Transformationen
‣  Systemtabellen auslesen
‣  Pentaho XML-Files (*.kjb, *.ktr,
*.mondrian, *.prpt, *.analyzer)
auswerten
‣  Schnittstellen-Dok auswerten
32
Agile Dokumentation
Data Lineage automatisieren
33
Agile Dokumentation
Data Lineage automatisieren – Fragen des Betriebs beantworten
‣  Automatisierung der Integration
‣  Automatisierung der Tests
‣  Automatisierung der Deployments
‣  Automatisierung der Dokumentation
34
Agile BI-Entwicklung
Änderungsfreundlichkeit durch Automatisierung
http://de.wikipedia.org/wiki/Hydraulis, Wasserorgel nach Heros von Alexandria
Agile BI
36
Scrum in BI-
Projekten
Agile BI-
Entwicklung
Continuous
Integration
Data Driven
Testing
Automatisierte
Dokumentation
Schnittstellen-
Management
Agilität in BI Projekten
Resume
37
38
Vielen Dank für Ihre Aufmerksamkeit
Kontakt
Dr. Stefan Igel
Head of Big Data Solutions
inovex GmbH
Office Karlsruhe
Ludwig-Erhard-Allee 6
D-76131 Karlsruhe
+49 173 3181030
Stefan.igel@inovex.de

Weitere ähnliche Inhalte

Was ist angesagt?

Agile BI in der Praxis - Agiles Testen
Agile BI in der Praxis - Agiles TestenAgile BI in der Praxis - Agiles Testen
Agile BI in der Praxis - Agiles Testen
OPITZ CONSULTING Deutschland
 
MDM Best Practices - Konzeption. Entstehung. Betrieb und typische Probleme
MDM Best Practices - Konzeption. Entstehung. Betrieb und typische Probleme MDM Best Practices - Konzeption. Entstehung. Betrieb und typische Probleme
MDM Best Practices - Konzeption. Entstehung. Betrieb und typische Probleme
OPITZ CONSULTING Deutschland
 
DevOps und ITIL: Waffenbrüder oder Feinde?
DevOps und ITIL: Waffenbrüder oder Feinde?DevOps und ITIL: Waffenbrüder oder Feinde?
DevOps und ITIL: Waffenbrüder oder Feinde?
OPITZ CONSULTING Deutschland
 
WISSEN.EINFACH.MACHEN Wissenstransfer pragmatisch, effizient und effektiv.
WISSEN.EINFACH.MACHEN Wissenstransfer pragmatisch, effizient und effektiv.WISSEN.EINFACH.MACHEN Wissenstransfer pragmatisch, effizient und effektiv.
WISSEN.EINFACH.MACHEN Wissenstransfer pragmatisch, effizient und effektiv.
Learning Factory
 
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
Learning Factory
 
Lean und Agiles Management in der öffentlichen Verwaltung: die Zukunft?
Lean und Agiles Management in der öffentlichen Verwaltung: die Zukunft?Lean und Agiles Management in der öffentlichen Verwaltung: die Zukunft?
Lean und Agiles Management in der öffentlichen Verwaltung: die Zukunft?
Learning Factory
 
Agiles Enterprise Big Data Testmanagement
Agiles Enterprise Big Data TestmanagementAgiles Enterprise Big Data Testmanagement
Agiles Enterprise Big Data Testmanagement
OPITZ CONSULTING Deutschland
 
AAC2018_Die fehlenden Teile im Scrum-Puzzle mit Reinhard Wagner & Ricco Nourzad
AAC2018_Die fehlenden Teile im Scrum-Puzzle mit Reinhard Wagner & Ricco NourzadAAC2018_Die fehlenden Teile im Scrum-Puzzle mit Reinhard Wagner & Ricco Nourzad
AAC2018_Die fehlenden Teile im Scrum-Puzzle mit Reinhard Wagner & Ricco Nourzad
Agile Austria Conference
 
Agiles PM –Evidenzbasiertes PM -Ansätze zur Produktenentwickung
Agiles PM –Evidenzbasiertes PM -Ansätze zur ProduktenentwickungAgiles PM –Evidenzbasiertes PM -Ansätze zur Produktenentwickung
Agiles PM –Evidenzbasiertes PM -Ansätze zur Produktenentwickung
Ayelt Komus
 
Warum Lean Management aktueller denn je ist!
Warum Lean Management aktueller denn je ist!Warum Lean Management aktueller denn je ist!
Warum Lean Management aktueller denn je ist!
Learning Factory
 
Agil in der Normativen Welt
Agil in der Normativen WeltAgil in der Normativen Welt
Agil in der Normativen Welt
Thomas Arends
 
Warum Sie mit Scrum keinen Erfolg haben werden - Marc Bless - OOP 2015
Warum Sie mit Scrum keinen Erfolg haben werden - Marc Bless - OOP 2015Warum Sie mit Scrum keinen Erfolg haben werden - Marc Bless - OOP 2015
Warum Sie mit Scrum keinen Erfolg haben werden - Marc Bless - OOP 2015
Marc Bless
 
Agil vs. klassisch in der Geräteentwicklung - mit der richtigen Symbiose zum...
Agil vs. klassisch in der Geräteentwicklung - mit der richtigen Symbiose zum...Agil vs. klassisch in der Geräteentwicklung - mit der richtigen Symbiose zum...
Agil vs. klassisch in der Geräteentwicklung - mit der richtigen Symbiose zum...
Marc Bless
 
3 x 2 Impulse zum digitalen Prozess und It-Management-
3 x 2 Impulse zum digitalen Prozess und It-Management-3 x 2 Impulse zum digitalen Prozess und It-Management-
3 x 2 Impulse zum digitalen Prozess und It-Management-
Ayelt Komus
 
ConSol Unternehmenspräsentation 2019
ConSol Unternehmenspräsentation 2019ConSol Unternehmenspräsentation 2019
ConSol Unternehmenspräsentation 2019
ConSol Consulting & Solutions Software GmbH
 
Agile Zukunft, zukünftige Agilität
Agile Zukunft, zukünftige AgilitätAgile Zukunft, zukünftige Agilität
Agile Zukunft, zukünftige Agilität
Henning Wolf
 
Agilität im starren Umfeld
Agilität im starren UmfeldAgilität im starren Umfeld
Agilität im starren Umfeld
oose
 
Lean Project Management
Lean Project ManagementLean Project Management
Lean Project Management
Jürgen Rohr
 
Produktentstehungsprozess Lean , agil, klassisch Auf den Mix kommt es an
Produktentstehungsprozess Lean , agil, klassisch Auf den Mix kommt es anProduktentstehungsprozess Lean , agil, klassisch Auf den Mix kommt es an
Produktentstehungsprozess Lean , agil, klassisch Auf den Mix kommt es an
Ayelt Komus
 
Agile und Projektmanagement - Kein entweder-oder sondern anders
Agile und Projektmanagement - Kein entweder-oder sondern andersAgile und Projektmanagement - Kein entweder-oder sondern anders
Agile und Projektmanagement - Kein entweder-oder sondern anders
Steffen Thols
 

Was ist angesagt? (20)

Agile BI in der Praxis - Agiles Testen
Agile BI in der Praxis - Agiles TestenAgile BI in der Praxis - Agiles Testen
Agile BI in der Praxis - Agiles Testen
 
MDM Best Practices - Konzeption. Entstehung. Betrieb und typische Probleme
MDM Best Practices - Konzeption. Entstehung. Betrieb und typische Probleme MDM Best Practices - Konzeption. Entstehung. Betrieb und typische Probleme
MDM Best Practices - Konzeption. Entstehung. Betrieb und typische Probleme
 
DevOps und ITIL: Waffenbrüder oder Feinde?
DevOps und ITIL: Waffenbrüder oder Feinde?DevOps und ITIL: Waffenbrüder oder Feinde?
DevOps und ITIL: Waffenbrüder oder Feinde?
 
WISSEN.EINFACH.MACHEN Wissenstransfer pragmatisch, effizient und effektiv.
WISSEN.EINFACH.MACHEN Wissenstransfer pragmatisch, effizient und effektiv.WISSEN.EINFACH.MACHEN Wissenstransfer pragmatisch, effizient und effektiv.
WISSEN.EINFACH.MACHEN Wissenstransfer pragmatisch, effizient und effektiv.
 
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
VerbesserungsKATA – Umsetzung in einem Kommunalunternehmen – ein Praxisbericht!
 
Lean und Agiles Management in der öffentlichen Verwaltung: die Zukunft?
Lean und Agiles Management in der öffentlichen Verwaltung: die Zukunft?Lean und Agiles Management in der öffentlichen Verwaltung: die Zukunft?
Lean und Agiles Management in der öffentlichen Verwaltung: die Zukunft?
 
Agiles Enterprise Big Data Testmanagement
Agiles Enterprise Big Data TestmanagementAgiles Enterprise Big Data Testmanagement
Agiles Enterprise Big Data Testmanagement
 
AAC2018_Die fehlenden Teile im Scrum-Puzzle mit Reinhard Wagner & Ricco Nourzad
AAC2018_Die fehlenden Teile im Scrum-Puzzle mit Reinhard Wagner & Ricco NourzadAAC2018_Die fehlenden Teile im Scrum-Puzzle mit Reinhard Wagner & Ricco Nourzad
AAC2018_Die fehlenden Teile im Scrum-Puzzle mit Reinhard Wagner & Ricco Nourzad
 
Agiles PM –Evidenzbasiertes PM -Ansätze zur Produktenentwickung
Agiles PM –Evidenzbasiertes PM -Ansätze zur ProduktenentwickungAgiles PM –Evidenzbasiertes PM -Ansätze zur Produktenentwickung
Agiles PM –Evidenzbasiertes PM -Ansätze zur Produktenentwickung
 
Warum Lean Management aktueller denn je ist!
Warum Lean Management aktueller denn je ist!Warum Lean Management aktueller denn je ist!
Warum Lean Management aktueller denn je ist!
 
Agil in der Normativen Welt
Agil in der Normativen WeltAgil in der Normativen Welt
Agil in der Normativen Welt
 
Warum Sie mit Scrum keinen Erfolg haben werden - Marc Bless - OOP 2015
Warum Sie mit Scrum keinen Erfolg haben werden - Marc Bless - OOP 2015Warum Sie mit Scrum keinen Erfolg haben werden - Marc Bless - OOP 2015
Warum Sie mit Scrum keinen Erfolg haben werden - Marc Bless - OOP 2015
 
Agil vs. klassisch in der Geräteentwicklung - mit der richtigen Symbiose zum...
Agil vs. klassisch in der Geräteentwicklung - mit der richtigen Symbiose zum...Agil vs. klassisch in der Geräteentwicklung - mit der richtigen Symbiose zum...
Agil vs. klassisch in der Geräteentwicklung - mit der richtigen Symbiose zum...
 
3 x 2 Impulse zum digitalen Prozess und It-Management-
3 x 2 Impulse zum digitalen Prozess und It-Management-3 x 2 Impulse zum digitalen Prozess und It-Management-
3 x 2 Impulse zum digitalen Prozess und It-Management-
 
ConSol Unternehmenspräsentation 2019
ConSol Unternehmenspräsentation 2019ConSol Unternehmenspräsentation 2019
ConSol Unternehmenspräsentation 2019
 
Agile Zukunft, zukünftige Agilität
Agile Zukunft, zukünftige AgilitätAgile Zukunft, zukünftige Agilität
Agile Zukunft, zukünftige Agilität
 
Agilität im starren Umfeld
Agilität im starren UmfeldAgilität im starren Umfeld
Agilität im starren Umfeld
 
Lean Project Management
Lean Project ManagementLean Project Management
Lean Project Management
 
Produktentstehungsprozess Lean , agil, klassisch Auf den Mix kommt es an
Produktentstehungsprozess Lean , agil, klassisch Auf den Mix kommt es anProduktentstehungsprozess Lean , agil, klassisch Auf den Mix kommt es an
Produktentstehungsprozess Lean , agil, klassisch Auf den Mix kommt es an
 
Agile und Projektmanagement - Kein entweder-oder sondern anders
Agile und Projektmanagement - Kein entweder-oder sondern andersAgile und Projektmanagement - Kein entweder-oder sondern anders
Agile und Projektmanagement - Kein entweder-oder sondern anders
 

Ähnlich wie Agile Methoden als Erfolgsfaktor in BI- und Big Data Projekten

Agile Methoden als Erfolgsfaktor für BI und Big Data Projekte
Agile Methoden als Erfolgsfaktor für BI und Big Data ProjekteAgile Methoden als Erfolgsfaktor für BI und Big Data Projekte
Agile Methoden als Erfolgsfaktor für BI und Big Data Projekte
inovex GmbH
 
Broschuere Bison BI mit Qlik
Broschuere Bison BI mit QlikBroschuere Bison BI mit Qlik
Broschuere Bison BI mit Qlik
Dragan Angjeleski
 
Agilität im Systems Engineering – geht das?
Agilität im Systems Engineering – geht das?Agilität im Systems Engineering – geht das?
Agilität im Systems Engineering – geht das?
HOOD Group
 
SCHNELLES BIG-DATA-DEYPLOMENT DURCH CONTAINER IN DER CLOUD
SCHNELLES BIG-DATA-DEYPLOMENT DURCH CONTAINER IN DER CLOUDSCHNELLES BIG-DATA-DEYPLOMENT DURCH CONTAINER IN DER CLOUD
SCHNELLES BIG-DATA-DEYPLOMENT DURCH CONTAINER IN DER CLOUD
inovex GmbH
 
Jens Bleiholder und Rico Grossmann Unterstützung agiler Vorgehensmodelle du...
Jens Bleiholder und Rico Grossmann   Unterstützung agiler Vorgehensmodelle du...Jens Bleiholder und Rico Grossmann   Unterstützung agiler Vorgehensmodelle du...
Jens Bleiholder und Rico Grossmann Unterstützung agiler Vorgehensmodelle du...
Stephan Trahasch
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
BATbern
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
OPITZ CONSULTING Deutschland
 
SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?
IBsolution GmbH
 
Moderne Business Intelligence Systeme. Dr. Carsten Bange, BARC
Moderne Business Intelligence Systeme. Dr. Carsten Bange, BARCModerne Business Intelligence Systeme. Dr. Carsten Bange, BARC
Moderne Business Intelligence Systeme. Dr. Carsten Bange, BARC
InboundLabs (ex mon.ki inc)
 
Shift Left fängt ganz links an
Shift Left fängt ganz links anShift Left fängt ganz links an
Shift Left fängt ganz links an
BATbern
 
Digital Reporting – Die Zukunft ist jetzt: integriertes Reporting mit der S...
	 Digital Reporting – Die Zukunft ist jetzt: integriertes Reporting mit der S...	 Digital Reporting – Die Zukunft ist jetzt: integriertes Reporting mit der S...
Digital Reporting – Die Zukunft ist jetzt: integriertes Reporting mit der S...
IBsolution GmbH
 
Sind BI Competence Center noch zeitgemäß?
Sind BI Competence Center noch zeitgemäß?Sind BI Competence Center noch zeitgemäß?
Sind BI Competence Center noch zeitgemäß?
Daniel Eiduzzis
 
SQL 2012: Business Intelligence mit dem Microsoft BI-Stack
SQL 2012: Business Intelligence mit dem Microsoft BI-StackSQL 2012: Business Intelligence mit dem Microsoft BI-Stack
SQL 2012: Business Intelligence mit dem Microsoft BI-Stack
Digicomp Academy AG
 
Dv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automationDv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automation
Torsten Glunde
 
Reporting & Business Intelligence
Reporting & Business IntelligenceReporting & Business Intelligence
Reporting & Business Intelligence
Innovabee GmbH
 
Der fachkreis dcc digital controlling competence des internationalen controll...
Der fachkreis dcc digital controlling competence des internationalen controll...Der fachkreis dcc digital controlling competence des internationalen controll...
Der fachkreis dcc digital controlling competence des internationalen controll...
Brigitte73
 
Integrate your business - SharePoint 2010 and Microsoft Dynamics NAV
Integrate your business - SharePoint 2010 and Microsoft Dynamics NAVIntegrate your business - SharePoint 2010 and Microsoft Dynamics NAV
Integrate your business - SharePoint 2010 and Microsoft Dynamics NAV
Christian Krause
 
Scrum als agiles Vorgehensmodell für Programmierer
Scrum als agiles Vorgehensmodell für ProgrammiererScrum als agiles Vorgehensmodell für Programmierer
Scrum als agiles Vorgehensmodell für Programmierer
Tobias Schlüter
 
Keynote Fachforum Personal 2018-10-30 Vs fuer scil-aktuell.pdf
Keynote Fachforum Personal 2018-10-30 Vs fuer scil-aktuell.pdfKeynote Fachforum Personal 2018-10-30 Vs fuer scil-aktuell.pdf
Keynote Fachforum Personal 2018-10-30 Vs fuer scil-aktuell.pdf
Christoph Meier
 
Xidra 2016 DevOps
Xidra 2016 DevOpsXidra 2016 DevOps
Xidra 2016 DevOps
Eduard van den Bongard
 

Ähnlich wie Agile Methoden als Erfolgsfaktor in BI- und Big Data Projekten (20)

Agile Methoden als Erfolgsfaktor für BI und Big Data Projekte
Agile Methoden als Erfolgsfaktor für BI und Big Data ProjekteAgile Methoden als Erfolgsfaktor für BI und Big Data Projekte
Agile Methoden als Erfolgsfaktor für BI und Big Data Projekte
 
Broschuere Bison BI mit Qlik
Broschuere Bison BI mit QlikBroschuere Bison BI mit Qlik
Broschuere Bison BI mit Qlik
 
Agilität im Systems Engineering – geht das?
Agilität im Systems Engineering – geht das?Agilität im Systems Engineering – geht das?
Agilität im Systems Engineering – geht das?
 
SCHNELLES BIG-DATA-DEYPLOMENT DURCH CONTAINER IN DER CLOUD
SCHNELLES BIG-DATA-DEYPLOMENT DURCH CONTAINER IN DER CLOUDSCHNELLES BIG-DATA-DEYPLOMENT DURCH CONTAINER IN DER CLOUD
SCHNELLES BIG-DATA-DEYPLOMENT DURCH CONTAINER IN DER CLOUD
 
Jens Bleiholder und Rico Grossmann Unterstützung agiler Vorgehensmodelle du...
Jens Bleiholder und Rico Grossmann   Unterstützung agiler Vorgehensmodelle du...Jens Bleiholder und Rico Grossmann   Unterstützung agiler Vorgehensmodelle du...
Jens Bleiholder und Rico Grossmann Unterstützung agiler Vorgehensmodelle du...
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
 
SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?
 
Moderne Business Intelligence Systeme. Dr. Carsten Bange, BARC
Moderne Business Intelligence Systeme. Dr. Carsten Bange, BARCModerne Business Intelligence Systeme. Dr. Carsten Bange, BARC
Moderne Business Intelligence Systeme. Dr. Carsten Bange, BARC
 
Shift Left fängt ganz links an
Shift Left fängt ganz links anShift Left fängt ganz links an
Shift Left fängt ganz links an
 
Digital Reporting – Die Zukunft ist jetzt: integriertes Reporting mit der S...
	 Digital Reporting – Die Zukunft ist jetzt: integriertes Reporting mit der S...	 Digital Reporting – Die Zukunft ist jetzt: integriertes Reporting mit der S...
Digital Reporting – Die Zukunft ist jetzt: integriertes Reporting mit der S...
 
Sind BI Competence Center noch zeitgemäß?
Sind BI Competence Center noch zeitgemäß?Sind BI Competence Center noch zeitgemäß?
Sind BI Competence Center noch zeitgemäß?
 
SQL 2012: Business Intelligence mit dem Microsoft BI-Stack
SQL 2012: Business Intelligence mit dem Microsoft BI-StackSQL 2012: Business Intelligence mit dem Microsoft BI-Stack
SQL 2012: Business Intelligence mit dem Microsoft BI-Stack
 
Dv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automationDv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automation
 
Reporting & Business Intelligence
Reporting & Business IntelligenceReporting & Business Intelligence
Reporting & Business Intelligence
 
Der fachkreis dcc digital controlling competence des internationalen controll...
Der fachkreis dcc digital controlling competence des internationalen controll...Der fachkreis dcc digital controlling competence des internationalen controll...
Der fachkreis dcc digital controlling competence des internationalen controll...
 
Integrate your business - SharePoint 2010 and Microsoft Dynamics NAV
Integrate your business - SharePoint 2010 and Microsoft Dynamics NAVIntegrate your business - SharePoint 2010 and Microsoft Dynamics NAV
Integrate your business - SharePoint 2010 and Microsoft Dynamics NAV
 
Scrum als agiles Vorgehensmodell für Programmierer
Scrum als agiles Vorgehensmodell für ProgrammiererScrum als agiles Vorgehensmodell für Programmierer
Scrum als agiles Vorgehensmodell für Programmierer
 
Keynote Fachforum Personal 2018-10-30 Vs fuer scil-aktuell.pdf
Keynote Fachforum Personal 2018-10-30 Vs fuer scil-aktuell.pdfKeynote Fachforum Personal 2018-10-30 Vs fuer scil-aktuell.pdf
Keynote Fachforum Personal 2018-10-30 Vs fuer scil-aktuell.pdf
 
Xidra 2016 DevOps
Xidra 2016 DevOpsXidra 2016 DevOps
Xidra 2016 DevOps
 

Mehr von inovex GmbH

lldb – Debugger auf Abwegen
lldb – Debugger auf Abwegenlldb – Debugger auf Abwegen
lldb – Debugger auf Abwegen
inovex GmbH
 
Are you sure about that?! Uncertainty Quantification in AI
Are you sure about that?! Uncertainty Quantification in AIAre you sure about that?! Uncertainty Quantification in AI
Are you sure about that?! Uncertainty Quantification in AI
inovex GmbH
 
Why natural language is next step in the AI evolution
Why natural language is next step in the AI evolutionWhy natural language is next step in the AI evolution
Why natural language is next step in the AI evolution
inovex GmbH
 
WWDC 2019 Recap
WWDC 2019 RecapWWDC 2019 Recap
WWDC 2019 Recap
inovex GmbH
 
Network Policies
Network PoliciesNetwork Policies
Network Policies
inovex GmbH
 
Interpretable Machine Learning
Interpretable Machine LearningInterpretable Machine Learning
Interpretable Machine Learning
inovex GmbH
 
Jenkins X – CI/CD in wolkigen Umgebungen
Jenkins X – CI/CD in wolkigen UmgebungenJenkins X – CI/CD in wolkigen Umgebungen
Jenkins X – CI/CD in wolkigen Umgebungen
inovex GmbH
 
AI auf Edge-Geraeten
AI auf Edge-GeraetenAI auf Edge-Geraeten
AI auf Edge-Geraeten
inovex GmbH
 
Prometheus on Kubernetes
Prometheus on KubernetesPrometheus on Kubernetes
Prometheus on Kubernetes
inovex GmbH
 
Deep Learning for Recommender Systems
Deep Learning for Recommender SystemsDeep Learning for Recommender Systems
Deep Learning for Recommender Systems
inovex GmbH
 
Azure IoT Edge
Azure IoT EdgeAzure IoT Edge
Azure IoT Edge
inovex GmbH
 
Representation Learning von Zeitreihen
Representation Learning von ZeitreihenRepresentation Learning von Zeitreihen
Representation Learning von Zeitreihen
inovex GmbH
 
Talk to me – Chatbots und digitale Assistenten
Talk to me – Chatbots und digitale AssistentenTalk to me – Chatbots und digitale Assistenten
Talk to me – Chatbots und digitale Assistenten
inovex GmbH
 
Künstlich intelligent?
Künstlich intelligent?Künstlich intelligent?
Künstlich intelligent?
inovex GmbH
 
Dev + Ops = Go
Dev + Ops = GoDev + Ops = Go
Dev + Ops = Go
inovex GmbH
 
Das Android Open Source Project
Das Android Open Source ProjectDas Android Open Source Project
Das Android Open Source Project
inovex GmbH
 
Machine Learning Interpretability
Machine Learning InterpretabilityMachine Learning Interpretability
Machine Learning Interpretability
inovex GmbH
 
Performance evaluation of GANs in a semisupervised OCR use case
Performance evaluation of GANs in a semisupervised OCR use casePerformance evaluation of GANs in a semisupervised OCR use case
Performance evaluation of GANs in a semisupervised OCR use case
inovex GmbH
 
People & Products – Lessons learned from the daily IT madness
People & Products – Lessons learned from the daily IT madnessPeople & Products – Lessons learned from the daily IT madness
People & Products – Lessons learned from the daily IT madness
inovex GmbH
 
Infrastructure as (real) Code – Manage your K8s resources with Pulumi
Infrastructure as (real) Code – Manage your K8s resources with PulumiInfrastructure as (real) Code – Manage your K8s resources with Pulumi
Infrastructure as (real) Code – Manage your K8s resources with Pulumi
inovex GmbH
 

Mehr von inovex GmbH (20)

lldb – Debugger auf Abwegen
lldb – Debugger auf Abwegenlldb – Debugger auf Abwegen
lldb – Debugger auf Abwegen
 
Are you sure about that?! Uncertainty Quantification in AI
Are you sure about that?! Uncertainty Quantification in AIAre you sure about that?! Uncertainty Quantification in AI
Are you sure about that?! Uncertainty Quantification in AI
 
Why natural language is next step in the AI evolution
Why natural language is next step in the AI evolutionWhy natural language is next step in the AI evolution
Why natural language is next step in the AI evolution
 
WWDC 2019 Recap
WWDC 2019 RecapWWDC 2019 Recap
WWDC 2019 Recap
 
Network Policies
Network PoliciesNetwork Policies
Network Policies
 
Interpretable Machine Learning
Interpretable Machine LearningInterpretable Machine Learning
Interpretable Machine Learning
 
Jenkins X – CI/CD in wolkigen Umgebungen
Jenkins X – CI/CD in wolkigen UmgebungenJenkins X – CI/CD in wolkigen Umgebungen
Jenkins X – CI/CD in wolkigen Umgebungen
 
AI auf Edge-Geraeten
AI auf Edge-GeraetenAI auf Edge-Geraeten
AI auf Edge-Geraeten
 
Prometheus on Kubernetes
Prometheus on KubernetesPrometheus on Kubernetes
Prometheus on Kubernetes
 
Deep Learning for Recommender Systems
Deep Learning for Recommender SystemsDeep Learning for Recommender Systems
Deep Learning for Recommender Systems
 
Azure IoT Edge
Azure IoT EdgeAzure IoT Edge
Azure IoT Edge
 
Representation Learning von Zeitreihen
Representation Learning von ZeitreihenRepresentation Learning von Zeitreihen
Representation Learning von Zeitreihen
 
Talk to me – Chatbots und digitale Assistenten
Talk to me – Chatbots und digitale AssistentenTalk to me – Chatbots und digitale Assistenten
Talk to me – Chatbots und digitale Assistenten
 
Künstlich intelligent?
Künstlich intelligent?Künstlich intelligent?
Künstlich intelligent?
 
Dev + Ops = Go
Dev + Ops = GoDev + Ops = Go
Dev + Ops = Go
 
Das Android Open Source Project
Das Android Open Source ProjectDas Android Open Source Project
Das Android Open Source Project
 
Machine Learning Interpretability
Machine Learning InterpretabilityMachine Learning Interpretability
Machine Learning Interpretability
 
Performance evaluation of GANs in a semisupervised OCR use case
Performance evaluation of GANs in a semisupervised OCR use casePerformance evaluation of GANs in a semisupervised OCR use case
Performance evaluation of GANs in a semisupervised OCR use case
 
People & Products – Lessons learned from the daily IT madness
People & Products – Lessons learned from the daily IT madnessPeople & Products – Lessons learned from the daily IT madness
People & Products – Lessons learned from the daily IT madness
 
Infrastructure as (real) Code – Manage your K8s resources with Pulumi
Infrastructure as (real) Code – Manage your K8s resources with PulumiInfrastructure as (real) Code – Manage your K8s resources with Pulumi
Infrastructure as (real) Code – Manage your K8s resources with Pulumi
 

Agile Methoden als Erfolgsfaktor in BI- und Big Data Projekten

  • 1. Agile Methoden als Erfolgsfaktor für BI und Big Data Projekte Best Practices aus unseren Projekten Dr. Stefan Igel Mainz, 13.05.2014
  • 2. 2 1.  Agile BI und BI Agilität 2.  Agile Teams 3.  Agil BI-Projekte managen 4.  Agile BI-Lösungen entwickeln 5.  Agil testen 6.  Agil dokumentieren Agenda
  • 3. 3TDWI: Memorandum für Agile Business Intelligence: http://www.tdwi.eu/wissen/agile-bi/memorandum/ Agile BI und BI-Agilität Definition des TDWI BI-Agilität Eigenschaft der BI, •  vorhersehbare oder unvorhersehbare Anforderungen •  in Bezug auf Funktionalität oder Inhalt einer BI-Lösung •  in einem vorgegebenen Zeitrahmen mit angemessener Qualität abzubilden Agile BI Alle Maßnahmen eines Unternehmens, die durchgeführt werden, um BI-Agilität umzusetzen, werden unter dem Begriff „Agile Busienss Intelligence“ zusammengefaßt.
  • 4. Agiles Manifest: http://www.agilemanifesto.org/ 4 „Wir zeigen bessere Wege auf, Software zu entwickeln, indem wir es selbst tun und anderen dabei helfen, es zu tun. Durch unsere Arbeit sind wir zu folgender Erkenntnis gekommen: ‣  Menschen und Interaktionen sind wichtiger als Prozesse und Werkzeuge. ‣  Funktionierende Software ist wichtiger als umfassende Dokumentation. ‣  Zusammenarbeit mit dem Kunden ist wichtiger als die ursprünglich formulierten Leistungsbeschreibungen. ‣  Eingehen auf Veränderungen ist wichtiger als Festhalten an einem Plan. Das heißt: obwohl die Punkte auf der rechten Seite durchaus wichtig sind, halten wir die Punkte links für wichtiger.“ Agile BI und BI-Agilität Agiles Manifest
  • 5. TDWI: Memorandum für Agile Business Intelligence: http://www.tdwi.eu/wissen/agile-bi/memorandum/ 5 ‣  Werte und Prinzipien (TDWI), angelehnt an das Agile Manifest ‣  Unternehmensnutzen ist wichtiger als das Festhalten an Methoden und Architekturkonzepten ‣  Kontinuierliche Zusammenarbeit und Interaktion zwischen Anforderern und Umsetzern sind wichtiger als Prozesse und Werkzeuge ‣  Eingehen auf Veränderungen ist wichtiger als Festhalten an einem Plan ‣  Funktionierende BI-Lösungen sind wichtiger als detaillierte Spezifikation Agile BI und BI-Agilität Memorandum für Agile Business Intelligence
  • 6. ‣  Historische Berichte !" Vorhersagen ‣  Vordefinierte Aggregate !" Alle granulare Daten ‣  Strukturierte Daten !" Polystrukturierte Daten ‣  Schema-on-write !" Schema-on read ‣  Regelbewirtschaftung !" Ad-hoc Analysen 6 Agile BI und BI-Agilität Beschleunigter Paradigmen-Wechsel durch Big Data Optimierung der „Time to Insights“
  • 7. 7http://www.inovex.de/big-data-ebook Agile BI und BI-Agilität Wieviel Agilität ist sinnvoll? Schnell, ausfallsicher, skalierbar Wartungsfreundlich Investitions- und innovationssicher!! timetoinsights! Report request! Data modeling! Implementation! Delivery! Requirement Engineering! ask question" datamine answer" verify answer" refine question" business goal! Klassisches Vorgehen Agiles Vorgehen
  • 8. 8TDWI: Memorandum für Agile Business Intelligence: http://www.tdwi.eu/wissen/agile-bi/memorandum/ Agile BI und BI-Agilität Unternehmensfaktoren (Vision, Strategie, Kultur, Prozesse, Standards, Menschen) Umwelteinflüsse (Märkte, Gesetze) Einflußfaktoren: Wieviel darf es denn sein? BI-Aufbauorganisation BI-Ablauforganisation/ Prozesse BI-Architektur Prinzipien Vorgehens- modelle Methoden Technologien
  • 9. ‣  Statistik ‣  Machine Learning ‣  Data Mining ‣  IT Engineering ‣  Daten Architektur ‣  Software Engineering ‣  Visualisierung ‣  Business Analyst 9 Agile Teams Data Scientist - The „ sexiest job of the 21. century“ * *http://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/ www.vecteezy.com
  • 10. ‣  Statistik ‣  Machine Learning ‣  Data Mining ‣  IT Engineering ‣  Daten Architektur ‣  Software Engineering ‣  Visualisierung ‣  Business Analyst #  Business Intelligence Competency Center #  Agiles Projekt-Team 10 Agile Teams Cross-functional Team aus „spezialisierte Generalisten“ Bilder:: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data-application- development Class A extends Mapper… ROI, $$, … apt-get install…
  • 11. 11 Fertige Software im Zweiwochentakt... Die geordnete, abgeschätzte Liste aller Anforderungen an das zu entwickeln-de Produkt. Die im nächsten Sprint umzusetzen- den Anforderungen, nebst einem Plan wie dies zu tun ist. Abarbeitung des Sprintbacklogs mit tagesaktueller Transparenz über den Fortschritt. Sprintergebnis: Potentiell an den Kunden ausliefer-bare Version des Produkts. Agiles Projektmanagement Scrum im Überblick
  • 12. 12Bild Ken Schwaber: http://wikipedia.de Agiles Projektmanagement Rollen in Scrum Scrum Master Product Owner Team
  • 13. 13 Vision-Sprint 4 Wochen •  Initiales Backlog •  Projekt- Infrastruktur •  Grob-Architektur •  Technischer Durchstich Sprint 1 2-3 Wochen •  Datenquelle •  DWH •  ETL •  Datamart •  Cube •  Analyse/Report Sprint 2 2-3 Wochen •  Datenquelle •  DWH •  ETL •  Datamart •  Cube •  Analyse/Report ... 2-3 Wochen •  ... •  ... •  ... •  ... Agiles Projektmanagement Projektablauf konkret Release 0 Release 2Release 1
  • 14. ‣  Auf Anwender-Nutzen fokussieren ‣  „Vertikal“ statt „horizontal“ arbeiten ‣  Akzeptanz-Kriterien formulieren ‣  Definition of Done beachten 14 Agiles Projektmanagement User Stories für das Product Backlog
  • 16. 16 ‣  Eingesetzte BI-Werkzeuge reglementieren Architektur und Entwicklung ‣  Häufig werden bestehende Systeme spezifisch erweitert ‣  Fehlende Kapselung erschwert Refactoring ‣  Historisierung der Bestandsdaten ist zu gewährleisten ‣  Viele Schnittstellen zu vielen Quellsystemen ‣  Abstimmungsbedarf ‣  Änderungshäufigkeit ‣  BI-Anwendung stiftet erst Nutzen, wenn sie die richtigen Ergebnisse liefert ‣  Unbekannte Datenqualität ‣  Funktionale Korrektheit ist nur ein Teilaspekt ‣  Testen und Validieren hängen stark von Daten ab ‣  E2E-Tests sind wichtiger als funktionale Unit-Tests ‣  Repräsentative Testdaten sind erforderlich ‣  Performance-Tests Agile BI Entwicklung Besonderheiten und Herausforderungen
  • 17. 17 Agile BI-Entwicklung Standardisiertes DWH Design BI Source Systems Source Data Fileserver Replicated Source Data DWH Access Reporting Relational Database Reporting Layer (Dependent Datamarts) Integration Layer (Core DWH) Acquisition Layer (Staging Area) Adhoc Queries Data Export OLAP Cubes OLAP Cubes E T L
  • 18. ‣  Pentaho – eine leistungsfähige, ausgereifte und stabile Open-Source- Lösung für BI-Anwendungen. ‣  Anbindung verschiedenster Datenquellen ‣  ETL mit PDI ‣  Reporting & Dashboards ‣  Interaktive Analysen ‣  Machine Learning ‣  Relationale Datenbank als DWH ‣  z.B. PostgreSQL ‣  ... 18# Agile BI Entwicklung Tool Stack: BI Tool Suite plus RDBMS Grafik: Pentaho Corporation
  • 19. ‣  ETL als kleine, modulare Einheiten (PDI: Jobs, Transformationen) entwickeln ‣  Datenbank-Änderungen pro Release als ALTER TABLE implementieren ‣  Fein-granular versionieren, Quellcode- Repository verwenden (z.B. git) ‣  Continuous Integration:Täglich einchecken, nächtlich integrieren ‣  Hinreichende Testabdeckung sicherstellen 19 Agile BI-Entwicklung Änderungsfreundliches Software Design Pattern Beispiel: PDI Transformationen
  • 20. 20 Agile BI-Entwicklung Big Data: „individuelles“ System Design Applications
 and
 Analytics" Server" SystemsManagement" Transport &
 Speed" Batch
 Processing &
 Storage" STORM!
  • 21. ‣  Scale-out !" Scale-up ‣  Shared-nothing Architecture !" Virtualisierung ‣  Commodity Hardware !" Enterprise Hardware ‣  Cloud Lösungen ‣  Andere Backup und Failover Strategien 21 Agiles Datacenter Management Paradigmenwechsel durch Big Data in der IT http://www.flickr.com/photos/dahlstroms/4083220012/"
  • 22. 22 Agiles Datacenter Management Physical Network Virtual Network HostedVirtualReal Foreman REST API CMDB DeploymentLifecycleMgmt.Open Source Datacenter Managment
  • 23. 23 Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data- application-development Agiles Testen von BI und Big Data Lösungen Viele Rollen – unterschiedliche Schwerpunkte Fachliche Tests Daten- Validierung Workflows Deploy- ments ETL-/ MR-Jobs DWH
  • 24. 24 Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data- application-development Agiles Testen von BI und Big Data Lösungen Herausforderungen von „Test Driven BI“ DWH Testdaten bereitstellen ? Verteilte Umgebung (binäre) Datenformate ? Reports validieren ? Modultests E2E-Tests
  • 25. ‣  „ausführbare“ Wiki-Seiten (Test Ergebnisse als Rückgabewerte) ‣  (fast) natürlichsprachliche Test Spezifikation ‣  Verbindung zum SUT via (Java-)“Fixtures“ 25 Agiles Testen von BI und Big Data Lösungen Testautomatisierung mit FitNesse Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data- application-development „fully integrated standalone wiki and acceptance testing framework”
  • 26. 26 Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data- application-development Agiles Testen von BI und Big Data Lösungen FitNesse Architektur script | ! check | ! num results | 3 |! Browser FitNesse Server public int numResults { ... } System under Test Fixtures #  Aufruf von Java Methoden „aus dem Wiki“ #  Vergleich der Rückgabewerte #  Integration mit REST, Jenkins…
  • 27. ‣  Synthetische Daten ‣  Definition in FitNesse-Wiki ‣  Quellen (Files, DBs, ...) ‣  Formate (CSV, Thrift, Avro, ... ) ‣  Reale Daten ‣  Zufällige oder verzerrte Stichproben, z. B. eines Tages ‣  Feedback Schleife: ‣  Spezial- bzw. Fehlerfälle aus den realen Daten identifizieren ‣  In synthetische Testdatenmenge aufnehmen ‣  Inkrementelle Erhöhung der Testabdeckung 27 Agiles Testen von BI und Big Data Lösungen Testdaten Dominik Benz: http://2013.berlinbuzzwords.de/sessions/bug-bites-elephant-test-driven-quality-assurance-big-data- application-development
  • 29. 29 Agiles Testen von BI und Big Data Lösungen FitNesse: Erweiterbar durch Fixtures Hadoop-Fixture Kettle-Fixture Xebium-Fixture Pig-Fixture DBSlim Shell-Fixture Git pull
  • 30. ‣  Tests können zu Test-Suites zusammengefasst werden ‣  Nächtliche Ausführung einplanen ‣  Integrationssystem aktualisieren ‣  Git pull ‣  DDLs (*.sql) mit DB-Deploy ausführen ‣  Pentaho Files kopieren ‣  ETL (*.kjb, *.ktr) Files ‣  Cubes (*.mondrian) ‣  Reports (*.prpt, *.analyzer) ‣  Ggf. Testdaten aktualisieren ‣  Tests ausführen 30 Agiles Testen von BI und Big Data Lösungen Continuous Integration mit FitNesse
  • 31. ‣  BI-Projekte haben typischerweise viele Schnittstellen ‣  Mittlerweile oft parallele Entwicklung von Quellsystem und BI-System ‣  Basis für Entwicklung und Synthetische Testdaten ‣  Inhalt ‣  Gesamtkontext ‣  Fachliche Spezifikation ‣  IT-Technische Spezifikation ‣  Betriebskonzept (OSLA) ‣  inkrementelle Fortschreibung 31 Agile Dokumentation Schnittstellen im Griff
  • 32. ‣  Dokumentation so nah wie möglich am Artefakt ‣  DB-Kommentare ‣  Kommentare in Kettle ‣  Dokumentation generieren ‣  Kettle-Step für ETL- Dokumentation ‣  Kettle-Jobs/Transformationen ‣  Systemtabellen auslesen ‣  Pentaho XML-Files (*.kjb, *.ktr, *.mondrian, *.prpt, *.analyzer) auswerten ‣  Schnittstellen-Dok auswerten 32 Agile Dokumentation Data Lineage automatisieren
  • 33. 33 Agile Dokumentation Data Lineage automatisieren – Fragen des Betriebs beantworten
  • 34. ‣  Automatisierung der Integration ‣  Automatisierung der Tests ‣  Automatisierung der Deployments ‣  Automatisierung der Dokumentation 34 Agile BI-Entwicklung Änderungsfreundlichkeit durch Automatisierung http://de.wikipedia.org/wiki/Hydraulis, Wasserorgel nach Heros von Alexandria
  • 35. Agile BI 36 Scrum in BI- Projekten Agile BI- Entwicklung Continuous Integration Data Driven Testing Automatisierte Dokumentation Schnittstellen- Management Agilität in BI Projekten Resume
  • 36. 37
  • 37. 38 Vielen Dank für Ihre Aufmerksamkeit Kontakt Dr. Stefan Igel Head of Big Data Solutions inovex GmbH Office Karlsruhe Ludwig-Erhard-Allee 6 D-76131 Karlsruhe +49 173 3181030 Stefan.igel@inovex.de