SlideShare ist ein Scribd-Unternehmen logo
1
Willkommen in Frankfurt
Standardisierung
von ETL Prozessen
und
ausgelagerte Geschäftsregeln
Frankfurt - 16.02.2017
2
Eine alltägliche Begegnung...
3
Aufgabe
Daten aus verschiedenen Source Systemen für die
Verrechnung durch SAP in Form von CSV Dateien
bereitstellen.
4
Situation
●
Verschiedene Source Systeme mit ähnlichen Daten
●
Source Systeme: unterschiedliche Datenhaltung
●
Verschiedene Länder mit verschiedenen
Geschäftsregeln für die Verrechnung
●
Eine SAP Schnittstelle (CSV)
●
Dezentrale IT, die die Source Systeme betreut
5
Ansatz 1 – kopieren des ETL's
Ansatz 1:
Source
1
ETL
CSV
File
Source
1
ETL
CSV
File
Source
1
ETL
CSV
File
Geschäfts
Regeln
Geschäfts
Regeln
Geschäfts
Regeln
copy
copy
6
Ansatz 1 - Probleme
Probleme:
●
Duplizierung von Prozessen
●
Kein Standard, schwierige Wartung
●
Auditierbarkeit (Audit pro Instanz)
●
ETL Prozesse laufen mit der Zeit auseinander
●
IT Code und Geschäftsregeln vermischt
●
Qualitätsprobleme
●
Langsame Implementierung für andere Source
Systeme
7
Ansatz 1 – Probleme - Beispiel
8
Ansatz 1 - Aufgabenverteilung
●
Wer betreut den ETL Prozess?
●
Wer betreut die Geschäftsregeln?
●
Wer ist unter Zeitdruck und im Stress?
>>> IT !
●
Warum?
- Der Business User versteht ETL Prozesse nicht!
- IT hat die Geschäftsregeln im ETL implementiert
9
Ansatz 2 – Standard ETL + Business Rules
Ansatz 2:
Source
1
Source
ETL
CSV
File
Source
1
Source
ETL
CSV
File
Source
1
Source
ETL
CSV
File
Standard
ETLStandardInterface
Geschäfts
Regeln
ETL
Business Rules
Maintenance Tool
10
Ansatz 2 - Vorteile
Vorteile:
●
keine Duplizierung von Prozessen
●
Standard Interface
●
Standard Verarbeitung >> leicht erweiterbar
●
keine Geschäftsregeln im ETL >> schlanker ETL
●
Qualität – saubere/klare IT Prozesse
●
Trennung der Verantwortlichkeiten IT/Business
●
Leichtere Implementierung von Prod/Dev/QA
●
Agile IT Prozesse
●
Audit eines Processes versus multiple
11
Ansatz 2 – Vorteile - Beispiel
(gleicher ETL wie auf dem Bild vorher)
12
Ansatz 2 - Aufgabenverteilung
●
Wer betreut den ETL Prozess?
>>> IT !
●
Wer betreut die Geschäftsregeln?
>>> Business !
●
Warum?
- Der Business User ist Experte für die
Geschäftsregeln!
- IT ist Experte für den ETL Prozess
13
Ansatz 2 – Trennung der Verantwortlichkeiten
Ansatz 2:
Standard
ETL
Geschäfts
Regeln
Pentaho
PDI
Business
Rules
Web Tool
uses
ITBusiness
Plugin
14
Ansatz 2 – Weitere Vorteile
●
Zentrales Management von Geschäftsregeln/Logik
●
zentral statt verstreut
●
zentrale Logik erhöht die Übersicht und Qualität
●
zeitabhängige Regeln
●
einfach erweiterbar
●
Ruleengine verwendbar auch für nicht-Pentaho Projekte
●
trotzdem zentrales Management der Logik
15
Referenzen – Ruleengine/Business Rules Maintenance
Tool
●
Swissport Intl. - http://swissport.com
Verrechnung von Flügen, Services und Lounge-
Eintritten
●
Veriship - http://www.veriship.com
Zitat Veriship:
“3M rows of sample data”.
“I have a total of ~46K distinct rules”.
“… out of 368 projects, there were over 15M
individual rule evaluations completed”.
16
Software & Tools
●
Pentaho PDI – frei, Open Source (Enterprise Version)
●
Ruleengine (Standalone/Server) – frei, Open Source *
●
Ruleengine Plugin für Pentaho PDI – frei, Open Source *
●
Business Rules Maintenance Tool – frei, Open Source *
●
Dokumentation, Beispiele
* getestet in Produktionsumgebungen
- Software auf Github verfügbar -
17
Kontakt
Uwe Geercken
(deutsch, englisch, italienisch)
email: uwe.geercken@web.de
twitter: @uweeegeee
github: https://github.com/uwegeercken
blog: http://datamelt.weebly.com

Weitere ähnliche Inhalte

Ähnlich wie Standardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln

Nagios Conference 2007 | Business Process Monitoring mit Nagios by Michael K...
Nagios Conference 2007 | Business Process Monitoring mit Nagios  by Michael K...Nagios Conference 2007 | Business Process Monitoring mit Nagios  by Michael K...
Nagios Conference 2007 | Business Process Monitoring mit Nagios by Michael K...
NETWAYS
 
Windows as a Service - Herausforderungen ohne Windows Desktop Analytics
Windows as a Service - Herausforderungen ohne Windows Desktop AnalyticsWindows as a Service - Herausforderungen ohne Windows Desktop Analytics
Windows as a Service - Herausforderungen ohne Windows Desktop Analytics
Fabian Niesen
 
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
NETWAYS
 
Was ist die IT-Analyse?
Was ist die IT-Analyse? Was ist die IT-Analyse?
Was ist die IT-Analyse?
innocate solutions GmbH
 
2 1b-prozessmodellierung-eepk-erweiterung-200406
2 1b-prozessmodellierung-eepk-erweiterung-2004062 1b-prozessmodellierung-eepk-erweiterung-200406
2 1b-prozessmodellierung-eepk-erweiterung-200406
Claus Brell
 
MySQL Performance Tuning für Entwickler
MySQL Performance Tuning für EntwicklerMySQL Performance Tuning für Entwickler
MySQL Performance Tuning für Entwickler
FromDual GmbH
 
WeWebU OpenWorkdesk bei transactio
WeWebU OpenWorkdesk bei transactioWeWebU OpenWorkdesk bei transactio
WeWebU OpenWorkdesk bei transactio
WeWebU Software AG
 
Datenmanagement 2.0: Active Datamanagement (ADM)
Datenmanagement 2.0: Active Datamanagement (ADM)Datenmanagement 2.0: Active Datamanagement (ADM)
Datenmanagement 2.0: Active Datamanagement (ADM)
topsoft - inspiring digital business
 
2023-08_RPA-ChapterEvent_Überprüfung-der-Codequalität
2023-08_RPA-ChapterEvent_Überprüfung-der-Codequalität2023-08_RPA-ChapterEvent_Überprüfung-der-Codequalität
2023-08_RPA-ChapterEvent_Überprüfung-der-Codequalität
FotiosKaramitsos
 
Chancen und Potential von BPM/E
Chancen und Potential von BPM/EChancen und Potential von BPM/E
Chancen und Potential von BPM/E
dluebke
 
Continuous Delivery as a Way of Life
Continuous Delivery as a Way of LifeContinuous Delivery as a Way of Life
Continuous Delivery as a Way of Life
Kremer Consulting
 
Prozessoptimierung mit ITIL
Prozessoptimierung mit ITILProzessoptimierung mit ITIL
Prozessoptimierung mit ITIL
Christian Reinboth
 
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
DataValueTalk
 
Uwe Ricken – IT-Tage 2015 – Workshop: MS SQL Server Optimierung
Uwe Ricken – IT-Tage 2015 – Workshop: MS SQL Server OptimierungUwe Ricken – IT-Tage 2015 – Workshop: MS SQL Server Optimierung
Uwe Ricken – IT-Tage 2015 – Workshop: MS SQL Server Optimierung
Informatik Aktuell
 
CCD 2013: JIRA goes i18n
CCD 2013: JIRA goes i18nCCD 2013: JIRA goes i18n
CCD 2013: JIRA goes i18n
Communardo GmbH
 
DevOps und ITIL: Waffenbrüder oder Feinde?
DevOps und ITIL: Waffenbrüder oder Feinde?DevOps und ITIL: Waffenbrüder oder Feinde?
DevOps und ITIL: Waffenbrüder oder Feinde?
OPITZ CONSULTING Deutschland
 
Inhaltliche Ausrichtung und organisatorische Sicherstellung einer Business In...
Inhaltliche Ausrichtung und organisatorische Sicherstellung einer Business In...Inhaltliche Ausrichtung und organisatorische Sicherstellung einer Business In...
Inhaltliche Ausrichtung und organisatorische Sicherstellung einer Business In...
Ralf Heim
 
SQL Server Monitoring - Piloten fliegen auch nicht blind
SQL Server Monitoring - Piloten fliegen auch nicht blindSQL Server Monitoring - Piloten fliegen auch nicht blind
SQL Server Monitoring - Piloten fliegen auch nicht blind
Andre Essing
 
Betriebsdatenerfassung einer Dimplex Wärmepumpe vom Typ LA 40TU
Betriebsdatenerfassung einer Dimplex Wärmepumpe vom Typ LA 40TUBetriebsdatenerfassung einer Dimplex Wärmepumpe vom Typ LA 40TU
Betriebsdatenerfassung einer Dimplex Wärmepumpe vom Typ LA 40TU
Johannes Kinzig
 

Ähnlich wie Standardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln (20)

Nagios Conference 2007 | Business Process Monitoring mit Nagios by Michael K...
Nagios Conference 2007 | Business Process Monitoring mit Nagios  by Michael K...Nagios Conference 2007 | Business Process Monitoring mit Nagios  by Michael K...
Nagios Conference 2007 | Business Process Monitoring mit Nagios by Michael K...
 
Windows as a Service - Herausforderungen ohne Windows Desktop Analytics
Windows as a Service - Herausforderungen ohne Windows Desktop AnalyticsWindows as a Service - Herausforderungen ohne Windows Desktop Analytics
Windows as a Service - Herausforderungen ohne Windows Desktop Analytics
 
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
 
Was ist die IT-Analyse?
Was ist die IT-Analyse? Was ist die IT-Analyse?
Was ist die IT-Analyse?
 
2 1b-prozessmodellierung-eepk-erweiterung-200406
2 1b-prozessmodellierung-eepk-erweiterung-2004062 1b-prozessmodellierung-eepk-erweiterung-200406
2 1b-prozessmodellierung-eepk-erweiterung-200406
 
MySQL Performance Tuning für Entwickler
MySQL Performance Tuning für EntwicklerMySQL Performance Tuning für Entwickler
MySQL Performance Tuning für Entwickler
 
WeWebU OpenWorkdesk bei transactio
WeWebU OpenWorkdesk bei transactioWeWebU OpenWorkdesk bei transactio
WeWebU OpenWorkdesk bei transactio
 
Datenmanagement 2.0: Active Datamanagement (ADM)
Datenmanagement 2.0: Active Datamanagement (ADM)Datenmanagement 2.0: Active Datamanagement (ADM)
Datenmanagement 2.0: Active Datamanagement (ADM)
 
2023-08_RPA-ChapterEvent_Überprüfung-der-Codequalität
2023-08_RPA-ChapterEvent_Überprüfung-der-Codequalität2023-08_RPA-ChapterEvent_Überprüfung-der-Codequalität
2023-08_RPA-ChapterEvent_Überprüfung-der-Codequalität
 
Chancen und Potential von BPM/E
Chancen und Potential von BPM/EChancen und Potential von BPM/E
Chancen und Potential von BPM/E
 
SAP Einführung_1
SAP Einführung_1SAP Einführung_1
SAP Einführung_1
 
Continuous Delivery as a Way of Life
Continuous Delivery as a Way of LifeContinuous Delivery as a Way of Life
Continuous Delivery as a Way of Life
 
Prozessoptimierung mit ITIL
Prozessoptimierung mit ITILProzessoptimierung mit ITIL
Prozessoptimierung mit ITIL
 
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
 
Uwe Ricken – IT-Tage 2015 – Workshop: MS SQL Server Optimierung
Uwe Ricken – IT-Tage 2015 – Workshop: MS SQL Server OptimierungUwe Ricken – IT-Tage 2015 – Workshop: MS SQL Server Optimierung
Uwe Ricken – IT-Tage 2015 – Workshop: MS SQL Server Optimierung
 
CCD 2013: JIRA goes i18n
CCD 2013: JIRA goes i18nCCD 2013: JIRA goes i18n
CCD 2013: JIRA goes i18n
 
DevOps und ITIL: Waffenbrüder oder Feinde?
DevOps und ITIL: Waffenbrüder oder Feinde?DevOps und ITIL: Waffenbrüder oder Feinde?
DevOps und ITIL: Waffenbrüder oder Feinde?
 
Inhaltliche Ausrichtung und organisatorische Sicherstellung einer Business In...
Inhaltliche Ausrichtung und organisatorische Sicherstellung einer Business In...Inhaltliche Ausrichtung und organisatorische Sicherstellung einer Business In...
Inhaltliche Ausrichtung und organisatorische Sicherstellung einer Business In...
 
SQL Server Monitoring - Piloten fliegen auch nicht blind
SQL Server Monitoring - Piloten fliegen auch nicht blindSQL Server Monitoring - Piloten fliegen auch nicht blind
SQL Server Monitoring - Piloten fliegen auch nicht blind
 
Betriebsdatenerfassung einer Dimplex Wärmepumpe vom Typ LA 40TU
Betriebsdatenerfassung einer Dimplex Wärmepumpe vom Typ LA 40TUBetriebsdatenerfassung einer Dimplex Wärmepumpe vom Typ LA 40TU
Betriebsdatenerfassung einer Dimplex Wärmepumpe vom Typ LA 40TU
 

Standardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln

  • 1. 1 Willkommen in Frankfurt Standardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln Frankfurt - 16.02.2017
  • 3. 3 Aufgabe Daten aus verschiedenen Source Systemen für die Verrechnung durch SAP in Form von CSV Dateien bereitstellen.
  • 4. 4 Situation ● Verschiedene Source Systeme mit ähnlichen Daten ● Source Systeme: unterschiedliche Datenhaltung ● Verschiedene Länder mit verschiedenen Geschäftsregeln für die Verrechnung ● Eine SAP Schnittstelle (CSV) ● Dezentrale IT, die die Source Systeme betreut
  • 5. 5 Ansatz 1 – kopieren des ETL's Ansatz 1: Source 1 ETL CSV File Source 1 ETL CSV File Source 1 ETL CSV File Geschäfts Regeln Geschäfts Regeln Geschäfts Regeln copy copy
  • 6. 6 Ansatz 1 - Probleme Probleme: ● Duplizierung von Prozessen ● Kein Standard, schwierige Wartung ● Auditierbarkeit (Audit pro Instanz) ● ETL Prozesse laufen mit der Zeit auseinander ● IT Code und Geschäftsregeln vermischt ● Qualitätsprobleme ● Langsame Implementierung für andere Source Systeme
  • 7. 7 Ansatz 1 – Probleme - Beispiel
  • 8. 8 Ansatz 1 - Aufgabenverteilung ● Wer betreut den ETL Prozess? ● Wer betreut die Geschäftsregeln? ● Wer ist unter Zeitdruck und im Stress? >>> IT ! ● Warum? - Der Business User versteht ETL Prozesse nicht! - IT hat die Geschäftsregeln im ETL implementiert
  • 9. 9 Ansatz 2 – Standard ETL + Business Rules Ansatz 2: Source 1 Source ETL CSV File Source 1 Source ETL CSV File Source 1 Source ETL CSV File Standard ETLStandardInterface Geschäfts Regeln ETL Business Rules Maintenance Tool
  • 10. 10 Ansatz 2 - Vorteile Vorteile: ● keine Duplizierung von Prozessen ● Standard Interface ● Standard Verarbeitung >> leicht erweiterbar ● keine Geschäftsregeln im ETL >> schlanker ETL ● Qualität – saubere/klare IT Prozesse ● Trennung der Verantwortlichkeiten IT/Business ● Leichtere Implementierung von Prod/Dev/QA ● Agile IT Prozesse ● Audit eines Processes versus multiple
  • 11. 11 Ansatz 2 – Vorteile - Beispiel (gleicher ETL wie auf dem Bild vorher)
  • 12. 12 Ansatz 2 - Aufgabenverteilung ● Wer betreut den ETL Prozess? >>> IT ! ● Wer betreut die Geschäftsregeln? >>> Business ! ● Warum? - Der Business User ist Experte für die Geschäftsregeln! - IT ist Experte für den ETL Prozess
  • 13. 13 Ansatz 2 – Trennung der Verantwortlichkeiten Ansatz 2: Standard ETL Geschäfts Regeln Pentaho PDI Business Rules Web Tool uses ITBusiness Plugin
  • 14. 14 Ansatz 2 – Weitere Vorteile ● Zentrales Management von Geschäftsregeln/Logik ● zentral statt verstreut ● zentrale Logik erhöht die Übersicht und Qualität ● zeitabhängige Regeln ● einfach erweiterbar ● Ruleengine verwendbar auch für nicht-Pentaho Projekte ● trotzdem zentrales Management der Logik
  • 15. 15 Referenzen – Ruleengine/Business Rules Maintenance Tool ● Swissport Intl. - http://swissport.com Verrechnung von Flügen, Services und Lounge- Eintritten ● Veriship - http://www.veriship.com Zitat Veriship: “3M rows of sample data”. “I have a total of ~46K distinct rules”. “… out of 368 projects, there were over 15M individual rule evaluations completed”.
  • 16. 16 Software & Tools ● Pentaho PDI – frei, Open Source (Enterprise Version) ● Ruleengine (Standalone/Server) – frei, Open Source * ● Ruleengine Plugin für Pentaho PDI – frei, Open Source * ● Business Rules Maintenance Tool – frei, Open Source * ● Dokumentation, Beispiele * getestet in Produktionsumgebungen - Software auf Github verfügbar -
  • 17. 17 Kontakt Uwe Geercken (deutsch, englisch, italienisch) email: uwe.geercken@web.de twitter: @uweeegeee github: https://github.com/uwegeercken blog: http://datamelt.weebly.com