DATEN
QUADRANT
STRATEGIE UND ORGANISATION IM
ZEITALTER VON AGILEBI, DWH,
AUTOMATION UND BIGDATA
EINLEITUNG
• Quellen
• Datenquadrant von R.D. Damhof Mai 2014 – DWH Automation
• Whitepaper “Building A Data-Centric Strategy and Roadmap” – datablueprint.com,
Peter Aiken und Lewis Broome
• Daten als untrennbarer Verbund und/oder Bestandteil von den Produkten und
Dienstleistungen die verkauft werden.
• Strategie
• “Your data strategy must align to your organizational business strategy and
operating model.”
• Architektur
• “Data Architecture represents the common vocabulary, expressing integrated
requirements ensuring that data assets are stored, arranged, managed and used in
support of organizational strategy.”
• Governance
• “Data Governance is the exercise of authority and control over the management of
your mission- critical data assets.”
• Technical Practices: Qualität, Integration, Plattformen, BI
• Der Datenquadrant als Kommunikationsmittel für Strategie und Technik
DATENSTRATEGIE
Strategie
Ziele und Vorhaben
Datenmanagement
Systeme und
Applikationen
Network /
Infrastructure
Strategie
Ziele und Vorhaben
Systeme und
Applikationen
Network /
Infrastructure
Datenmanagement
Datengetrieben
Applikationsgetrieben
• Datenassets werden
durch die
Geschäftsprozesse
erstellt, die Ziele und
Vorhaben liefern
• Datenmanagement
ermöglicht
Geschäftsprozesse, Ziele
und Vorhaben zunehmend
direkt durch eigene
Wertbeiträge
• Personen, Organisation
und Geschäftsprozesse
liefern Kontext für das
Datenmanagement
• Datenmanagement
informiert die Personen
und Organisation
DATENSTRATEGIE
Personen und
Organisation
Geschäftsprozesse Ziele und
Vorhaben
Technologie
Technology Assets
Datenmanagement
Daten Assets
Informiert
ErstelltKontext
INFORMATIONEN
LIEFERN
Geschäftsprozesse Ziele und VorhabenPersonen und
Organisation
Technologie
Technology Assets
Informationsfluss Anforderungen
Datenmanagement
Strategie Architektur Governance
Qualität Integration Plattformen
BI
I
n
f
o
r
m
Produkt
PROBLEMSTELLUNG
KOMMUNIKATION
BI/IT
CIO/CTO/CDO
Fachabteilung
CEO/COO/CFO
NoSQL
BigData
MPP
Data
Vault
Analytics
???
AgileBI
Self
Service
Predictive
ANALOGIE: LOGISTIK
UND PRODUKTION
WIE KOMMEN PRODUKTE
AUF DEN MARKT
3FolieFolieAWF Arbeitsgemeinschaft “Pull-Systeme” – Dipl.-Ing. O. Völker und Dipl.-Ing. S. Binner
Einleitung „Push“ und „Pull“
In OutBestand in der Fertigung
Ziehlogik (PullZiehlogik (Pull--Prinzip)Prinzip)
Bestand in der Fertigung
In Out
Schiebelogik (PushSchiebelogik (Push--Prinzip)Prinzip)
Quelle: Ruhr-Universität Bochum, AWF AG Pull-Systeme, Dipl.Ing. O. Völker und Dipl. Ing. S. Binner
PULL VERSUS PUSH
PRODUKTE
Bekannte Anforderungen
Geringe Personalisierung
Skaleneffekte
Gleichförmige Produktion
Geringe
Änderungskosten
Geringe Vorbereitungszeit
Variable Anforderungen
Hohe Personalisierung
Geringer
Verkaufsaufwand
Variabilität in der
Produktion
Hohe Anpassungskosten
Größere
Vorbereitungszeit
Push
Pull
PULL VERSUS PUSH
DATEN
PUSH/SUPPLY/SOURC
E
• Fakten, historisiert
• Massendeployment
• Kontrolle>Agilität
• Wiederholbare &
vorhersagbare
Prozesse
• Standardisierung
• Automation
• Deklarativ > Prozedural
• Metadaten, Modell
getrieben
• IT und Datenexpertiese
PULL/DEMAND/PRODU
CT
• Interpretation &
Kontext
• Einzeldeployment
• Agilität > Kontrolle
• Nutzerfreundlichkeit
• Weniger IT-Expertise
• Hohes Fachwissen
• Prozedural >
Deklarativ
UNTERSCHEIDUNG
LIEFERMODUS
Systematisch
• Nutzer und Entwickler sind getrennt
• Fokus auf Kontrolle und Compliance
• Fokus auf Non-Functionals
• Zentrale, unternehmensweite Informationsobjekte
• Nutzer und Entwickler sind eng verbunden
• Offensive Governance – Fokus auf Agilität und Anpassbarkeit
• dezentralisierte Informationsobjekte
• Deployment direkt in Produktion
Opportunistisch
Development Style
DER
DATENQUADRANT
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Pull / Demand / Product drivenPush / Supply / Source driven
Push/Pull Point
Development
Style
Systematic
Opportunistic
DER
DATENQUADRANT
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Pull / Demand / Product drivenPush / Supply / Source driven
Push/Pull Point
Development
Style
Systematic
Opportunistic
EDWH
Star
OLAP
Report
Dashboard
Self-
Service BI
Analytics
Predictive
Machine
Learning
BPMN
KontextEIM
STRATEGIE UND
ARCHITEKTUR
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Datenmanagement
Strategie Architektur Governance
Qualität Integration Plattformen
BI
GOVERNANCE
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Verantwortung beim
Anforderer
Verantwortung beim Lieferanten
Verantwortung beim Data Scientist / Analyst / Researcher
TRANSITIONEN
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Auflösung von Produkten der
Shadow-IT oder aus der
Inkubation
Übergabe von Produkten aus
der eigenverantwotlichen
Produktion in die zentrale
Verantwortung –
Standardisierung von
Entwicklungsmethoden
ZENTRALISIEREN -
DEZENTRALISIEREN
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
PRODUKTION
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Produktionslinie Data
Product
Information
Product
Data Access
Analytics
Processing
Power
AUTOMATION
I DATA DELIVERY
R.D.Damhof – Prudenza BV - Copyright - 22 mei 2014R.D.Damhof - May 2014 - DWH Automation
How we produce…
II AGILE BI –
AUTOMATED SDLC
R.D.Damhof – Prudenza BV - Copyright - 22 mei 2014R.D.Damhof - May 2014 - DWH Automation
How we do projects…
I
• Facts
II
• Context
IV
• Shadow IT
• Incubation
• Ad-hoc
• Once off
III
• Research
• Innovation
• Design
Bekannte Anforderungen
Geringe Personalisierung
Skaleneffekte
Gleichförmige Produktion
Geringe Änderungskosten
Geringe Vorbereitungszeit
Push
AUTOMATION –
MODELLIERUNG
Strategie und Architektur
Modellierung eines EIM
Fact-Based Modeling
Conecptual -> Logical
Ontology –> Facts -> Relational
Transformation von Datenmodellen (EIM/FCO-
IM/ER/DataVault/AnchorModeling)
Integration von BPMN und Datenmodellierung
 Metadaten getriebene DWH Automation
Datenmanagement
Strategie Architektur Governance
Qualität Integration Plattformen
BI
I
•Ensemble
Modeling
II
•Dimensional,
hierarchical,
flat
III
•Shadow IT
•Incubation
•Ad-hoc
•Once off
IV
•Research
•Innovation
•Design
TECHNOLOGIE
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
MPP
BigData
NoSQL
Blending
R-Programming
Map/Reduce
Python
Analytics
“Traditional
BI”Ensemble
Modeling
Self-Service BI
TECHNOLOGIE UND
VORGEHEN
I
•Storage: (R)DBMS
•Processing: Automation
•DQ: Validation,Profiling
•Dev: Data Modeling
•Access: Virtualization
II
•Storage: Pattern Based
•Processing: limited ETL
•DQ: Regeln,
Dashboards
•Dev: Data Modeling
•Access: BI Tools,
Visualisation
III IV
•Storage: Analytical
•Processing: Preptools
für Data Analst
•Access: Advanced
Analytics, Data
Visulisation
TAKE-AWAY
• Kommunikation der Realisierung einer Datenstrategie auf der
Basis von verständlichen Kategorien
• Kategorisierung von Anforderungen für Anwendungen und
Informationsquellen
• Automatisierung in der Datenversorgung ist eine
Grundvoraussetzung
• Sowohl die eigentliche Versorgung
• … als auch die Steuerung der Versorgung
• Für AgileBI
• Metadaten und Modelle sollten die Automatisierung steuern,
um die Strategie und die Implementierung zu verbinden
DANKESCHÖN
• Owner, Managing Consultant bei Alligator Company
• 10+ Jahre Erfahrung in BI
• Certified Data Vault 2.0 Practitioner
• Member of the Boulder BI Brain Trust
Torsten Glunde
mailto:t.glunde(at)alligator-company.de
Weitere Netzwerke:
https://www.xing.com/profile/Torsten_Glunde
https://www.linkedin.com/pub/torsten-glunde/8/aba/97
tglunde

Data Quadrant - Daten Management Methode

  • 1.
    DATEN QUADRANT STRATEGIE UND ORGANISATIONIM ZEITALTER VON AGILEBI, DWH, AUTOMATION UND BIGDATA
  • 2.
    EINLEITUNG • Quellen • Datenquadrantvon R.D. Damhof Mai 2014 – DWH Automation • Whitepaper “Building A Data-Centric Strategy and Roadmap” – datablueprint.com, Peter Aiken und Lewis Broome • Daten als untrennbarer Verbund und/oder Bestandteil von den Produkten und Dienstleistungen die verkauft werden. • Strategie • “Your data strategy must align to your organizational business strategy and operating model.” • Architektur • “Data Architecture represents the common vocabulary, expressing integrated requirements ensuring that data assets are stored, arranged, managed and used in support of organizational strategy.” • Governance • “Data Governance is the exercise of authority and control over the management of your mission- critical data assets.” • Technical Practices: Qualität, Integration, Plattformen, BI • Der Datenquadrant als Kommunikationsmittel für Strategie und Technik
  • 3.
    DATENSTRATEGIE Strategie Ziele und Vorhaben Datenmanagement Systemeund Applikationen Network / Infrastructure Strategie Ziele und Vorhaben Systeme und Applikationen Network / Infrastructure Datenmanagement Datengetrieben Applikationsgetrieben
  • 4.
    • Datenassets werden durchdie Geschäftsprozesse erstellt, die Ziele und Vorhaben liefern • Datenmanagement ermöglicht Geschäftsprozesse, Ziele und Vorhaben zunehmend direkt durch eigene Wertbeiträge • Personen, Organisation und Geschäftsprozesse liefern Kontext für das Datenmanagement • Datenmanagement informiert die Personen und Organisation DATENSTRATEGIE Personen und Organisation Geschäftsprozesse Ziele und Vorhaben Technologie Technology Assets Datenmanagement Daten Assets Informiert ErstelltKontext
  • 5.
    INFORMATIONEN LIEFERN Geschäftsprozesse Ziele undVorhabenPersonen und Organisation Technologie Technology Assets Informationsfluss Anforderungen Datenmanagement Strategie Architektur Governance Qualität Integration Plattformen BI I n f o r m Produkt
  • 6.
  • 7.
  • 8.
    WIE KOMMEN PRODUKTE AUFDEN MARKT 3FolieFolieAWF Arbeitsgemeinschaft “Pull-Systeme” – Dipl.-Ing. O. Völker und Dipl.-Ing. S. Binner Einleitung „Push“ und „Pull“ In OutBestand in der Fertigung Ziehlogik (PullZiehlogik (Pull--Prinzip)Prinzip) Bestand in der Fertigung In Out Schiebelogik (PushSchiebelogik (Push--Prinzip)Prinzip) Quelle: Ruhr-Universität Bochum, AWF AG Pull-Systeme, Dipl.Ing. O. Völker und Dipl. Ing. S. Binner
  • 9.
    PULL VERSUS PUSH PRODUKTE BekannteAnforderungen Geringe Personalisierung Skaleneffekte Gleichförmige Produktion Geringe Änderungskosten Geringe Vorbereitungszeit Variable Anforderungen Hohe Personalisierung Geringer Verkaufsaufwand Variabilität in der Produktion Hohe Anpassungskosten Größere Vorbereitungszeit Push Pull
  • 10.
    PULL VERSUS PUSH DATEN PUSH/SUPPLY/SOURC E •Fakten, historisiert • Massendeployment • Kontrolle>Agilität • Wiederholbare & vorhersagbare Prozesse • Standardisierung • Automation • Deklarativ > Prozedural • Metadaten, Modell getrieben • IT und Datenexpertiese PULL/DEMAND/PRODU CT • Interpretation & Kontext • Einzeldeployment • Agilität > Kontrolle • Nutzerfreundlichkeit • Weniger IT-Expertise • Hohes Fachwissen • Prozedural > Deklarativ
  • 11.
    UNTERSCHEIDUNG LIEFERMODUS Systematisch • Nutzer undEntwickler sind getrennt • Fokus auf Kontrolle und Compliance • Fokus auf Non-Functionals • Zentrale, unternehmensweite Informationsobjekte • Nutzer und Entwickler sind eng verbunden • Offensive Governance – Fokus auf Agilität und Anpassbarkeit • dezentralisierte Informationsobjekte • Deployment direkt in Produktion Opportunistisch Development Style
  • 12.
    DER DATENQUADRANT I • Facts II • Context III •Shadow IT • Incubation • Ad-hoc • Once off IV • Research • Innovation • Design Pull / Demand / Product drivenPush / Supply / Source driven Push/Pull Point Development Style Systematic Opportunistic
  • 13.
    DER DATENQUADRANT I • Facts II • Context III •Shadow IT • Incubation • Ad-hoc • Once off IV • Research • Innovation • Design Pull / Demand / Product drivenPush / Supply / Source driven Push/Pull Point Development Style Systematic Opportunistic EDWH Star OLAP Report Dashboard Self- Service BI Analytics Predictive Machine Learning BPMN KontextEIM
  • 14.
    STRATEGIE UND ARCHITEKTUR I • Facts II •Context III • Shadow IT • Incubation • Ad-hoc • Once off IV • Research • Innovation • Design Datenmanagement Strategie Architektur Governance Qualität Integration Plattformen BI
  • 15.
    GOVERNANCE I • Facts II • Context III •Shadow IT • Incubation • Ad-hoc • Once off IV • Research • Innovation • Design Verantwortung beim Anforderer Verantwortung beim Lieferanten Verantwortung beim Data Scientist / Analyst / Researcher
  • 16.
    TRANSITIONEN I • Facts II • Context III •Shadow IT • Incubation • Ad-hoc • Once off IV • Research • Innovation • Design Auflösung von Produkten der Shadow-IT oder aus der Inkubation Übergabe von Produkten aus der eigenverantwotlichen Produktion in die zentrale Verantwortung – Standardisierung von Entwicklungsmethoden
  • 17.
    ZENTRALISIEREN - DEZENTRALISIEREN I • Facts II •Context III • Shadow IT • Incubation • Ad-hoc • Once off IV • Research • Innovation • Design
  • 18.
    PRODUKTION I • Facts II • Context III •Shadow IT • Incubation • Ad-hoc • Once off IV • Research • Innovation • Design Produktionslinie Data Product Information Product Data Access Analytics Processing Power
  • 19.
    AUTOMATION I DATA DELIVERY R.D.Damhof– Prudenza BV - Copyright - 22 mei 2014R.D.Damhof - May 2014 - DWH Automation How we produce… II AGILE BI – AUTOMATED SDLC R.D.Damhof – Prudenza BV - Copyright - 22 mei 2014R.D.Damhof - May 2014 - DWH Automation How we do projects… I • Facts II • Context IV • Shadow IT • Incubation • Ad-hoc • Once off III • Research • Innovation • Design Bekannte Anforderungen Geringe Personalisierung Skaleneffekte Gleichförmige Produktion Geringe Änderungskosten Geringe Vorbereitungszeit Push
  • 20.
    AUTOMATION – MODELLIERUNG Strategie undArchitektur Modellierung eines EIM Fact-Based Modeling Conecptual -> Logical Ontology –> Facts -> Relational Transformation von Datenmodellen (EIM/FCO- IM/ER/DataVault/AnchorModeling) Integration von BPMN und Datenmodellierung  Metadaten getriebene DWH Automation Datenmanagement Strategie Architektur Governance Qualität Integration Plattformen BI I •Ensemble Modeling II •Dimensional, hierarchical, flat III •Shadow IT •Incubation •Ad-hoc •Once off IV •Research •Innovation •Design
  • 21.
    TECHNOLOGIE I • Facts II • Context III •Shadow IT • Incubation • Ad-hoc • Once off IV • Research • Innovation • Design MPP BigData NoSQL Blending R-Programming Map/Reduce Python Analytics “Traditional BI”Ensemble Modeling Self-Service BI
  • 22.
    TECHNOLOGIE UND VORGEHEN I •Storage: (R)DBMS •Processing:Automation •DQ: Validation,Profiling •Dev: Data Modeling •Access: Virtualization II •Storage: Pattern Based •Processing: limited ETL •DQ: Regeln, Dashboards •Dev: Data Modeling •Access: BI Tools, Visualisation III IV •Storage: Analytical •Processing: Preptools für Data Analst •Access: Advanced Analytics, Data Visulisation
  • 23.
    TAKE-AWAY • Kommunikation derRealisierung einer Datenstrategie auf der Basis von verständlichen Kategorien • Kategorisierung von Anforderungen für Anwendungen und Informationsquellen • Automatisierung in der Datenversorgung ist eine Grundvoraussetzung • Sowohl die eigentliche Versorgung • … als auch die Steuerung der Versorgung • Für AgileBI • Metadaten und Modelle sollten die Automatisierung steuern, um die Strategie und die Implementierung zu verbinden
  • 24.
    DANKESCHÖN • Owner, ManagingConsultant bei Alligator Company • 10+ Jahre Erfahrung in BI • Certified Data Vault 2.0 Practitioner • Member of the Boulder BI Brain Trust Torsten Glunde mailto:t.glunde(at)alligator-company.de Weitere Netzwerke: https://www.xing.com/profile/Torsten_Glunde https://www.linkedin.com/pub/torsten-glunde/8/aba/97 tglunde