SlideShare ist ein Scribd-Unternehmen logo
KIT – University of the State of Baden-Wuerttemberg and
National Research Center of the Helmholtz Association
Smart Data Innovation Lab
www.kit.edu
SDI-X
13.10.2016
Best Practices für Smart Data Projekte
Dr.-Ing. Markus Scholz, Data Scientist SDSC-BW/SDIL
KIT, TECO, Prof. Beigl, Markus.Scholz@kit.edu
2
SDI-X
Motivation: Exponentiell wachsendes Datenvolumen soll zeitnah
verarbeitet werden
Ziel: Unterstützung datengetriebener Innovation in Forschung
und Anwendung durch geeignete
Best Practice-Prozesse
Best Practice-Werkzeuge
Best Practice-Betriebskonzepte
Smart Data Innovation Lab (SDIL)
Überblick (SDI-X)
3
SDI-X
Effizient durchführbar
Erzeugt belastbare Ergebnisse
Ist nachvollziehbar / wartbar
Ist reproduzierbar
Smart Data Innovation Lab (SDIL)
Best Practice-Prozesse I: Anforderungen an SD Analyse
Ähnliche Anforderungen wie an Softwareentwicklung Anfang der 90iger
4
SDI-X
Modelle für den Analyseprozess (z.B. CRISP-DM)
Technische Handlungsempfehlungen auf Basis von
Datencharakteristiken (z.B. Dimension vs. Datensätze)
Technischen Fragestellungen (z.B. Anomaliedetektion)
Tools für technische Aspekte der Analyse
Integration
Vorverarbeitung, Algorithmen, Online/Offline-Evaluation
Dokumentation
Versionierung
Smart Data Innovation Lab (SDIL)
Best Practice-Prozesse II: Werkzeuge für die Analyse
5
SDI-XSmart Data Innovation Lab (SDIL)
Beispiel Prozess: CRISP-DM Datenanalyseprozess
Allgemeine Vorgehensweise ohne spezifische Handlungsempfehlung
(z.B. Was bedeutet „Data Preparation“ für eine bestimmte Fragestellung?)
6
SDI-XSmart Data Innovation Lab (SDIL)
Beispiel techn. Best Practices: Azure Cheatsheet
Domain-unabhängige, Datencharakteristik-bezogene techn. Empfehlungen
7
SDI-X
Business
Understanding
Data
Understanding
... Evaluation
Smart Data Innovation Lab (SDIL)
Mehrschichtige Sicht auf die Smart Data Analyse
Technische Empfehlungen
Analyseprozessmodell (CRISP-DM)
Analyse-Entwurfsmuster für spezifische Problemstellung/Domäne
Software Tools,
Analysewerkzeuge SAP
HANA
IBM
Watson
SAG
Terracotta
Python, R,
etc.
Cheatsheets
Tutorials
Courses
8
SDI-X
Business
Understanding
Data
Understanding
... Evaluation
Smart Data Innovation Lab (SDIL)
Mehrschichtige Sicht auf die Smart Data Analyse
SDI-X
Technische Empfehlungen
Analyseprozessmodell (CRISP-DM)
Analyse-Entwurfsmuster gg. spezifische Problemstellung/Domäne
Software Tools,
Analysewerkzeuge SAP
HANA
IBM
Watson
SAG
Terracotta
Python, R,
etc.
Cheatsheets
Tutorials
Courses
9
SDI-X
Analyse durchgeführter und laufender Projekte durch
Fragebögen an Datenanalysten
Konsolidierung der Datenanalysebögen
Extraktion und Kategorisierung der Analysen
 Entwicklung Analyse-Entwurfsmuster in Code und Dokumentation
Analyse-Entwurfsmuster: Mehrschichtige und verzweigte Abbildungen des
Analyseprozesses enthalten z.T. auch technische Handlungsempfehlungen
Smart Data Innovation Lab (SDIL)
Ansatz von SDI-X I
10
SDI-XSmart Data Innovation Lab (SDIL)
Ansatz von SDI-X II
11
SDI-X
Identifikation wichtiger Einflüsse auf eine Zielvariable (Einflüsse)
Anwendung
Beeinflussende Merkmale identifizieren
Z.B. Merkmale die bei einer Auftragsverzögerung relevant sind
Extraktion von Regeln für die Zielgröße (Regeln)
Anwendung
Wie ist der Einfluss der Merkmale auf die Zielgröße (Verständnis)
Vorhersage einer Zielgröße
Z.B. Wie wahrscheinlich ist die Kündigung eines Abos
Intrinsische Datenstruktur ableiten (Struktur)
Anwendung
Unbekannte Zusammenhänge entdecken
Z.B. Identifikation von Kundengruppen
Ableitung von Prozessen (Prozesse)
Z.B. Wie exakt werden Prozesse im Unternehmen umgesetzt
Smart Data Innovation Lab (SDIL)
Kategorisierung typ. Zielstellungen
12
SDI-X
Best Practice-Process setzt sich zusammen aus nachvollziehbaren
Einzelentscheidungen mit vordefinierten Berechnungschritten
Smart Data Innovation Lab (SDIL)
SDI-X Best-Practice Prozess – Work in Progress
EinflüsseZielstellung Regeln Struktur Prozesse
Anforderungen
(aus Anwendung)
Verarbeitungskette
(Vorverarbeitung,
Algorithmen,
Evaluation
+ tech.Empfehlungen)
…
Hohe Genauigkeit
Gute Interpretierbarkeit
Onlineverfahren
Methode 1
Methode 2
Methode 3
…
Hohe Robustheit
…
13
SDI-X
SDI-X: Best-Practices für Smart Data Prozesse, Tools, Betrieb
Heutige Smart Data Analyse hat ähnliche Herausforderung wie
frühe SW-Entwicklung
Z.B. dadurch dass Werkzeuge sehr allgemein gehalten sind
Potential in Zielstellung-bezogenen Best-Practices
(„Smart Data Analyse Entwurfsmuster“)
Umsetzung von Anforderungen an die Smart Data Analyse
Schnellerer Transfer von Analyse-Knowhow
Neue USP für existierende Analysesoftware
Data Scientist wird effizienter aber nicht ersetzt
Smart Data Innovation Lab (SDIL)
Zusammenfassung und Schlussfolgerung
14
SDI-X
DANKE FÜR IHRE AUFMERKSAMKEIT
Dr.-Ing. Markus Scholz
TECO/KIT
Vincenz-Priessnitz-Str.1
76137 Karlsruhe
0721-608-41713
Markus.Scholz@kit.edu / scholz@teco.edu
Smart Data Innovation Lab (SDIL)

Weitere ähnliche Inhalte

Was ist angesagt?

Stammdatenmanagement
StammdatenmanagementStammdatenmanagement
Stammdatenmanagementpatriziapesce
 
Iodata, Qlik Solution Provider in Projektkooperation zum Thema Industrie 4.0
Iodata, Qlik Solution Provider in Projektkooperation zum Thema Industrie 4.0Iodata, Qlik Solution Provider in Projektkooperation zum Thema Industrie 4.0
Iodata, Qlik Solution Provider in Projektkooperation zum Thema Industrie 4.0
Iodata GmbH
 
Big-Data solutions based on cyber-physical-systems: Is Industrie 4.0 applicab...
Big-Data solutions based on cyber-physical-systems: Is Industrie 4.0 applicab...Big-Data solutions based on cyber-physical-systems: Is Industrie 4.0 applicab...
Big-Data solutions based on cyber-physical-systems: Is Industrie 4.0 applicab...
Sebastian Scholze
 
Portfolio 2016 animated style
Portfolio 2016   animated stylePortfolio 2016   animated style
Portfolio 2016 animated style
Sascha Oehl
 
FIWARE Global Summit - Sending and Retrieving Context Data using Real Devices
FIWARE Global Summit - Sending and Retrieving Context Data using Real DevicesFIWARE Global Summit - Sending and Retrieving Context Data using Real Devices
FIWARE Global Summit - Sending and Retrieving Context Data using Real Devices
FIWARE
 
Big Data und Oracle bringen die Logistik in Bewegung
Big Data und Oracle bringen die Logistik in BewegungBig Data und Oracle bringen die Logistik in Bewegung
Big Data und Oracle bringen die Logistik in Bewegung
OPITZ CONSULTING Deutschland
 
Big data minds 2013 vorankündigung
Big data minds 2013 vorankündigungBig data minds 2013 vorankündigung
Big data minds 2013 vorankündigung
Maria Willamowius
 
Dr. Clemens Wagner-Bruschek, ERP (d-fine Austria)
Dr. Clemens Wagner-Bruschek, ERP (d-fine Austria)Dr. Clemens Wagner-Bruschek, ERP (d-fine Austria)
Dr. Clemens Wagner-Bruschek, ERP (d-fine Austria)
Praxistage
 
Intelligente Speichertechnologien machen Sie fit für die Zukunft!
Intelligente Speichertechnologien machen Sie fit für die Zukunft!Intelligente Speichertechnologien machen Sie fit für die Zukunft!
Intelligente Speichertechnologien machen Sie fit für die Zukunft!
Bechtle
 
Matthias Hausegger (Amaris)
Matthias Hausegger (Amaris)Matthias Hausegger (Amaris)
Matthias Hausegger (Amaris)
Praxistage
 
Das Next Generation Data Center - Trends 2018 von IDC
Das Next Generation Data Center - Trends 2018 von IDCDas Next Generation Data Center - Trends 2018 von IDC
Das Next Generation Data Center - Trends 2018 von IDC
Franziska Bülles
 
Historisierung und Analyse von Daten aus Oracle Enterprise Manager Cloud Cont...
Historisierung und Analyse von Daten aus Oracle Enterprise Manager Cloud Cont...Historisierung und Analyse von Daten aus Oracle Enterprise Manager Cloud Cont...
Historisierung und Analyse von Daten aus Oracle Enterprise Manager Cloud Cont...
OPITZ CONSULTING Deutschland
 
Ing. Friedrich Szukitsch EDV Dienstleistungen
Ing. Friedrich Szukitsch EDV DienstleistungenIng. Friedrich Szukitsch EDV Dienstleistungen
Ing. Friedrich Szukitsch EDV Dienstleistungen
Praxistage
 
SDIC'16 - Erfolgsgeschichte aus dem Smart Data Solution Center (SDSC-BW)
SDIC'16 - Erfolgsgeschichte aus dem Smart Data Solution Center (SDSC-BW)SDIC'16 - Erfolgsgeschichte aus dem Smart Data Solution Center (SDSC-BW)
SDIC'16 - Erfolgsgeschichte aus dem Smart Data Solution Center (SDSC-BW)
Smart Data Innovation Lab
 
Smart Data Engineering: Erfolgsfaktor für die digitale Transformation
Smart Data Engineering: Erfolgsfaktor für die digitale TransformationSmart Data Engineering: Erfolgsfaktor für die digitale Transformation
Smart Data Engineering: Erfolgsfaktor für die digitale Transformation
Boris Otto
 
Deltek ehrt die Gewinner der Project Excellence Awards 2017
Deltek ehrt die Gewinner der Project Excellence Awards 2017Deltek ehrt die Gewinner der Project Excellence Awards 2017
Deltek ehrt die Gewinner der Project Excellence Awards 2017
bhoeck
 
20131203 11 pivotal_ wie_big_data_geschäftsmodelle_verändert
20131203 11 pivotal_ wie_big_data_geschäftsmodelle_verändert20131203 11 pivotal_ wie_big_data_geschäftsmodelle_verändert
20131203 11 pivotal_ wie_big_data_geschäftsmodelle_verändert
Werbeplanung.at Summit
 
badenIT und psiori - Big Data Services | TDWI Schweiz 2017
badenIT und psiori - Big Data Services | TDWI Schweiz 2017badenIT und psiori - Big Data Services | TDWI Schweiz 2017
badenIT und psiori - Big Data Services | TDWI Schweiz 2017
Robert Joseph
 
Big Data Minds 2013 - Main PR
Big Data Minds 2013 - Main PRBig Data Minds 2013 - Main PR
Big Data Minds 2013 - Main PR
Maria Willamowius
 

Was ist angesagt? (20)

Stammdatenmanagement
StammdatenmanagementStammdatenmanagement
Stammdatenmanagement
 
Iodata, Qlik Solution Provider in Projektkooperation zum Thema Industrie 4.0
Iodata, Qlik Solution Provider in Projektkooperation zum Thema Industrie 4.0Iodata, Qlik Solution Provider in Projektkooperation zum Thema Industrie 4.0
Iodata, Qlik Solution Provider in Projektkooperation zum Thema Industrie 4.0
 
Big-Data solutions based on cyber-physical-systems: Is Industrie 4.0 applicab...
Big-Data solutions based on cyber-physical-systems: Is Industrie 4.0 applicab...Big-Data solutions based on cyber-physical-systems: Is Industrie 4.0 applicab...
Big-Data solutions based on cyber-physical-systems: Is Industrie 4.0 applicab...
 
Portfolio 2016 animated style
Portfolio 2016   animated stylePortfolio 2016   animated style
Portfolio 2016 animated style
 
FIWARE Global Summit - Sending and Retrieving Context Data using Real Devices
FIWARE Global Summit - Sending and Retrieving Context Data using Real DevicesFIWARE Global Summit - Sending and Retrieving Context Data using Real Devices
FIWARE Global Summit - Sending and Retrieving Context Data using Real Devices
 
Big Data und Oracle bringen die Logistik in Bewegung
Big Data und Oracle bringen die Logistik in BewegungBig Data und Oracle bringen die Logistik in Bewegung
Big Data und Oracle bringen die Logistik in Bewegung
 
Big data minds 2013 vorankündigung
Big data minds 2013 vorankündigungBig data minds 2013 vorankündigung
Big data minds 2013 vorankündigung
 
Dr. Clemens Wagner-Bruschek, ERP (d-fine Austria)
Dr. Clemens Wagner-Bruschek, ERP (d-fine Austria)Dr. Clemens Wagner-Bruschek, ERP (d-fine Austria)
Dr. Clemens Wagner-Bruschek, ERP (d-fine Austria)
 
Intelligente Speichertechnologien machen Sie fit für die Zukunft!
Intelligente Speichertechnologien machen Sie fit für die Zukunft!Intelligente Speichertechnologien machen Sie fit für die Zukunft!
Intelligente Speichertechnologien machen Sie fit für die Zukunft!
 
Matthias Hausegger (Amaris)
Matthias Hausegger (Amaris)Matthias Hausegger (Amaris)
Matthias Hausegger (Amaris)
 
Kompetenzen rund um DEPAROM
Kompetenzen rund um DEPAROMKompetenzen rund um DEPAROM
Kompetenzen rund um DEPAROM
 
Das Next Generation Data Center - Trends 2018 von IDC
Das Next Generation Data Center - Trends 2018 von IDCDas Next Generation Data Center - Trends 2018 von IDC
Das Next Generation Data Center - Trends 2018 von IDC
 
Historisierung und Analyse von Daten aus Oracle Enterprise Manager Cloud Cont...
Historisierung und Analyse von Daten aus Oracle Enterprise Manager Cloud Cont...Historisierung und Analyse von Daten aus Oracle Enterprise Manager Cloud Cont...
Historisierung und Analyse von Daten aus Oracle Enterprise Manager Cloud Cont...
 
Ing. Friedrich Szukitsch EDV Dienstleistungen
Ing. Friedrich Szukitsch EDV DienstleistungenIng. Friedrich Szukitsch EDV Dienstleistungen
Ing. Friedrich Szukitsch EDV Dienstleistungen
 
SDIC'16 - Erfolgsgeschichte aus dem Smart Data Solution Center (SDSC-BW)
SDIC'16 - Erfolgsgeschichte aus dem Smart Data Solution Center (SDSC-BW)SDIC'16 - Erfolgsgeschichte aus dem Smart Data Solution Center (SDSC-BW)
SDIC'16 - Erfolgsgeschichte aus dem Smart Data Solution Center (SDSC-BW)
 
Smart Data Engineering: Erfolgsfaktor für die digitale Transformation
Smart Data Engineering: Erfolgsfaktor für die digitale TransformationSmart Data Engineering: Erfolgsfaktor für die digitale Transformation
Smart Data Engineering: Erfolgsfaktor für die digitale Transformation
 
Deltek ehrt die Gewinner der Project Excellence Awards 2017
Deltek ehrt die Gewinner der Project Excellence Awards 2017Deltek ehrt die Gewinner der Project Excellence Awards 2017
Deltek ehrt die Gewinner der Project Excellence Awards 2017
 
20131203 11 pivotal_ wie_big_data_geschäftsmodelle_verändert
20131203 11 pivotal_ wie_big_data_geschäftsmodelle_verändert20131203 11 pivotal_ wie_big_data_geschäftsmodelle_verändert
20131203 11 pivotal_ wie_big_data_geschäftsmodelle_verändert
 
badenIT und psiori - Big Data Services | TDWI Schweiz 2017
badenIT und psiori - Big Data Services | TDWI Schweiz 2017badenIT und psiori - Big Data Services | TDWI Schweiz 2017
badenIT und psiori - Big Data Services | TDWI Schweiz 2017
 
Big Data Minds 2013 - Main PR
Big Data Minds 2013 - Main PRBig Data Minds 2013 - Main PR
Big Data Minds 2013 - Main PR
 

Andere mochten auch

SDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform
SDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der PlattformSDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform
SDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform
Smart Data Innovation Lab
 
Internet of things - 4/4. Providing Security
Internet of things - 4/4. Providing SecurityInternet of things - 4/4. Providing Security
Internet of things - 4/4. Providing Security
Sumanth Bhat
 
Smart Data Management
Smart Data ManagementSmart Data Management
Smart Data ManagementJanAppl
 
Internet of things - 2/4. The Challenges Ahead
Internet of things - 2/4. The Challenges AheadInternet of things - 2/4. The Challenges Ahead
Internet of things - 2/4. The Challenges Ahead
Sumanth Bhat
 
Sichere Cloud: Sicherheit in Cloud-Computing-Systemen (Umfrage des Fraunhofer...
Sichere Cloud: Sicherheit in Cloud-Computing-Systemen (Umfrage des Fraunhofer...Sichere Cloud: Sicherheit in Cloud-Computing-Systemen (Umfrage des Fraunhofer...
Sichere Cloud: Sicherheit in Cloud-Computing-Systemen (Umfrage des Fraunhofer...
Sabrina Lamberth-Cocca
 
Referenzmodelle für das Informationsmanagement in der Smart Factory
Referenzmodelle für das Informationsmanagement in der Smart FactoryReferenzmodelle für das Informationsmanagement in der Smart Factory
Referenzmodelle für das Informationsmanagement in der Smart Factory
Fabian Keller
 
Von Big Data zu Smart Data
Von Big Data zu Smart DataVon Big Data zu Smart Data
Von Big Data zu Smart Data
Andreas Blumauer
 
'Industrie 4.0' Security
'Industrie 4.0' Security 'Industrie 4.0' Security
'Industrie 4.0' Security
Erwin Hoffmann
 
Industrie 4.0 und die Auswirkungen auf die Instandhaltung (Vortrag auf den In...
Industrie 4.0 und die Auswirkungen auf die Instandhaltung (Vortrag auf den In...Industrie 4.0 und die Auswirkungen auf die Instandhaltung (Vortrag auf den In...
Industrie 4.0 und die Auswirkungen auf die Instandhaltung (Vortrag auf den In...
Georg Guentner
 
SDIC'16 - FusionInsight als Big-Data-Plattform - Eine Fallstudie aus der Tele...
SDIC'16 - FusionInsight als Big-Data-Plattform - Eine Fallstudie aus der Tele...SDIC'16 - FusionInsight als Big-Data-Plattform - Eine Fallstudie aus der Tele...
SDIC'16 - FusionInsight als Big-Data-Plattform - Eine Fallstudie aus der Tele...
Smart Data Innovation Lab
 
Security Issues of Cloud Computing
Security Issues of Cloud ComputingSecurity Issues of Cloud Computing
Security Issues of Cloud Computing
Falgun Rathod
 
Cloud Security - Security Aspects of Cloud Computing
Cloud Security - Security Aspects of Cloud ComputingCloud Security - Security Aspects of Cloud Computing
Cloud Security - Security Aspects of Cloud Computing
Jim Geovedi
 
Cloud security ppt
Cloud security pptCloud security ppt
Cloud security ppt
Venkatesh Chary
 
Whitepaper über IT-Sicherheit in Industrie 4.0 Projekten der DST consulting
Whitepaper über  IT-Sicherheit in Industrie 4.0 Projekten der DST consulting Whitepaper über  IT-Sicherheit in Industrie 4.0 Projekten der DST consulting
Whitepaper über IT-Sicherheit in Industrie 4.0 Projekten der DST consulting
Hans Peter Knaust
 
Big Data/Industrie 4.0
Big Data/Industrie 4.0Big Data/Industrie 4.0
Big Data/Industrie 4.0
BastianK
 

Andere mochten auch (15)

SDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform
SDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der PlattformSDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform
SDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform
 
Internet of things - 4/4. Providing Security
Internet of things - 4/4. Providing SecurityInternet of things - 4/4. Providing Security
Internet of things - 4/4. Providing Security
 
Smart Data Management
Smart Data ManagementSmart Data Management
Smart Data Management
 
Internet of things - 2/4. The Challenges Ahead
Internet of things - 2/4. The Challenges AheadInternet of things - 2/4. The Challenges Ahead
Internet of things - 2/4. The Challenges Ahead
 
Sichere Cloud: Sicherheit in Cloud-Computing-Systemen (Umfrage des Fraunhofer...
Sichere Cloud: Sicherheit in Cloud-Computing-Systemen (Umfrage des Fraunhofer...Sichere Cloud: Sicherheit in Cloud-Computing-Systemen (Umfrage des Fraunhofer...
Sichere Cloud: Sicherheit in Cloud-Computing-Systemen (Umfrage des Fraunhofer...
 
Referenzmodelle für das Informationsmanagement in der Smart Factory
Referenzmodelle für das Informationsmanagement in der Smart FactoryReferenzmodelle für das Informationsmanagement in der Smart Factory
Referenzmodelle für das Informationsmanagement in der Smart Factory
 
Von Big Data zu Smart Data
Von Big Data zu Smart DataVon Big Data zu Smart Data
Von Big Data zu Smart Data
 
'Industrie 4.0' Security
'Industrie 4.0' Security 'Industrie 4.0' Security
'Industrie 4.0' Security
 
Industrie 4.0 und die Auswirkungen auf die Instandhaltung (Vortrag auf den In...
Industrie 4.0 und die Auswirkungen auf die Instandhaltung (Vortrag auf den In...Industrie 4.0 und die Auswirkungen auf die Instandhaltung (Vortrag auf den In...
Industrie 4.0 und die Auswirkungen auf die Instandhaltung (Vortrag auf den In...
 
SDIC'16 - FusionInsight als Big-Data-Plattform - Eine Fallstudie aus der Tele...
SDIC'16 - FusionInsight als Big-Data-Plattform - Eine Fallstudie aus der Tele...SDIC'16 - FusionInsight als Big-Data-Plattform - Eine Fallstudie aus der Tele...
SDIC'16 - FusionInsight als Big-Data-Plattform - Eine Fallstudie aus der Tele...
 
Security Issues of Cloud Computing
Security Issues of Cloud ComputingSecurity Issues of Cloud Computing
Security Issues of Cloud Computing
 
Cloud Security - Security Aspects of Cloud Computing
Cloud Security - Security Aspects of Cloud ComputingCloud Security - Security Aspects of Cloud Computing
Cloud Security - Security Aspects of Cloud Computing
 
Cloud security ppt
Cloud security pptCloud security ppt
Cloud security ppt
 
Whitepaper über IT-Sicherheit in Industrie 4.0 Projekten der DST consulting
Whitepaper über  IT-Sicherheit in Industrie 4.0 Projekten der DST consulting Whitepaper über  IT-Sicherheit in Industrie 4.0 Projekten der DST consulting
Whitepaper über IT-Sicherheit in Industrie 4.0 Projekten der DST consulting
 
Big Data/Industrie 4.0
Big Data/Industrie 4.0Big Data/Industrie 4.0
Big Data/Industrie 4.0
 

Ähnlich wie SDIC'16 - Best Practices für Smart Data Projekte

Softwaretests in der Domäne modellgetriebener BI-Systeme
Softwaretests in der Domäne modellgetriebener BI-SystemeSoftwaretests in der Domäne modellgetriebener BI-Systeme
Softwaretests in der Domäne modellgetriebener BI-Systeme
Wirtschaftsinformatik an der TU Chemnitz
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
BATbern
 
Big Data Discovery + Analytics = Datengetriebene Innovation!
Big Data Discovery + Analytics = Datengetriebene Innovation!Big Data Discovery + Analytics = Datengetriebene Innovation!
Big Data Discovery + Analytics = Datengetriebene Innovation!
Harald Erb
 
BARC Was Datenmanagement Messbar Dazu Beitragen Kann
BARC Was Datenmanagement Messbar Dazu Beitragen KannBARC Was Datenmanagement Messbar Dazu Beitragen Kann
BARC Was Datenmanagement Messbar Dazu Beitragen Kann
DataValueTalk
 
worldiety GmbH - Datenanalyse
worldiety GmbH - Datenanalyse worldiety GmbH - Datenanalyse
worldiety GmbH - Datenanalyse
worldiety GmbH
 
BizDataX Testdatenmanagement Konzepte
BizDataX Testdatenmanagement KonzepteBizDataX Testdatenmanagement Konzepte
BizDataX Testdatenmanagement Konzepte
Dragan Kinkela
 
Michael Jäger (Techsoft), Dipl.-Ing. Bernd Kuntze (Franz Haas Waffel- und Kek...
Michael Jäger (Techsoft), Dipl.-Ing. Bernd Kuntze (Franz Haas Waffel- und Kek...Michael Jäger (Techsoft), Dipl.-Ing. Bernd Kuntze (Franz Haas Waffel- und Kek...
Michael Jäger (Techsoft), Dipl.-Ing. Bernd Kuntze (Franz Haas Waffel- und Kek...
Praxistage
 
Das und mas business analyst an der bfh
Das und mas business analyst an der bfhDas und mas business analyst an der bfh
Das und mas business analyst an der bfh
Arno Schmidhauser
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
OPITZ CONSULTING Deutschland
 
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Praxistage
 
TRANSCONNECT® als Integrationslayer in einem Master-Data-Management-Projekt (...
TRANSCONNECT® als Integrationslayer in einem Master-Data-Management-Projekt (...TRANSCONNECT® als Integrationslayer in einem Master-Data-Management-Projekt (...
TRANSCONNECT® als Integrationslayer in einem Master-Data-Management-Projekt (...
SQL Projekt AG
 
TDWI Buchprojekt: Data Governance - Problemfelder in der Umsetzung von BI-Pro...
TDWI Buchprojekt: Data Governance - Problemfelder in der Umsetzung von BI-Pro...TDWI Buchprojekt: Data Governance - Problemfelder in der Umsetzung von BI-Pro...
TDWI Buchprojekt: Data Governance - Problemfelder in der Umsetzung von BI-Pro...
Daniel Eiduzzis
 
Das geheime Leben einer Störmeldung
Das geheime Leben einer StörmeldungDas geheime Leben einer Störmeldung
Das geheime Leben einer Störmeldung
Georg Guentner
 
Data Governance - Data Performance Management
Data Governance - Data Performance ManagementData Governance - Data Performance Management
Data Governance - Data Performance Management
Marco Geuer
 
Datenqualitätsmanagement heute und morgen
Datenqualitätsmanagement heute und morgenDatenqualitätsmanagement heute und morgen
Datenqualitätsmanagement heute und morgenVizlib Ltd.
 
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
PROJECT CONSULT Unternehmensberatung Dr. Ulrich Kampffmeyer GmbH
 
Big Data Analytics Forum 2015: Wie gelingt der Schnellstart in die neue Infor...
Big Data Analytics Forum 2015: Wie gelingt der Schnellstart in die neue Infor...Big Data Analytics Forum 2015: Wie gelingt der Schnellstart in die neue Infor...
Big Data Analytics Forum 2015: Wie gelingt der Schnellstart in die neue Infor...
SAS in Deutschland, Österreich und der Schweiz
 
TOC Netzwerktagung - "HiSpeed Data Analytics"
TOC Netzwerktagung - "HiSpeed Data Analytics"TOC Netzwerktagung - "HiSpeed Data Analytics"
TOC Netzwerktagung - "HiSpeed Data Analytics"Marco Geuer
 

Ähnlich wie SDIC'16 - Best Practices für Smart Data Projekte (20)

Softwaretests in der Domäne modellgetriebener BI-Systeme
Softwaretests in der Domäne modellgetriebener BI-SystemeSoftwaretests in der Domäne modellgetriebener BI-Systeme
Softwaretests in der Domäne modellgetriebener BI-Systeme
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
 
Big Data Discovery + Analytics = Datengetriebene Innovation!
Big Data Discovery + Analytics = Datengetriebene Innovation!Big Data Discovery + Analytics = Datengetriebene Innovation!
Big Data Discovery + Analytics = Datengetriebene Innovation!
 
BARC Was Datenmanagement Messbar Dazu Beitragen Kann
BARC Was Datenmanagement Messbar Dazu Beitragen KannBARC Was Datenmanagement Messbar Dazu Beitragen Kann
BARC Was Datenmanagement Messbar Dazu Beitragen Kann
 
worldiety GmbH - Datenanalyse
worldiety GmbH - Datenanalyse worldiety GmbH - Datenanalyse
worldiety GmbH - Datenanalyse
 
BizDataX Testdatenmanagement Konzepte
BizDataX Testdatenmanagement KonzepteBizDataX Testdatenmanagement Konzepte
BizDataX Testdatenmanagement Konzepte
 
Michael Jäger (Techsoft), Dipl.-Ing. Bernd Kuntze (Franz Haas Waffel- und Kek...
Michael Jäger (Techsoft), Dipl.-Ing. Bernd Kuntze (Franz Haas Waffel- und Kek...Michael Jäger (Techsoft), Dipl.-Ing. Bernd Kuntze (Franz Haas Waffel- und Kek...
Michael Jäger (Techsoft), Dipl.-Ing. Bernd Kuntze (Franz Haas Waffel- und Kek...
 
Das und mas business analyst an der bfh
Das und mas business analyst an der bfhDas und mas business analyst an der bfh
Das und mas business analyst an der bfh
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
 
2010 09 29 13-30 michael gniffke
2010 09 29 13-30 michael gniffke2010 09 29 13-30 michael gniffke
2010 09 29 13-30 michael gniffke
 
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
 
TRANSCONNECT® als Integrationslayer in einem Master-Data-Management-Projekt (...
TRANSCONNECT® als Integrationslayer in einem Master-Data-Management-Projekt (...TRANSCONNECT® als Integrationslayer in einem Master-Data-Management-Projekt (...
TRANSCONNECT® als Integrationslayer in einem Master-Data-Management-Projekt (...
 
TDWI Buchprojekt: Data Governance - Problemfelder in der Umsetzung von BI-Pro...
TDWI Buchprojekt: Data Governance - Problemfelder in der Umsetzung von BI-Pro...TDWI Buchprojekt: Data Governance - Problemfelder in der Umsetzung von BI-Pro...
TDWI Buchprojekt: Data Governance - Problemfelder in der Umsetzung von BI-Pro...
 
Das geheime Leben einer Störmeldung
Das geheime Leben einer StörmeldungDas geheime Leben einer Störmeldung
Das geheime Leben einer Störmeldung
 
Data Governance - Data Performance Management
Data Governance - Data Performance ManagementData Governance - Data Performance Management
Data Governance - Data Performance Management
 
Datenqualitätsmanagement heute und morgen
Datenqualitätsmanagement heute und morgenDatenqualitätsmanagement heute und morgen
Datenqualitätsmanagement heute und morgen
 
Big Data und Business Intelligence
Big Data und Business IntelligenceBig Data und Business Intelligence
Big Data und Business Intelligence
 
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
 
Big Data Analytics Forum 2015: Wie gelingt der Schnellstart in die neue Infor...
Big Data Analytics Forum 2015: Wie gelingt der Schnellstart in die neue Infor...Big Data Analytics Forum 2015: Wie gelingt der Schnellstart in die neue Infor...
Big Data Analytics Forum 2015: Wie gelingt der Schnellstart in die neue Infor...
 
TOC Netzwerktagung - "HiSpeed Data Analytics"
TOC Netzwerktagung - "HiSpeed Data Analytics"TOC Netzwerktagung - "HiSpeed Data Analytics"
TOC Netzwerktagung - "HiSpeed Data Analytics"
 

SDIC'16 - Best Practices für Smart Data Projekte

  • 1. KIT – University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association Smart Data Innovation Lab www.kit.edu SDI-X 13.10.2016 Best Practices für Smart Data Projekte Dr.-Ing. Markus Scholz, Data Scientist SDSC-BW/SDIL KIT, TECO, Prof. Beigl, Markus.Scholz@kit.edu
  • 2. 2 SDI-X Motivation: Exponentiell wachsendes Datenvolumen soll zeitnah verarbeitet werden Ziel: Unterstützung datengetriebener Innovation in Forschung und Anwendung durch geeignete Best Practice-Prozesse Best Practice-Werkzeuge Best Practice-Betriebskonzepte Smart Data Innovation Lab (SDIL) Überblick (SDI-X)
  • 3. 3 SDI-X Effizient durchführbar Erzeugt belastbare Ergebnisse Ist nachvollziehbar / wartbar Ist reproduzierbar Smart Data Innovation Lab (SDIL) Best Practice-Prozesse I: Anforderungen an SD Analyse Ähnliche Anforderungen wie an Softwareentwicklung Anfang der 90iger
  • 4. 4 SDI-X Modelle für den Analyseprozess (z.B. CRISP-DM) Technische Handlungsempfehlungen auf Basis von Datencharakteristiken (z.B. Dimension vs. Datensätze) Technischen Fragestellungen (z.B. Anomaliedetektion) Tools für technische Aspekte der Analyse Integration Vorverarbeitung, Algorithmen, Online/Offline-Evaluation Dokumentation Versionierung Smart Data Innovation Lab (SDIL) Best Practice-Prozesse II: Werkzeuge für die Analyse
  • 5. 5 SDI-XSmart Data Innovation Lab (SDIL) Beispiel Prozess: CRISP-DM Datenanalyseprozess Allgemeine Vorgehensweise ohne spezifische Handlungsempfehlung (z.B. Was bedeutet „Data Preparation“ für eine bestimmte Fragestellung?)
  • 6. 6 SDI-XSmart Data Innovation Lab (SDIL) Beispiel techn. Best Practices: Azure Cheatsheet Domain-unabhängige, Datencharakteristik-bezogene techn. Empfehlungen
  • 7. 7 SDI-X Business Understanding Data Understanding ... Evaluation Smart Data Innovation Lab (SDIL) Mehrschichtige Sicht auf die Smart Data Analyse Technische Empfehlungen Analyseprozessmodell (CRISP-DM) Analyse-Entwurfsmuster für spezifische Problemstellung/Domäne Software Tools, Analysewerkzeuge SAP HANA IBM Watson SAG Terracotta Python, R, etc. Cheatsheets Tutorials Courses
  • 8. 8 SDI-X Business Understanding Data Understanding ... Evaluation Smart Data Innovation Lab (SDIL) Mehrschichtige Sicht auf die Smart Data Analyse SDI-X Technische Empfehlungen Analyseprozessmodell (CRISP-DM) Analyse-Entwurfsmuster gg. spezifische Problemstellung/Domäne Software Tools, Analysewerkzeuge SAP HANA IBM Watson SAG Terracotta Python, R, etc. Cheatsheets Tutorials Courses
  • 9. 9 SDI-X Analyse durchgeführter und laufender Projekte durch Fragebögen an Datenanalysten Konsolidierung der Datenanalysebögen Extraktion und Kategorisierung der Analysen  Entwicklung Analyse-Entwurfsmuster in Code und Dokumentation Analyse-Entwurfsmuster: Mehrschichtige und verzweigte Abbildungen des Analyseprozesses enthalten z.T. auch technische Handlungsempfehlungen Smart Data Innovation Lab (SDIL) Ansatz von SDI-X I
  • 10. 10 SDI-XSmart Data Innovation Lab (SDIL) Ansatz von SDI-X II
  • 11. 11 SDI-X Identifikation wichtiger Einflüsse auf eine Zielvariable (Einflüsse) Anwendung Beeinflussende Merkmale identifizieren Z.B. Merkmale die bei einer Auftragsverzögerung relevant sind Extraktion von Regeln für die Zielgröße (Regeln) Anwendung Wie ist der Einfluss der Merkmale auf die Zielgröße (Verständnis) Vorhersage einer Zielgröße Z.B. Wie wahrscheinlich ist die Kündigung eines Abos Intrinsische Datenstruktur ableiten (Struktur) Anwendung Unbekannte Zusammenhänge entdecken Z.B. Identifikation von Kundengruppen Ableitung von Prozessen (Prozesse) Z.B. Wie exakt werden Prozesse im Unternehmen umgesetzt Smart Data Innovation Lab (SDIL) Kategorisierung typ. Zielstellungen
  • 12. 12 SDI-X Best Practice-Process setzt sich zusammen aus nachvollziehbaren Einzelentscheidungen mit vordefinierten Berechnungschritten Smart Data Innovation Lab (SDIL) SDI-X Best-Practice Prozess – Work in Progress EinflüsseZielstellung Regeln Struktur Prozesse Anforderungen (aus Anwendung) Verarbeitungskette (Vorverarbeitung, Algorithmen, Evaluation + tech.Empfehlungen) … Hohe Genauigkeit Gute Interpretierbarkeit Onlineverfahren Methode 1 Methode 2 Methode 3 … Hohe Robustheit …
  • 13. 13 SDI-X SDI-X: Best-Practices für Smart Data Prozesse, Tools, Betrieb Heutige Smart Data Analyse hat ähnliche Herausforderung wie frühe SW-Entwicklung Z.B. dadurch dass Werkzeuge sehr allgemein gehalten sind Potential in Zielstellung-bezogenen Best-Practices („Smart Data Analyse Entwurfsmuster“) Umsetzung von Anforderungen an die Smart Data Analyse Schnellerer Transfer von Analyse-Knowhow Neue USP für existierende Analysesoftware Data Scientist wird effizienter aber nicht ersetzt Smart Data Innovation Lab (SDIL) Zusammenfassung und Schlussfolgerung
  • 14. 14 SDI-X DANKE FÜR IHRE AUFMERKSAMKEIT Dr.-Ing. Markus Scholz TECO/KIT Vincenz-Priessnitz-Str.1 76137 Karlsruhe 0721-608-41713 Markus.Scholz@kit.edu / scholz@teco.edu Smart Data Innovation Lab (SDIL)