1 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Fundedby
Big Data in der Fertigung und das SMART Data Projekt PRO-OPT
IT2Industry, München, 16.11.2016
Dr. Dirk Ortloff
2 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
 Firmenüberblick
 Status von Big Data
 Das SMART DATA Projekt PRO-OPT
 Ergebnisse im Bereich Traceability Drill Down & Root-Cause Analysis
 Zusammenfassung
Agenda
Picture from: https://commons.wikimedia.org/wiki/File:BigData_2267x1146_white.png
3 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Firmenüberblick
4 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Service Offering Portfolio
5 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Produktbereiche
6 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Status von Big Data
7 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Ist Big Data immer noch ein Hype?
Picture from: http://na2.www.gartner.com/imagesrv/newsroom/images/hype-cycle-pr.png;wada20fd4bd7891509
8 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Ist Big Data immer noch ein Hype?
Picture from: http://na1.www.gartner.com/imagesrv/newsroom/images/HC_ET_2014.jpg;wadf79d1c8397a49a2
9 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Ist Big Data immer noch ein Hype?
Picture from: http://na2.www.gartner.com/imagesrv/newsroom/images/emerging-tech-hc.png;wa0131df2b233dcd17
10 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Big Data Status
Big Data
Fast jeder mach irgendetwas mit
Big Data…
Picture from: https://commons.wikimedia.org/wiki/File:Peak_hour_traffic_in_melbourne.jpg
11 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Big Data Status
Aber alles ist eher
Firmenspezifisch und es sind
meist Insellösungen
Picture from: https://commons.wikimedia.org/wiki/File:Palau_archipelago.jpg
12 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Das SMART DATA Projekt PRO-OPT
13 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Das PRO-OPT Projekt
Projektstart 1.1.2015,
3 Jahre Laufzeit
www.pro-opt.org
14 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
15 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
16 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
ECU ECU ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECUECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
Gateway
17 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
ECU ECU ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECUECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU ECU
ECU
ECU
ECU
ECU
ECU
ECU
ECU
Gateway
18 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
19 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Komplexes
Produkt
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
Komplexes
Eco-System
20 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
Komplexes
Produkt
Komplexes
Eco-System
21 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
• ••
22 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
• ••
•••
•••
•••
•••
•••
•••
Problem
23 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Problem
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
• ••
24 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
Problem
25 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
§
§
26 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
§
§
27 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
28 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Herausforderungen: Zielkonflikt
GarantieforderungGarantieforderungGarantieforderung
Mehr Informationsaustausch in dieser Richtung erhöht evtl. die Rückerstattung
Mehr Informationsaustausch in dieser Richtung verringert evtl. die Rückerstattung
Beide Richtungen offenbaren Intellectual-Property
Widerspruch zu kurzfristigen Zielen aber langfristig im gemeinsamen Interesse
Zusammenarbeit
Steuergeräte-Lieferant Modul-Lieferant OEM-ProduktionTeile-Lieferant
29 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
30 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
31 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
32 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
Verteilte Analyse
33 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
Datenkatalog
34 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
Datennutzungskontrolle
35 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Die PRO-OPT Plattform – Architektur
Unternehmensübergreifende PRO-OPT Plattform
PRO-OPT Frontend
PRO-OPT API
PRO-OPT Bridge
Unternehmen 1
RDBMS
Cluster
PRO-OPT
Connector
Data
Catalogue
Decision
Event
Data
Quality
Unternehmen n
RDBMS
Cluster
PRO-OPT
Connector
Data
Catalogue
Decision
Event
Data
Quality
Datenfusion
Producer
Kettle
GUI
36 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Ergebnisse im Bereich Traceability Drill Down & Root-Cause
Analysis
37 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Traceability: Einordnung in die Unternehmensprozesse
37
SCM
Supply Chain
Management
ERP
Enterprise Resource
Planing
PLM
Product Lifecycle
Management
SCADA
Supervisory Control
And Data Acquisition
MES
• Produktionsfolge
• Produktionsauftrag
• Masterdaten
• Etc …
• Produktionsausbeute
• Qualitätsdaten
• WIP Status
• Etc …
• Kontrollparameter
• High-level Geschäftslogik
• Arbeitsanweisungen
• Etc …
• Prozess / Testergebnisse
• Maschinenstatus
• Materialverbrauch
• Etc ...
Prozess Sicht
38 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Wie Traceability funktioniert …
38
Work in
Progress (WIP)
10 20 30
Material Nachverfolgung & Überwachung
Chargen- und Seriennummern-Verfolgung
Monitoring des Durchsatzes, der Ausbeute und der Fehlerklassifikation
Validierung benutzter Materialien
Datenaustausch mit dem externen ERP System
39 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Der Blick in die andere Richtung
Werk 2
Werk 1
40 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Herausforderung
 Datenmengen wachsen enorm an
 Tabellen sind klassisch modelliert  viele Joins nötig
 Performanz mit wachsender Datenmenge extrem abnehmend
 Viele selektierte Datasets zu groß für Export & Analyse
Ziel: Schnelle Antworten aus Terabytes von Daten
Ansatz:
 Use Cases identifizieren (Potential Analysis)
 Query Based Modeling für Traceability mit
Cassandra NoSQL-DB
 Root-Cause Analyse & Visualisierung
Vorteil
 Durch Wide-Tables keine Joins mehr nötig
 Abfrage um Größenordnungen schneller
 Möglichkeit für neue Reports, neues Drill-Down
 Einfache Integration der Analyse
Traceability: Terabytes von Informationen und Daten
41 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Traceability Drill-Down & Root-Cause Analysis mit camLine Tools
Clusterr
Cassandra DB
Cornerstone
MLlib
„Machine
Learning library“
SparkR
DirekterZugrifffürkleinereDatenmengen
Cassandra DB
1
1
2
2
3
4
0
MS Excel
0
42 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Fazit:
 Query Based Modeling für Traceability -> Enormer Performance-Gewinn (Faktor 100+)
 Schnellere Erzeugung von Reports, schnellerer Drill-Down
 Ganz neue Reports möglich
Aber:
 Es bestehen auch (noch) diverse Einschränkungen der derzeitigen Technologien, ähnlich SQL in
den 90igern
 Enorme Datenreplikation
 Nur Queries auf „vorbereiteten“ Daten sind schnell (Ad hoc), andere Abfragen müssen erst durch
Batch Processing aufbereitet werden
  Es ist enorm wichtig, die möglichen Anfragen „Vorherzusehen“, um die Daten von Beginn an
richtig vorzuhalten
Lessons-Learned: Traceability – Drill-Down mit camLine Tools
43 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
• Erzeugung von Wide-tables mit >1000
Spalten wird unterstützt
• Erste grafische Übersicht über einen
großen Datensatz mit Standardanalysen
der Statistik
• Binning & Interaktives Brushing der
interessanten Regionen (Cluster,
Ausreißer)
• Vorhersage potentieller
Root-Cause Variablen
 Logistische Regression
 Bayesian Klassifikation
 Random Forest
Ergebnise Root-Cause Analysis & Visualisierung
Große
Regressionskoe
ffizienten
identifizieren
Slot1 als
möglichen
Root-cause
Confusion
Matrix zur
Prüfung der
Modellqualität
„brushed“
Heatmap Bins
44 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Zusammenfassung
45 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
• Big Data wird bleiben – nach Gartner ist Big Data im Markt angekommen
• Relationaler Modellierungsansatz funktioniert bei NoSQL Datenbanken nicht
 Performance kann dann viel schlechter sein
 Gewisse Operation wie Joins gibt es nicht oder sind extrem teuer
• Query based Modelling kann enorme Zeitgewinne bringen
(Faktor >100), auf Kosten des Speicherplatzes
• Man muss einige gewohnte Aspekte loslassen
ACID vs. CAP Theorem z.B. Eventual Consistency
• Entwicklung ist am Anfang eines ähnlichen Weges
wie im relationalen Modell
Neue Denkansätze
46 Big Data in der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
Thank you
camLine GmbH
Dr. Dirk Ortloff
Industriering 4a · 85238 Petershausen
T: +49 8137935-193
F: +49 8137935-235
dirk.ortloff@camline.com
www.camline.com

Big Data in der Fertigung und das Smart Data Projekt PRO-OPT

  • 1.
    1 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Fundedby Big Data in der Fertigung und das SMART Data Projekt PRO-OPT IT2Industry, München, 16.11.2016 Dr. Dirk Ortloff
  • 2.
    2 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017  Firmenüberblick  Status von Big Data  Das SMART DATA Projekt PRO-OPT  Ergebnisse im Bereich Traceability Drill Down & Root-Cause Analysis  Zusammenfassung Agenda Picture from: https://commons.wikimedia.org/wiki/File:BigData_2267x1146_white.png
  • 3.
    3 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Firmenüberblick
  • 4.
    4 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Service Offering Portfolio
  • 5.
    5 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Produktbereiche
  • 6.
    6 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Status von Big Data
  • 7.
    7 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Ist Big Data immer noch ein Hype? Picture from: http://na2.www.gartner.com/imagesrv/newsroom/images/hype-cycle-pr.png;wada20fd4bd7891509
  • 8.
    8 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Ist Big Data immer noch ein Hype? Picture from: http://na1.www.gartner.com/imagesrv/newsroom/images/HC_ET_2014.jpg;wadf79d1c8397a49a2
  • 9.
    9 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Ist Big Data immer noch ein Hype? Picture from: http://na2.www.gartner.com/imagesrv/newsroom/images/emerging-tech-hc.png;wa0131df2b233dcd17
  • 10.
    10 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Big Data Status Big Data Fast jeder mach irgendetwas mit Big Data… Picture from: https://commons.wikimedia.org/wiki/File:Peak_hour_traffic_in_melbourne.jpg
  • 11.
    11 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Big Data Status Aber alles ist eher Firmenspezifisch und es sind meist Insellösungen Picture from: https://commons.wikimedia.org/wiki/File:Palau_archipelago.jpg
  • 12.
    12 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Das SMART DATA Projekt PRO-OPT
  • 13.
    13 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Das PRO-OPT Projekt Projektstart 1.1.2015, 3 Jahre Laufzeit www.pro-opt.org
  • 14.
    14 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
  • 15.
    15 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
  • 16.
    16 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECUECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU Gateway
  • 17.
    17 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECUECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU ECU Gateway
  • 18.
    18 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017
  • 19.
    19 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Komplexes Produkt Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant Komplexes Eco-System
  • 20.
    20 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant Komplexes Produkt Komplexes Eco-System
  • 21.
    21 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant • ••
  • 22.
    22 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant • •• ••• ••• ••• ••• ••• ••• Problem
  • 23.
    23 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Problem Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant • ••
  • 24.
    24 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant Problem
  • 25.
    25 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant § §
  • 26.
    26 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant § §
  • 27.
    27 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
  • 28.
    28 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Herausforderungen: Zielkonflikt GarantieforderungGarantieforderungGarantieforderung Mehr Informationsaustausch in dieser Richtung erhöht evtl. die Rückerstattung Mehr Informationsaustausch in dieser Richtung verringert evtl. die Rückerstattung Beide Richtungen offenbaren Intellectual-Property Widerspruch zu kurzfristigen Zielen aber langfristig im gemeinsamen Interesse Zusammenarbeit Steuergeräte-Lieferant Modul-Lieferant OEM-ProduktionTeile-Lieferant
  • 29.
    29 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
  • 30.
    30 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
  • 31.
    31 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant
  • 32.
    32 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant Verteilte Analyse
  • 33.
    33 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant Datenkatalog
  • 34.
    34 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Steuergeräte-Lieferant Modul-Lieferant OEM-Produktion Weiterer LebenszyklusTeile-Lieferant Datennutzungskontrolle
  • 35.
    35 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Die PRO-OPT Plattform – Architektur Unternehmensübergreifende PRO-OPT Plattform PRO-OPT Frontend PRO-OPT API PRO-OPT Bridge Unternehmen 1 RDBMS Cluster PRO-OPT Connector Data Catalogue Decision Event Data Quality Unternehmen n RDBMS Cluster PRO-OPT Connector Data Catalogue Decision Event Data Quality Datenfusion Producer Kettle GUI
  • 36.
    36 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Ergebnisse im Bereich Traceability Drill Down & Root-Cause Analysis
  • 37.
    37 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Traceability: Einordnung in die Unternehmensprozesse 37 SCM Supply Chain Management ERP Enterprise Resource Planing PLM Product Lifecycle Management SCADA Supervisory Control And Data Acquisition MES • Produktionsfolge • Produktionsauftrag • Masterdaten • Etc … • Produktionsausbeute • Qualitätsdaten • WIP Status • Etc … • Kontrollparameter • High-level Geschäftslogik • Arbeitsanweisungen • Etc … • Prozess / Testergebnisse • Maschinenstatus • Materialverbrauch • Etc ... Prozess Sicht
  • 38.
    38 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Wie Traceability funktioniert … 38 Work in Progress (WIP) 10 20 30 Material Nachverfolgung & Überwachung Chargen- und Seriennummern-Verfolgung Monitoring des Durchsatzes, der Ausbeute und der Fehlerklassifikation Validierung benutzter Materialien Datenaustausch mit dem externen ERP System
  • 39.
    39 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Der Blick in die andere Richtung Werk 2 Werk 1
  • 40.
    40 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Herausforderung  Datenmengen wachsen enorm an  Tabellen sind klassisch modelliert  viele Joins nötig  Performanz mit wachsender Datenmenge extrem abnehmend  Viele selektierte Datasets zu groß für Export & Analyse Ziel: Schnelle Antworten aus Terabytes von Daten Ansatz:  Use Cases identifizieren (Potential Analysis)  Query Based Modeling für Traceability mit Cassandra NoSQL-DB  Root-Cause Analyse & Visualisierung Vorteil  Durch Wide-Tables keine Joins mehr nötig  Abfrage um Größenordnungen schneller  Möglichkeit für neue Reports, neues Drill-Down  Einfache Integration der Analyse Traceability: Terabytes von Informationen und Daten
  • 41.
    41 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Traceability Drill-Down & Root-Cause Analysis mit camLine Tools Clusterr Cassandra DB Cornerstone MLlib „Machine Learning library“ SparkR DirekterZugrifffürkleinereDatenmengen Cassandra DB 1 1 2 2 3 4 0 MS Excel 0
  • 42.
    42 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Fazit:  Query Based Modeling für Traceability -> Enormer Performance-Gewinn (Faktor 100+)  Schnellere Erzeugung von Reports, schnellerer Drill-Down  Ganz neue Reports möglich Aber:  Es bestehen auch (noch) diverse Einschränkungen der derzeitigen Technologien, ähnlich SQL in den 90igern  Enorme Datenreplikation  Nur Queries auf „vorbereiteten“ Daten sind schnell (Ad hoc), andere Abfragen müssen erst durch Batch Processing aufbereitet werden   Es ist enorm wichtig, die möglichen Anfragen „Vorherzusehen“, um die Daten von Beginn an richtig vorzuhalten Lessons-Learned: Traceability – Drill-Down mit camLine Tools
  • 43.
    43 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 • Erzeugung von Wide-tables mit >1000 Spalten wird unterstützt • Erste grafische Übersicht über einen großen Datensatz mit Standardanalysen der Statistik • Binning & Interaktives Brushing der interessanten Regionen (Cluster, Ausreißer) • Vorhersage potentieller Root-Cause Variablen  Logistische Regression  Bayesian Klassifikation  Random Forest Ergebnise Root-Cause Analysis & Visualisierung Große Regressionskoe ffizienten identifizieren Slot1 als möglichen Root-cause Confusion Matrix zur Prüfung der Modellqualität „brushed“ Heatmap Bins
  • 44.
    44 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Zusammenfassung
  • 45.
    45 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 • Big Data wird bleiben – nach Gartner ist Big Data im Markt angekommen • Relationaler Modellierungsansatz funktioniert bei NoSQL Datenbanken nicht  Performance kann dann viel schlechter sein  Gewisse Operation wie Joins gibt es nicht oder sind extrem teuer • Query based Modelling kann enorme Zeitgewinne bringen (Faktor >100), auf Kosten des Speicherplatzes • Man muss einige gewohnte Aspekte loslassen ACID vs. CAP Theorem z.B. Eventual Consistency • Entwicklung ist am Anfang eines ähnlichen Weges wie im relationalen Modell Neue Denkansätze
  • 46.
    46 Big Datain der Fertigung und das SMART Data Projekt PRO-OPT 17.11.2017 Thank you camLine GmbH Dr. Dirk Ortloff Industriering 4a · 85238 Petershausen T: +49 8137935-193 F: +49 8137935-235 dirk.ortloff@camline.com www.camline.com