SlideShare ist ein Scribd-Unternehmen logo
1 von 49
Andreas Koop
IT-Architekt, Berater,
Enabler
@andreaskoop
andreas.koop@enpit.de
VON BIG DATA ZU KÜNSTLICHER
INTELLIGENZ -
MASCHINELLES LERNEN AUF DEM
VORMARSCH
23.11.2017, DOAG, Nürnberg
 Founded in 07/2012, Team of Enablers
 Located in Paderborn, Germany
 Focused on IT Consulting, Architecture Training, Web
Development, UX / Innovation & Design Sprint
Workshops
 Current Tech: Docker, Angular, React, JET, Alexa SDK,
Cloud
 Industries: Banking, Automotive, Public Sector,2
ENPIT – ENABLE
PRAGMATIC IT
AGENDA
 Big Data, Künstliche Intelligenz (KI) &
Maschinelles Lernen (ML) verstehen
 ML / Deep Learning im Selbstversuch mit Tensorflow
 Tools / Plattformen
& Anwendung im Unternehmenskontext
 Fazit
23.11.2017, DOAG, Nürnberg 3
WAS IST BIG DATA?
Datenmengen, die zu groß, komplex, schnelllebig, schwach strukturiert
sind, um sie mit herkömmlichen Methoden auszuwerten!
https://de.wikipedia.org/wiki/Big_Data23.11.2017, DOAG, Nürnberg 4
WAS IST KÜNSTLICHE INTELLIGENZ
(KI)?
 Menschenähnliche Intelligenz, die in der Lage sind Aufgaben zu
lösen.
 Verschiedene Formen der KI:
 Schwache bzw. spezifische KI
 Starke bzw. Allgemeine KI
 Ab wann gilt eine Maschine als intelligent?
 Turing-Test: Ein Mensch kann nach längerer Konversation (z.B.
über einen Chat) nicht eindeutig feststellen, ob mit einem
Menschen oder einem Bot kommuniziert wurde.
23.11.2017, DOAG, Nürnberg 5
WIE GEWINNT MAN ERKENNTNISSE AUS
DATEN?
Data Mining - Suche nach
 Mustern / Zusammenhängen
 Aussagen ...
Vom Grundsatz durch
Mathematik und Algorithmen
 Lineare Algebra
 Wahrscheinlichkeitstheorie
 Graphentheorie
 ...
23.11.2017, DOAG, Nürnberg 6
WIE VERARBEITET MAN BIG DATA?
23.11.2017, DOAG, Nürnberg 7
VOM PROGRAMM ZUM LERNEN
Klassisches
Programm
Eingabedaten
Logik / Regeln
Ergebnis
Maschinelles
Lernen
Eingabedaten
Ergebnis
Logik / Regeln
Quelle: Deep Learning with Python Version 4
823.11.2017, DOAG, Nürnberg
ÜBERWACHTES LERNEN
Daten
“Lerne”
Gewichte, Faktoren,
Layer, anpassen etc.
Maschine
Learning
Modell
9
Feature Extraktion & Labeling
(Vorbereitung Trainingsdaten)
Kreis
Rechteck
Dreieck
(143, 54, 23..)
(25, 200, 42..)
(203, 34, 135..)
Rechteck
Ergebnis
(Klassifikation)
Neue
Daten
(24, 74, 234..)
Feature Extraktion Gelerntes Modell
anwenden
23.11.2017, DOAG, Nürnberg
ÜBERWACHTES ML AN EINEM EINFACHEN
BEISPIEL
PROBLEMSTELLUNG
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm München (20) 260.000 EUR
2014 60 qm Frankfurt (10) 180.000 EUR
2015 70 qm Paderborn (7) 160.000 EUR
Inspired by: https://medium.com/@ageitgey
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm Paderborn (7) ?? EUR
Referenzdaten
Das sind unsere
Trainingsdaten!
Preis Vorhersage
Wie hoch sollte der
Verkaufspreis sein?
1023.11.2017, DOAG, Nürnberg
ML AN EINEM EINFACHEN BEISPIEL
LÖSUNGSIDEE
func schaetzeVerkaufspreis(baujahr, flaeche, stadt) {
return baujahr * w1 + flaeche * w2 + stadt * w3 +b;
}
Baujahr Fläche Stadt Verkaufspreis Schätzung
2013 90 qm München (20) 260.000 EUR 240.000
2014 60 qm Frankfurt (10) 180.000 EUR 190.000
2015 70 qm Paderborn (7) 160.000 EUR 200.000
Abweichung (loss)
20.000
10.000
40.000
Summe
70.000
 Der Lernprozess besteht darin, iterativ
optimale Werte für w1 / w2 / w3 / b zu ermitteln,
um die Abweichung zu minimieren.
Starte mit zufälligen Werten für w1, w2, w3, b
1123.11.2017, DOAG, Nürnberg
LERNEN HEISST OPTIMIEREN
Eingabe: Baujahr, Fläche, Stadt
Starte mit zufälligen Werten für w1, w2, w3, b
FOR 1..100 (z.B.)
Berechne Abweichung auf Basis einer geeigneten Funktion
(Gradientenverfahren)
Passe Werte für w1, w2, w3, b an
Ergebnis: Optimale Werte für w1, w2, w3, b
1223.11.2017, DOAG, Nürnberg
ALS BERECHNUNGSGRAPH
MODELLIERT
Bau-
jahr
Flä-
che
Stadt
= Verkaufspreis
w1
w2
w3
+b
Eingabe Gewichte Ergebnis
13
KOMPLEXERE ANFORDERUNGEN LASSEN
SICH DURCH EIN KÜNSTLICH
NEURONALES NETZ ABBILDEN
Bau-
jahr
Flä-
che
Stadt
= Schätzung 2
w1,1
w2
w3,3
+b2
= Schätzung 3
= Schätzung 1w1,2
= Verkaufspreis
w1
w2
w3
+b
...
+b1
+b3
Tiefe eines Netzes
14
UNÜBERWACHTES LERNEN
Daten
“Lerne”
Gewichte, Faktoren,
Layer, anpassen etc.
Maschine
Learning
Modell
15
Feature Extraktion
(143, 54, 23..)
(25, 200, 42..)
(203, 34, 135..)
Ergebnis
(Clustering)
Neue
Daten
(24, 74, 234..)
Feature Extraktion Gelerntes Modell
anwenden
23.11.2017, DOAG, Nürnberg
WAS IST MACHINELLES LERNEN (ML)?
 Ermittlung von Regeln bzw. Funktionen aus Beispieldaten
 Ein ML-System wird in der Regel trainiert und nicht explizit
programmiert
 Verschiedene Arten
Machinellen Lernens
23.11.2017, DOAG, Nürnberg 16
Maschine Learning
Supervised Unsupervised Reinforcement
Klassifikation
Regression
Clustering Reaktion auf
Umgebung
EINORDNUNG VON KI, ML UND
DEEPLEARNING
Künstliche Intelligenz
Machine Learning
Deep Learning
1723.11.2017, DOAG, Nürnberg
AGENDA
 Big Data, Künstliche Intelligenz (KI) &
Maschinelles Lernen (ML) verstehen
 ML / Deep Learning im Selbstversuch mit Tensorflow
 Plattformen / Tools
& Anwendung im Unternehmenskontext
 Fazit
23.11.2017, DOAG, Nürnberg 18
MOTIVATION / CHALLENGE
Welche Bauprojekte
lassen sich mit den
vorliegenden
Steinen realisieren?
Welche Steine
fehlen noch?
19
LÖSUNGSIDEE
Lego-Steine fotographisch erfassen, erkennen und klassifizieren
Stein Anzahl
1x2 2
2x2 1
2x3 1
2x4 0
...
...
Bilderkennung
Wie bringen wir dem
System bei, Objekte zu
differenzieren?
20
GRUNDSÄTZLICHES VORGEHEN
 Trainingsdaten
gewinnen und vorbereiten
 Lernen – d.h. das mathematische
Model trainieren (Gewichte ermitteln)
 Anwenden – Das erlernte Model
auf neue Daten anwenden
Vorbereitung
Lernphase
Vorhersage
21
TRAININGSDATEN MÜSSEN VORBEREITET
WERDEN
“Labeln”
$ ffmpeg -i brick2x2.mov 
-vf fps=3 img%03d.jpg
brick2x2.mov
25-50 Bilder (JPG)
22
DEEP LEARNING FLOW
Z.B. 80%
Klassifizierte
Eingabedaten
Trainingsdaten
Validierungsdaten
“Lerne”
20%
Validiere
Parameter anpassen
etc.
Maschine
Learning
Modell
Ergebnis!
23
HEUTIGE LEARNING-MODELLE KÖNNEN
SEHR UMFANGREICH SEIN
Klassifizierung (Softmax)
Wir trainieren nur den
letzten Layer!Wir trainieren nur den
letzten Layer!
Hier könnte auch
aufgesetzt werden.
24
VORGEHENSWEISE TRAINING
Bilder
Beispiel
Deep
Learning
...
Klassifizierung (Softmax)
Label
1x2
2x2
2x3
2x4
...(Inception v3
Model, google)
...
Wir trainieren nur den
letzten Layer!
„Pre Trained Model“
State-of-the Art in 2017.
Alternativen: ResNet (MS)
....
0,91
0,04
0,03
0,02
25
ZUM LERNEN BRAUCHT ES FEEDBACK
...
Vorhersage Korrektes Ergebnis
loss
function
optimizer
Eingabe
Loss Score
Weights Weights
Aktualisiere
Weights
(Fehler Backpropagation)
...
26
LERN-METRIKEN JE
TRAININGSITERATION
 Training Accuracy: Wie viel Prozent der Trainingsdaten korrekt
klassifiziert.
 Validation Accuracy: „Wie viel Prozent der Validierungsdaten
korrekt klassifiziert“
 Cross Entropy / Loss: Auskunft über den Traingsfortschritt: Trend
sollte in „so klein wie möglich“ gehen.
2723.11.2017, DOAG, Nürnberg
DEMO
TRAININGSLAUF (250 ITERATIONEN)
29
TRAINING / VALIDATION ACCURACYNach 90 Iterationen tut
sich nicht mehr viel.
30
LOSS
Läuft gegen 0....
Sehr schön!
31
TEST (MIT NEUEN BILDERN)
Mit 73 % W‘keit
Mit 62,5 % W‘keit
32
TEST (MIT NEUEN BILDERN)
Mit 61 % W‘keit
Mit 65 % W‘keit
Am Beispiel von 4 trainierten Kategorien wurden neue Bilder von
Legosteinen jeweils korrekt klassifiziert
Um die W’keit zu erhöhen, bedarf es mehr Trainingsdaten
33
TEST (MIT BILDERN, FÜR DIE KEIN
TRAINING DURCHGEFÜHRT WURDE)
Alle W‘Keiten unter
50 %
Alle W‘Keiten unter
50 %
Alle W‘Keiten unter
50 %
34
AGENDA
 Big Data, Künstliche Intelligenz (KI) &
Maschinelles Lernen (ML) verstehen
 ML / Deep Learning im Selbstversuch mit Tensorflow
 Tools / Plattformen &
Anwendung im Unternehmenskontext
 Fazit
23.11.2017, DOAG, Nürnberg 35
-
LEAR
N
PHYTO
N
23.11.2017, DOAG, Nürnberg 36
AI / ML ÖKOSYSTEM
AI Services
37
AI / ML Plattformen
ML Frameworks
/ Toolkits
ML Infrastruktur CPU
GPU / TPU
Tensorflow
SparkML
Theano CNTK Keras
Amazon IBM MS Oracle
Storage IaaS...
Image
Recog.
Text
Recog.
Intell.
Bots ...
G
Caffe
...
Scikit
ANWENDUNGSBEISPIELE – HEUTE SCHON
STANDARD!
 SPAM-Erkennung
 Gesichtserkennung und Bildklassifikation (Facebook, Google,
Apple...)
 Spracherkennung, Übersetzung
 Objekterkennung für autonomes Fahren (Verkehrsschilder,
Hindernisse, Fahrspuren, etc.)
 Eingabevorschlag für Wörter
 ...
3823.11.2017, DOAG, Nürnberg
ORACLE INTELLIGENT BOT SERVICE
23.11.2017, DOAG, Nürnberg 39
AMAZON RECOGNITION API
http://docs.aws.amazon.com/rekognition/latest/dg/detect-faces-console.html
23.11.2017, DOAG, Nürnberg 40
ANWENDUNGSPOTENTIAL IM
UNTERNEHMENSKONTEXT
 Dokumentenanalyse (z.B. Verträge) und Klassifizierung
 Healthcare: Erkennung von Krankheitsbildern
 Erkennen von Verhaltensmuster im Support / Telefon (genervter Kunde etc.)
 Finance: Prüfung Kreditwürdigkeit, Investment-Strategien
 Ecommerce: Optimierung Conversion-Rate
 Smart City: Intelligente Verkehrssteuerung
 Produktion: Erkennung von Ereignismustern
 Konstruktion von Produkten – Neue Designs erfinden
41
FAZIT
TAKE AWAYS
42
PRINZIP
Z.B. Bilder, Text,
Ereignisse
Eingabedaten
Klassifikation
Regression
Maschine
Learning
Modell
Maschinenlernen heißt
– dieses Modell zu
trainieren!
43
Clustering
Supervised
Unsupervised
AUF DIE DATENQUALITÄT KOMMT ES
AN
4423.11.2017, DOAG, Nürnberg
Maschine
LearningGarbage in Garbage out
Bildquelle: Wikimedia Commons
UMGANG MIT ÄNDERUNGEN
Wie geht man mit Änderungen um, die das gelernte Modell ganz
plötzlich falsch erscheinen lassen?
4523.11.2017, DOAG, Nürnberg
§ gestern 
§ heute
§ gestern
FAZIT
 Maschinelles Lernen lässt Big Data erstrahlen
 Wer viele Daten hat, ist klar im Vorteil! (Facebook, Google, Apple
(Siri) ...)
 Auf Basis „vortrainierter“ Modelle schnelle Trainingserfolge
möglich!
 GPUs oder spezielle Prozessoren, z.B. TPUs (Tensor Processing
Units) sind für effizientes Lernen erforderlich
 Maschinelles Lernen ist per Cloud-Service einfach nutzbar -
Google, AWS, Azure, Oracle (demnächst)
46
VIELEN DANK
FÜR EURE
AUFMERKSAMKEIT!
FRAGEN?
Andreas Koop
IT-Architekt, Berater, Enabler
Twitter/
Medium@andreaskoop
Email andreas.koop@enpit.de
Blogs enpit.de/blog
medium.com/enpit-developer-blog
Code: https://github.com/enpit/tensorflow-for-lego
47
WIR SUCHEN DICH (M/W)
Ewelina Korbal
Per E-Mail an
bewerbung@enpit.de
enpit.de/karriere
IT-Architekten
UX-Designer
Product Owner
Full-Stack Developer
Frontend Developer
23.11.2017, DOAG, Nürnberg 48
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch

Weitere ähnliche Inhalte

Ähnlich wie Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch

Erp in der zukunft: über die funktionen hinaus
Erp in der zukunft: über die funktionen hinausErp in der zukunft: über die funktionen hinaus
Erp in der zukunft: über die funktionen hinausDedagroup
 
Namics & Adobe Industrie-Workshop "Be smart" vom 23.05.2017
Namics & Adobe Industrie-Workshop "Be smart" vom 23.05.2017Namics & Adobe Industrie-Workshop "Be smart" vom 23.05.2017
Namics & Adobe Industrie-Workshop "Be smart" vom 23.05.2017Namics – A Merkle Company
 
Cloud-native Apps - Architektur, Implementierung, Demo
Cloud-native Apps - Architektur, Implementierung, DemoCloud-native Apps - Architektur, Implementierung, Demo
Cloud-native Apps - Architektur, Implementierung, DemoAndreas Koop
 
Cloud-native Apps – Architektur, Implementierung, Demo
Cloud-native Apps – Architektur, Implementierung, DemoCloud-native Apps – Architektur, Implementierung, Demo
Cloud-native Apps – Architektur, Implementierung, Demoenpit GmbH & Co. KG
 
DNUG 36 2012_Konferenzbroschuere
DNUG 36 2012_KonferenzbroschuereDNUG 36 2012_Konferenzbroschuere
DNUG 36 2012_KonferenzbroschuereFriedel Jonker
 
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)data://disrupted®
 
Rethink! ITEM 2016 - Post Event Report
Rethink! ITEM 2016 - Post Event ReportRethink! ITEM 2016 - Post Event Report
Rethink! ITEM 2016 - Post Event ReportRamona Kohrs
 
Authoring Management
Authoring ManagementAuthoring Management
Authoring Managementvzimmermann
 
E-Commerce vs Architektur CodeTalks.Commerce_2018
E-Commerce vs Architektur CodeTalks.Commerce_2018E-Commerce vs Architektur CodeTalks.Commerce_2018
E-Commerce vs Architektur CodeTalks.Commerce_2018Johann-Peter Hartmann
 
OSMC 2023 | Bring IoT auf ein neues Level mit ThingsBoard by Holger Koch
OSMC 2023 | Bring IoT auf ein neues Level mit ThingsBoard by Holger KochOSMC 2023 | Bring IoT auf ein neues Level mit ThingsBoard by Holger Koch
OSMC 2023 | Bring IoT auf ein neues Level mit ThingsBoard by Holger KochNETWAYS
 
Deep Learning – The Future of AI
Deep Learning – The Future of AIDeep Learning – The Future of AI
Deep Learning – The Future of AIGroupeT2i
 
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...Wiiisdom
 
20200911 itelligence kk20_handout
20200911 itelligence kk20_handout20200911 itelligence kk20_handout
20200911 itelligence kk20_handoutHIRSCHTEC
 
Lernen der Zukunft
Lernen der ZukunftLernen der Zukunft
Lernen der ZukunftJochen Robes
 
Günzel/Griesbaum - Polycloud: Kann ein Vendor Lock-in Vorteile bringen?
Günzel/Griesbaum - Polycloud: Kann ein Vendor Lock-in Vorteile bringen?Günzel/Griesbaum - Polycloud: Kann ein Vendor Lock-in Vorteile bringen?
Günzel/Griesbaum - Polycloud: Kann ein Vendor Lock-in Vorteile bringen?Andreas Günzel
 
Machine Learning, AI, KI, Deep Learning und wo man es im PLM gebrauchen kann
Machine Learning, AI, KI, Deep Learning und wo man es im PLM gebrauchen kannMachine Learning, AI, KI, Deep Learning und wo man es im PLM gebrauchen kann
Machine Learning, AI, KI, Deep Learning und wo man es im PLM gebrauchen kannIntelliact AG
 

Ähnlich wie Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch (20)

Erp in der zukunft: über die funktionen hinaus
Erp in der zukunft: über die funktionen hinausErp in der zukunft: über die funktionen hinaus
Erp in der zukunft: über die funktionen hinaus
 
PromoMasters beim IT-Karrieretag 2016 in Salzburg
PromoMasters beim IT-Karrieretag 2016 in SalzburgPromoMasters beim IT-Karrieretag 2016 in Salzburg
PromoMasters beim IT-Karrieretag 2016 in Salzburg
 
Frameworks und Prozessoren
Frameworks und ProzessorenFrameworks und Prozessoren
Frameworks und Prozessoren
 
Namics & Adobe Industrie-Workshop "Be smart" vom 23.05.2017
Namics & Adobe Industrie-Workshop "Be smart" vom 23.05.2017Namics & Adobe Industrie-Workshop "Be smart" vom 23.05.2017
Namics & Adobe Industrie-Workshop "Be smart" vom 23.05.2017
 
Cloud-native Apps - Architektur, Implementierung, Demo
Cloud-native Apps - Architektur, Implementierung, DemoCloud-native Apps - Architektur, Implementierung, Demo
Cloud-native Apps - Architektur, Implementierung, Demo
 
Cloud-native Apps – Architektur, Implementierung, Demo
Cloud-native Apps – Architektur, Implementierung, DemoCloud-native Apps – Architektur, Implementierung, Demo
Cloud-native Apps – Architektur, Implementierung, Demo
 
DNUG 36 2012_Konferenzbroschuere
DNUG 36 2012_KonferenzbroschuereDNUG 36 2012_Konferenzbroschuere
DNUG 36 2012_Konferenzbroschuere
 
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
 
Rethink! ITEM 2016 - Post Event Report
Rethink! ITEM 2016 - Post Event ReportRethink! ITEM 2016 - Post Event Report
Rethink! ITEM 2016 - Post Event Report
 
Authoring Management
Authoring ManagementAuthoring Management
Authoring Management
 
E-Commerce vs Architektur CodeTalks.Commerce_2018
E-Commerce vs Architektur CodeTalks.Commerce_2018E-Commerce vs Architektur CodeTalks.Commerce_2018
E-Commerce vs Architektur CodeTalks.Commerce_2018
 
VDC Newsletter 2010-05
VDC Newsletter 2010-05VDC Newsletter 2010-05
VDC Newsletter 2010-05
 
OSMC 2023 | Bring IoT auf ein neues Level mit ThingsBoard by Holger Koch
OSMC 2023 | Bring IoT auf ein neues Level mit ThingsBoard by Holger KochOSMC 2023 | Bring IoT auf ein neues Level mit ThingsBoard by Holger Koch
OSMC 2023 | Bring IoT auf ein neues Level mit ThingsBoard by Holger Koch
 
Deep Learning – The Future of AI
Deep Learning – The Future of AIDeep Learning – The Future of AI
Deep Learning – The Future of AI
 
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
 
20200911 itelligence kk20_handout
20200911 itelligence kk20_handout20200911 itelligence kk20_handout
20200911 itelligence kk20_handout
 
Lernen der Zukunft
Lernen der ZukunftLernen der Zukunft
Lernen der Zukunft
 
Günzel/Griesbaum - Polycloud: Kann ein Vendor Lock-in Vorteile bringen?
Günzel/Griesbaum - Polycloud: Kann ein Vendor Lock-in Vorteile bringen?Günzel/Griesbaum - Polycloud: Kann ein Vendor Lock-in Vorteile bringen?
Günzel/Griesbaum - Polycloud: Kann ein Vendor Lock-in Vorteile bringen?
 
Dynamic linq
Dynamic linqDynamic linq
Dynamic linq
 
Machine Learning, AI, KI, Deep Learning und wo man es im PLM gebrauchen kann
Machine Learning, AI, KI, Deep Learning und wo man es im PLM gebrauchen kannMachine Learning, AI, KI, Deep Learning und wo man es im PLM gebrauchen kann
Machine Learning, AI, KI, Deep Learning und wo man es im PLM gebrauchen kann
 

Mehr von enpit GmbH & Co. KG

Client side webdevelopment with jet
Client side webdevelopment with jetClient side webdevelopment with jet
Client side webdevelopment with jetenpit GmbH & Co. KG
 
Best Practices für Last- und Performancetests von Enterprise Applikationen au...
Best Practices für Last- und Performancetests von Enterprise Applikationen au...Best Practices für Last- und Performancetests von Enterprise Applikationen au...
Best Practices für Last- und Performancetests von Enterprise Applikationen au...enpit GmbH & Co. KG
 
Agilität und Microservices als Chance für Modernisierung?
Agilität und Microservices als Chance für Modernisierung?Agilität und Microservices als Chance für Modernisierung?
Agilität und Microservices als Chance für Modernisierung?enpit GmbH & Co. KG
 
REST in Peace - Mit ORDS, Node.JS, ADF, Java oder OSB?
REST in Peace  - Mit ORDS, Node.JS, ADF, Java oder OSB?REST in Peace  - Mit ORDS, Node.JS, ADF, Java oder OSB?
REST in Peace - Mit ORDS, Node.JS, ADF, Java oder OSB?enpit GmbH & Co. KG
 
Modernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenModernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenenpit GmbH & Co. KG
 
Die 5 Mythen der Forms-Modernisierung
Die 5 Mythen der Forms-ModernisierungDie 5 Mythen der Forms-Modernisierung
Die 5 Mythen der Forms-Modernisierungenpit GmbH & Co. KG
 
Choice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
Choice-o-mat - Entscheidungshilfe für Oracles EntwicklungswerkzeugeChoice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
Choice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeugeenpit GmbH & Co. KG
 
Visualisierung von fachlichen Informationen mit Oracle ADF
Visualisierung von fachlichen Informationen mit Oracle ADFVisualisierung von fachlichen Informationen mit Oracle ADF
Visualisierung von fachlichen Informationen mit Oracle ADFenpit GmbH & Co. KG
 
WebCenter Portal - Integrate Custom taskflows
WebCenter Portal - Integrate Custom taskflowsWebCenter Portal - Integrate Custom taskflows
WebCenter Portal - Integrate Custom taskflowsenpit GmbH & Co. KG
 
Java WebApps und Services on Oracle Java Cloud Service
Java WebApps und Services on Oracle Java Cloud ServiceJava WebApps und Services on Oracle Java Cloud Service
Java WebApps und Services on Oracle Java Cloud Serviceenpit GmbH & Co. KG
 
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?enpit GmbH & Co. KG
 
Best Practices für Multi-Channel Application Development
Best Practices für Multi-Channel Application DevelopmentBest Practices für Multi-Channel Application Development
Best Practices für Multi-Channel Application Developmentenpit GmbH & Co. KG
 
Effective Blueprints for Forms 2 Oracle ADF
Effective Blueprints for Forms 2 Oracle ADFEffective Blueprints for Forms 2 Oracle ADF
Effective Blueprints for Forms 2 Oracle ADFenpit GmbH & Co. KG
 
Parkraumbewirtschaftung mit Oracle ADF Mobile?
Parkraumbewirtschaftung mit Oracle ADF Mobile?Parkraumbewirtschaftung mit Oracle ADF Mobile?
Parkraumbewirtschaftung mit Oracle ADF Mobile?enpit GmbH & Co. KG
 
Oracle Cloud verleiht ADF-Anwendungen Flügel
Oracle Cloud verleiht ADF-Anwendungen FlügelOracle Cloud verleiht ADF-Anwendungen Flügel
Oracle Cloud verleiht ADF-Anwendungen Flügelenpit GmbH & Co. KG
 
Continuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF ProjektenContinuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF Projektenenpit GmbH & Co. KG
 

Mehr von enpit GmbH & Co. KG (20)

Client side webdevelopment with jet
Client side webdevelopment with jetClient side webdevelopment with jet
Client side webdevelopment with jet
 
Best Practices für Last- und Performancetests von Enterprise Applikationen au...
Best Practices für Last- und Performancetests von Enterprise Applikationen au...Best Practices für Last- und Performancetests von Enterprise Applikationen au...
Best Practices für Last- und Performancetests von Enterprise Applikationen au...
 
Agilität und Microservices als Chance für Modernisierung?
Agilität und Microservices als Chance für Modernisierung?Agilität und Microservices als Chance für Modernisierung?
Agilität und Microservices als Chance für Modernisierung?
 
REST in Peace - Mit ORDS, Node.JS, ADF, Java oder OSB?
REST in Peace  - Mit ORDS, Node.JS, ADF, Java oder OSB?REST in Peace  - Mit ORDS, Node.JS, ADF, Java oder OSB?
REST in Peace - Mit ORDS, Node.JS, ADF, Java oder OSB?
 
WebLogic im Docker Container
WebLogic im Docker ContainerWebLogic im Docker Container
WebLogic im Docker Container
 
Modernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenModernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesen
 
Die 5 Mythen der Forms-Modernisierung
Die 5 Mythen der Forms-ModernisierungDie 5 Mythen der Forms-Modernisierung
Die 5 Mythen der Forms-Modernisierung
 
Was ist Docker?
Was ist Docker?Was ist Docker?
Was ist Docker?
 
Choice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
Choice-o-mat - Entscheidungshilfe für Oracles EntwicklungswerkzeugeChoice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
Choice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
 
Visualisierung von fachlichen Informationen mit Oracle ADF
Visualisierung von fachlichen Informationen mit Oracle ADFVisualisierung von fachlichen Informationen mit Oracle ADF
Visualisierung von fachlichen Informationen mit Oracle ADF
 
WebCenter Portal - Integrate Custom taskflows
WebCenter Portal - Integrate Custom taskflowsWebCenter Portal - Integrate Custom taskflows
WebCenter Portal - Integrate Custom taskflows
 
Java WebApps und Services on Oracle Java Cloud Service
Java WebApps und Services on Oracle Java Cloud ServiceJava WebApps und Services on Oracle Java Cloud Service
Java WebApps und Services on Oracle Java Cloud Service
 
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
 
Best Practices für Multi-Channel Application Development
Best Practices für Multi-Channel Application DevelopmentBest Practices für Multi-Channel Application Development
Best Practices für Multi-Channel Application Development
 
Gestern OWB, heute ODI
Gestern OWB, heute ODIGestern OWB, heute ODI
Gestern OWB, heute ODI
 
Effective Blueprints for Forms 2 Oracle ADF
Effective Blueprints for Forms 2 Oracle ADFEffective Blueprints for Forms 2 Oracle ADF
Effective Blueprints for Forms 2 Oracle ADF
 
Oracle WebLogic for DevOps
Oracle WebLogic for DevOpsOracle WebLogic for DevOps
Oracle WebLogic for DevOps
 
Parkraumbewirtschaftung mit Oracle ADF Mobile?
Parkraumbewirtschaftung mit Oracle ADF Mobile?Parkraumbewirtschaftung mit Oracle ADF Mobile?
Parkraumbewirtschaftung mit Oracle ADF Mobile?
 
Oracle Cloud verleiht ADF-Anwendungen Flügel
Oracle Cloud verleiht ADF-Anwendungen FlügelOracle Cloud verleiht ADF-Anwendungen Flügel
Oracle Cloud verleiht ADF-Anwendungen Flügel
 
Continuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF ProjektenContinuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF Projekten
 

Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch

  • 1. Andreas Koop IT-Architekt, Berater, Enabler @andreaskoop andreas.koop@enpit.de VON BIG DATA ZU KÜNSTLICHER INTELLIGENZ - MASCHINELLES LERNEN AUF DEM VORMARSCH 23.11.2017, DOAG, Nürnberg
  • 2.  Founded in 07/2012, Team of Enablers  Located in Paderborn, Germany  Focused on IT Consulting, Architecture Training, Web Development, UX / Innovation & Design Sprint Workshops  Current Tech: Docker, Angular, React, JET, Alexa SDK, Cloud  Industries: Banking, Automotive, Public Sector,2 ENPIT – ENABLE PRAGMATIC IT
  • 3. AGENDA  Big Data, Künstliche Intelligenz (KI) & Maschinelles Lernen (ML) verstehen  ML / Deep Learning im Selbstversuch mit Tensorflow  Tools / Plattformen & Anwendung im Unternehmenskontext  Fazit 23.11.2017, DOAG, Nürnberg 3
  • 4. WAS IST BIG DATA? Datenmengen, die zu groß, komplex, schnelllebig, schwach strukturiert sind, um sie mit herkömmlichen Methoden auszuwerten! https://de.wikipedia.org/wiki/Big_Data23.11.2017, DOAG, Nürnberg 4
  • 5. WAS IST KÜNSTLICHE INTELLIGENZ (KI)?  Menschenähnliche Intelligenz, die in der Lage sind Aufgaben zu lösen.  Verschiedene Formen der KI:  Schwache bzw. spezifische KI  Starke bzw. Allgemeine KI  Ab wann gilt eine Maschine als intelligent?  Turing-Test: Ein Mensch kann nach längerer Konversation (z.B. über einen Chat) nicht eindeutig feststellen, ob mit einem Menschen oder einem Bot kommuniziert wurde. 23.11.2017, DOAG, Nürnberg 5
  • 6. WIE GEWINNT MAN ERKENNTNISSE AUS DATEN? Data Mining - Suche nach  Mustern / Zusammenhängen  Aussagen ... Vom Grundsatz durch Mathematik und Algorithmen  Lineare Algebra  Wahrscheinlichkeitstheorie  Graphentheorie  ... 23.11.2017, DOAG, Nürnberg 6
  • 7. WIE VERARBEITET MAN BIG DATA? 23.11.2017, DOAG, Nürnberg 7
  • 8. VOM PROGRAMM ZUM LERNEN Klassisches Programm Eingabedaten Logik / Regeln Ergebnis Maschinelles Lernen Eingabedaten Ergebnis Logik / Regeln Quelle: Deep Learning with Python Version 4 823.11.2017, DOAG, Nürnberg
  • 9. ÜBERWACHTES LERNEN Daten “Lerne” Gewichte, Faktoren, Layer, anpassen etc. Maschine Learning Modell 9 Feature Extraktion & Labeling (Vorbereitung Trainingsdaten) Kreis Rechteck Dreieck (143, 54, 23..) (25, 200, 42..) (203, 34, 135..) Rechteck Ergebnis (Klassifikation) Neue Daten (24, 74, 234..) Feature Extraktion Gelerntes Modell anwenden 23.11.2017, DOAG, Nürnberg
  • 10. ÜBERWACHTES ML AN EINEM EINFACHEN BEISPIEL PROBLEMSTELLUNG Baujahr Fläche Stadt Verkaufspreis 2013 90 qm München (20) 260.000 EUR 2014 60 qm Frankfurt (10) 180.000 EUR 2015 70 qm Paderborn (7) 160.000 EUR Inspired by: https://medium.com/@ageitgey Baujahr Fläche Stadt Verkaufspreis 2013 90 qm Paderborn (7) ?? EUR Referenzdaten Das sind unsere Trainingsdaten! Preis Vorhersage Wie hoch sollte der Verkaufspreis sein? 1023.11.2017, DOAG, Nürnberg
  • 11. ML AN EINEM EINFACHEN BEISPIEL LÖSUNGSIDEE func schaetzeVerkaufspreis(baujahr, flaeche, stadt) { return baujahr * w1 + flaeche * w2 + stadt * w3 +b; } Baujahr Fläche Stadt Verkaufspreis Schätzung 2013 90 qm München (20) 260.000 EUR 240.000 2014 60 qm Frankfurt (10) 180.000 EUR 190.000 2015 70 qm Paderborn (7) 160.000 EUR 200.000 Abweichung (loss) 20.000 10.000 40.000 Summe 70.000  Der Lernprozess besteht darin, iterativ optimale Werte für w1 / w2 / w3 / b zu ermitteln, um die Abweichung zu minimieren. Starte mit zufälligen Werten für w1, w2, w3, b 1123.11.2017, DOAG, Nürnberg
  • 12. LERNEN HEISST OPTIMIEREN Eingabe: Baujahr, Fläche, Stadt Starte mit zufälligen Werten für w1, w2, w3, b FOR 1..100 (z.B.) Berechne Abweichung auf Basis einer geeigneten Funktion (Gradientenverfahren) Passe Werte für w1, w2, w3, b an Ergebnis: Optimale Werte für w1, w2, w3, b 1223.11.2017, DOAG, Nürnberg
  • 14. KOMPLEXERE ANFORDERUNGEN LASSEN SICH DURCH EIN KÜNSTLICH NEURONALES NETZ ABBILDEN Bau- jahr Flä- che Stadt = Schätzung 2 w1,1 w2 w3,3 +b2 = Schätzung 3 = Schätzung 1w1,2 = Verkaufspreis w1 w2 w3 +b ... +b1 +b3 Tiefe eines Netzes 14
  • 15. UNÜBERWACHTES LERNEN Daten “Lerne” Gewichte, Faktoren, Layer, anpassen etc. Maschine Learning Modell 15 Feature Extraktion (143, 54, 23..) (25, 200, 42..) (203, 34, 135..) Ergebnis (Clustering) Neue Daten (24, 74, 234..) Feature Extraktion Gelerntes Modell anwenden 23.11.2017, DOAG, Nürnberg
  • 16. WAS IST MACHINELLES LERNEN (ML)?  Ermittlung von Regeln bzw. Funktionen aus Beispieldaten  Ein ML-System wird in der Regel trainiert und nicht explizit programmiert  Verschiedene Arten Machinellen Lernens 23.11.2017, DOAG, Nürnberg 16 Maschine Learning Supervised Unsupervised Reinforcement Klassifikation Regression Clustering Reaktion auf Umgebung
  • 17. EINORDNUNG VON KI, ML UND DEEPLEARNING Künstliche Intelligenz Machine Learning Deep Learning 1723.11.2017, DOAG, Nürnberg
  • 18. AGENDA  Big Data, Künstliche Intelligenz (KI) & Maschinelles Lernen (ML) verstehen  ML / Deep Learning im Selbstversuch mit Tensorflow  Plattformen / Tools & Anwendung im Unternehmenskontext  Fazit 23.11.2017, DOAG, Nürnberg 18
  • 19. MOTIVATION / CHALLENGE Welche Bauprojekte lassen sich mit den vorliegenden Steinen realisieren? Welche Steine fehlen noch? 19
  • 20. LÖSUNGSIDEE Lego-Steine fotographisch erfassen, erkennen und klassifizieren Stein Anzahl 1x2 2 2x2 1 2x3 1 2x4 0 ... ... Bilderkennung Wie bringen wir dem System bei, Objekte zu differenzieren? 20
  • 21. GRUNDSÄTZLICHES VORGEHEN  Trainingsdaten gewinnen und vorbereiten  Lernen – d.h. das mathematische Model trainieren (Gewichte ermitteln)  Anwenden – Das erlernte Model auf neue Daten anwenden Vorbereitung Lernphase Vorhersage 21
  • 22. TRAININGSDATEN MÜSSEN VORBEREITET WERDEN “Labeln” $ ffmpeg -i brick2x2.mov -vf fps=3 img%03d.jpg brick2x2.mov 25-50 Bilder (JPG) 22
  • 23. DEEP LEARNING FLOW Z.B. 80% Klassifizierte Eingabedaten Trainingsdaten Validierungsdaten “Lerne” 20% Validiere Parameter anpassen etc. Maschine Learning Modell Ergebnis! 23
  • 24. HEUTIGE LEARNING-MODELLE KÖNNEN SEHR UMFANGREICH SEIN Klassifizierung (Softmax) Wir trainieren nur den letzten Layer!Wir trainieren nur den letzten Layer! Hier könnte auch aufgesetzt werden. 24
  • 25. VORGEHENSWEISE TRAINING Bilder Beispiel Deep Learning ... Klassifizierung (Softmax) Label 1x2 2x2 2x3 2x4 ...(Inception v3 Model, google) ... Wir trainieren nur den letzten Layer! „Pre Trained Model“ State-of-the Art in 2017. Alternativen: ResNet (MS) .... 0,91 0,04 0,03 0,02 25
  • 26. ZUM LERNEN BRAUCHT ES FEEDBACK ... Vorhersage Korrektes Ergebnis loss function optimizer Eingabe Loss Score Weights Weights Aktualisiere Weights (Fehler Backpropagation) ... 26
  • 27. LERN-METRIKEN JE TRAININGSITERATION  Training Accuracy: Wie viel Prozent der Trainingsdaten korrekt klassifiziert.  Validation Accuracy: „Wie viel Prozent der Validierungsdaten korrekt klassifiziert“  Cross Entropy / Loss: Auskunft über den Traingsfortschritt: Trend sollte in „so klein wie möglich“ gehen. 2723.11.2017, DOAG, Nürnberg
  • 28. DEMO
  • 30. TRAINING / VALIDATION ACCURACYNach 90 Iterationen tut sich nicht mehr viel. 30
  • 32. TEST (MIT NEUEN BILDERN) Mit 73 % W‘keit Mit 62,5 % W‘keit 32
  • 33. TEST (MIT NEUEN BILDERN) Mit 61 % W‘keit Mit 65 % W‘keit Am Beispiel von 4 trainierten Kategorien wurden neue Bilder von Legosteinen jeweils korrekt klassifiziert Um die W’keit zu erhöhen, bedarf es mehr Trainingsdaten 33
  • 34. TEST (MIT BILDERN, FÜR DIE KEIN TRAINING DURCHGEFÜHRT WURDE) Alle W‘Keiten unter 50 % Alle W‘Keiten unter 50 % Alle W‘Keiten unter 50 % 34
  • 35. AGENDA  Big Data, Künstliche Intelligenz (KI) & Maschinelles Lernen (ML) verstehen  ML / Deep Learning im Selbstversuch mit Tensorflow  Tools / Plattformen & Anwendung im Unternehmenskontext  Fazit 23.11.2017, DOAG, Nürnberg 35
  • 37. AI / ML ÖKOSYSTEM AI Services 37 AI / ML Plattformen ML Frameworks / Toolkits ML Infrastruktur CPU GPU / TPU Tensorflow SparkML Theano CNTK Keras Amazon IBM MS Oracle Storage IaaS... Image Recog. Text Recog. Intell. Bots ... G Caffe ... Scikit
  • 38. ANWENDUNGSBEISPIELE – HEUTE SCHON STANDARD!  SPAM-Erkennung  Gesichtserkennung und Bildklassifikation (Facebook, Google, Apple...)  Spracherkennung, Übersetzung  Objekterkennung für autonomes Fahren (Verkehrsschilder, Hindernisse, Fahrspuren, etc.)  Eingabevorschlag für Wörter  ... 3823.11.2017, DOAG, Nürnberg
  • 39. ORACLE INTELLIGENT BOT SERVICE 23.11.2017, DOAG, Nürnberg 39
  • 41. ANWENDUNGSPOTENTIAL IM UNTERNEHMENSKONTEXT  Dokumentenanalyse (z.B. Verträge) und Klassifizierung  Healthcare: Erkennung von Krankheitsbildern  Erkennen von Verhaltensmuster im Support / Telefon (genervter Kunde etc.)  Finance: Prüfung Kreditwürdigkeit, Investment-Strategien  Ecommerce: Optimierung Conversion-Rate  Smart City: Intelligente Verkehrssteuerung  Produktion: Erkennung von Ereignismustern  Konstruktion von Produkten – Neue Designs erfinden 41
  • 43. PRINZIP Z.B. Bilder, Text, Ereignisse Eingabedaten Klassifikation Regression Maschine Learning Modell Maschinenlernen heißt – dieses Modell zu trainieren! 43 Clustering Supervised Unsupervised
  • 44. AUF DIE DATENQUALITÄT KOMMT ES AN 4423.11.2017, DOAG, Nürnberg Maschine LearningGarbage in Garbage out Bildquelle: Wikimedia Commons
  • 45. UMGANG MIT ÄNDERUNGEN Wie geht man mit Änderungen um, die das gelernte Modell ganz plötzlich falsch erscheinen lassen? 4523.11.2017, DOAG, Nürnberg § gestern  § heute § gestern
  • 46. FAZIT  Maschinelles Lernen lässt Big Data erstrahlen  Wer viele Daten hat, ist klar im Vorteil! (Facebook, Google, Apple (Siri) ...)  Auf Basis „vortrainierter“ Modelle schnelle Trainingserfolge möglich!  GPUs oder spezielle Prozessoren, z.B. TPUs (Tensor Processing Units) sind für effizientes Lernen erforderlich  Maschinelles Lernen ist per Cloud-Service einfach nutzbar - Google, AWS, Azure, Oracle (demnächst) 46
  • 47. VIELEN DANK FÜR EURE AUFMERKSAMKEIT! FRAGEN? Andreas Koop IT-Architekt, Berater, Enabler Twitter/ Medium@andreaskoop Email andreas.koop@enpit.de Blogs enpit.de/blog medium.com/enpit-developer-blog Code: https://github.com/enpit/tensorflow-for-lego 47
  • 48. WIR SUCHEN DICH (M/W) Ewelina Korbal Per E-Mail an bewerbung@enpit.de enpit.de/karriere IT-Architekten UX-Designer Product Owner Full-Stack Developer Frontend Developer 23.11.2017, DOAG, Nürnberg 48

Hinweis der Redaktion

  1. Instead, focus on problems where a human could solve the problem, but where it would be great if a computer could solve it much more quickly.