SlideShare ist ein Scribd-Unternehmen logo
1 von 35
Andreas Koop
IT-Architekt, Berater, Enabler
@andreaskoop
andreas.koop@enpit.de
MIT LEGOSTEINEN
MASCHINELLES LERNEN LERNEN
22.09.2017, Kassel, Big Data Days
AGENDA
 Motivation / Challenge
 Maschinelles Lernen verstehen
 Erkennung von Lego-Steinen
 Beispiele im Unternehmenskontext
 Fazit
322.09.2017, Kassel, Big Data Days
DIE TYPISCHE MACHINE LEARNING (ML)
EINFÜHRUNG
k-Nearest Neighbor (kNN)
Learning Vector Quantization (LVQ)
Self-Organizing Map (SOM)
Locally Weighted Learning (LWL)
C4.5 and C5.0 (different versions of a powerful
approach)
Chi-squared Automatic Interaction Detection
(CHAID)
Naive Bayes
k-Means
Convolutional Neural Network (CNN)
Arten des ML
 Supervised Learning
 Unsupervised Learning
 Semi-Supervised Learning
 Deep Learning
 Reinforcement Learning
Algorithmen
 Dieser Vortrag versucht einen spielerischen Einstieg!
422.09.2017, Kassel, Big Data Days
MOTIVATION / CHALLENGE
Welche Bauprojekte
lassen sich mit den
vorliegenden
Steinen realisieren?
Welche Steine
fehlen noch?
522.09.2017, Kassel, Big Data Days
LÖSUNGSIDEE
Lego-Steine fotographisch erfassen, erkennen und klassifizieren
Stein Anzahl
1x2 2
2x2 1
2x3 1
2x4 0
...
...
Bilderkennung
Wie bringen wir dem
System bei, Objekte zu
differenzieren?
622.09.2017, Kassel, Big Data Days
VOM PROGRAMM ZUM LERNEN
Klassisches
Programm
Eingabedaten
Logik / Regeln
Ergebnis
Maschinelles
Lernen
Eingabedaten
Ergebnis
Logik / Regeln
Quelle: Deep Learning with Python Version 4
722.09.2017, Kassel, Big Data Days
ML AN EINEM EINFACHEN BEISPIEL
PROBLEMSTELLUNG
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm München (20) 260.000 EUR
2014 60 qm Frankfurt (10) 180.000 EUR
2015 70 qm Paderborn (7) 160.000 EUR
Inspired by: https://medium.com/@ageitgey
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm Paderborn (7) ?? EUR
Referenzdaten
Das sind unsere
Trainingsdaten!
Preis Vorhersage
Wie hoch sollte der
Verkaufspreis sein?
822.09.2017, Kassel, Big Data Days
ML AN EINEM EINFACHEN BEISPIEL
LÖSUNGSIDEE
func schaetzeVerkaufspreis(baujahr, flaeche, stadt) {
return baujahr * w1 + flaeche * w2 + stadt * w3 +b;
}
Baujahr Fläche Stadt Verkaufspreis Schätzung
2013 90 qm München (20) 260.000 EUR 240.000
2014 60 qm Frankfurt (10) 180.000 EUR 190.000
2015 70 qm Paderborn (7) 160.000 EUR 200.000
Abweichung (loss)
20.000
10.000
40.000
Summe
70.000
 Der Lernprozess besteht darin, iterativ
optimale Werte für w1 / w2 / w3 / b zu ermitteln,
um die Abweichung zu minimieren.
Starte mit zufälligen Werten für w1, w2, w3, b
922.09.2017, Kassel, Big Data Days
LERNEN HEISST RECHNEN
Eingabe: Baujahr, Fläche, Stadt
Starte mit zufälligen Werten für w1, w2, w3, b
FOR 1..100 (z.B.)
Berechne Abweichung auf Basis einer geeigneten Funktion
(Gradientenverfahren)
Passe Werte für w1, w2, w3, b an
Ergebnis: Optimale Werte für w1, w2, w3, b
1022.09.2017, Kassel, Big Data Days
ALS BERECHNUNGSGRAPH
MODELLIERT
Bau-
jahr
Flä-
che
Stadt
= Verkaufspreis
w1
w2
w3
+b
Eingabe Gewichte Ergebnis
1122.09.2017, Kassel, Big Data Days
KOMPLEXERE ANFORDERUNGEN LASSEN
SICH DURCH EIN KÜNSTLICH
NEURONALES NETZ ABBILDEN
Bau-
jahr
Flä-
che
Stadt
= Schätzung 2
w1,1
w2
w3,3
+b2
= Schätzung 3
= Schätzung 1w1,2
= Verkaufspreis
w1
w2
w3
+b
...
+b1
+b3
Tiefe eines Netzes
1222.09.2017, Kassel, Big Data Days
EINORDNUNG VON KI, ML UND
DEEPLEARNING
Künstliche Intelligenz
Machine Learning
Deep Learning
13
AGENDA
 Motivation / Challenge
 Maschinelles Lernen verstehen
 Erkennung von Lego-Steinen
 Beispiele im Unternehmenskontext
 Fazit
1422.09.2017, Kassel, Big Data Days
„LEARNING FLOW“
 Trainingsdaten
gewinnen und vorbereiten
 Lernen – d.h. das mathematische
Model trainieren (Gewichte ermitteln)
 Anwenden – Das erlernte Model
auf neue Daten anwenden
Vorbereitung
Lernphase
Vorhersage
Trainingsdaten
& Validierungsdaten
1522.09.2017, Kassel, Big Data Days
TRAININGSDATEN MÜSSEN VORBEREITET
WERDEN
“Labeln”
$ ffmpeg -i brick2x2.mov 
-vf fps=3 img%03d.jpg
brick2x2.mov
25-50 Bilder (JPG)
1622.09.2017, Kassel, Big Data Days
DEEP LEARNING FLOW
Z.B. 80%
Klassifizierte
Eingabedaten
Trainingsdaten
Validierungsdaten
“Lerne”
20%
Validiere
Parameter anpassen
etc.
Maschine
Learning
Modell
Ergebnis!
1722.09.2017, Kassel, Big Data Days
VORGEHENSWEISE TRAINING
Bilder
Beispiel
Deep
Learning
...
Klassifizierung (Softmax)
Label
1x2
2x2
2x3
2x4
...(Inception v3
Model, google)
...
Wir trainieren nur den
letzten Layer!
„Pre Trained Model“
State-of-the Art in 2017.
Alternativen: ResNet (MS)
....
0,91
0,04
0,03
0,02
1822.09.2017, Kassel, Big Data Days
HEUTIGE LEARNING-MODELLE KÖNNEN
SEHR UMFANGREICH SEIN
Klassifizierung (Softmax)
Wir trainieren nur den
letzten Layer!Wir trainieren nur den
letzten Layer!
Hier könnte auch
aufgesetzt werden.
1922.09.2017, Kassel, Big Data Days
ZUM LERNEN BRAUCHT ES FEEDBACK
...
Vorhersage Korrektes Ergebnis
loss
function
optimizer
Eingabe
Loss Score
Weights Weights
Aktualisiere
Weights
(Fehler Backpropagation)
...
2022.09.2017, Kassel, Big Data Days
LERN-METRIKEN JE
TRAININGSITERATION
 Training Accuracy: Wie viel Prozent der Trainingsdaten korrekt
klassifiziert.
 Validation Accuracy: „Wie viel Prozent der Validierungsdaten
korrekt klassifiziert“
 Cross Entropy / Loss: Auskunft über den Traingsfortschritt: Trend
sollte in „so klein wie möglich“ gehen.
2122.09.2017, Kassel, Big Data Days
DEMO
2222.09.2017, Kassel, Big Data Days
TRAININGSLAUF (250 ITERATIONEN)
2322.09.2017, Kassel, Big Data Days
TRAINING / VALIDATION ACCURACYNach 90 Iterationen tut
sich nicht mehr viel.
2422.09.2017, Kassel, Big Data Days
LOSS
Läuft gegen 0....
Sehr schön!
2522.09.2017, Kassel, Big Data Days
TEST (MIT NEUEN BILDERN)
Mit 73 % W‘keit
Mit 62,5 % W‘keit
2622.09.2017, Kassel, Big Data Days
TEST (MIT NEUEN BILDERN)
Mit 61 % W‘keit
Mit 65 % W‘keit
Am Beispiel von 4 trainierten Kategorien wurden neue Bilder von
Legosteinen jeweils korrekt klassifiziert
Um die W’keit zu erhöhen, bedarf es mehr Trainingsdaten
2722.09.2017, Kassel, Big Data Days
TEST (MIT BILDERN, FÜR DIE KEIN
TRAINING DURCHGEFÜHRT WURDE)
Alle W‘Keiten unter
50 %
Alle W‘Keiten unter
50 %
Alle W‘Keiten unter
50 %
2822.09.2017, Kassel, Big Data Days
AGENDA
 Motivation / Challenge
 Maschinelles Lernen verstehen
 Erkennung von Lego-Steinen
 Beispiele im Unternehmenskontext
 Fazit
2922.09.2017, Kassel, Big Data Days
TAKE AWAYS
30
PRINZIP
Kategorie A
Z.B. Bilder, Text,
Ereignisse
Eingabedaten
Kategorie B
Kategorie C
...
Maschine
Learning
Modell
Maschinenlernen heißt
– dieses Modell zu
trainieren!
3122.09.2017, Kassel, Big Data Days
ANWENDUNGSBEISPIELE – HEUTE SCHON
STANDARD!
 SPAM-Erkennung
 Gesichtserkennung und Bildklassifikation (Facebook, Google,
Apple...)
 Spracherkennung, Übersetzung
 Objekterkennung für autonomes Fahren (Verkehrsschilder,
Hindernisse, Fahrspuren, etc.)
 Eingabevorschlag für Wörter
 ...
3222.09.2017, Kassel, Big Data Days
ANWENDUNGSPOTENTIAL IM
UNTERNEHMENSKONTEXT
 Dokumentenanalyse (z.B. Verträge) und Klassifizierung
 Healthcare: Erkennung von Krankheitsbildern
 Finance: Prüfung Kreditwürdigkeit, Investment-Strategien
 Ecommerce: Optimierung Conversion-Rate
 Smart City: Intelligente Verkehrssteuerung
 Produktion: Erkennung von Ereignismuster
 Erkennen von Verhaltensmuster im Support / Telefon (genervter Kunde etc.)
 Konstruktion von Produkten – Neue Designs erfinden
3322.09.2017, Kassel, Big Data Days
FAZIT
 Wer viele Daten hat, ist klar im Vorteil! (Facebook, Google, Apple
(Siri) ...)
 Auf Basis „vortrainierter“ Modelle schnelle Trainingserfolge
möglich!
 GPUs oder spezielle Prozessoren, z.B. TPUs (Tensor Processing
Units) sind für effizientes Lernen erforderlich
 Maschinelles Lernen ist per Cloud-Service einfach nutzbar -
Google, AWS, Azure, Oracle
3422.09.2017, Kassel, Big Data Days
VIELEN DANK
FÜR EURE
AUFMERKSAMKEIT!
FRAGEN?
Andreas Koop
IT-Architekt, Berater, Enabler
Twitter/
Medium@andreaskoop
Email andreas.koop@enpit.de
Blogs enpit.de/blog
medium.com/enpit-developer-blog
Code: https://github.com/enpit/tensorflow-for-lego
3522.09.2017, Kassel, Big Data Days
Mit Legosteinen Maschinelles Lernen lernen

Weitere ähnliche Inhalte

Mehr von enpit GmbH & Co. KG

Modernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenModernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenenpit GmbH & Co. KG
 
Die 5 Mythen der Forms-Modernisierung
Die 5 Mythen der Forms-ModernisierungDie 5 Mythen der Forms-Modernisierung
Die 5 Mythen der Forms-Modernisierungenpit GmbH & Co. KG
 
Choice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
Choice-o-mat - Entscheidungshilfe für Oracles EntwicklungswerkzeugeChoice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
Choice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeugeenpit GmbH & Co. KG
 
Visualisierung von fachlichen Informationen mit Oracle ADF
Visualisierung von fachlichen Informationen mit Oracle ADFVisualisierung von fachlichen Informationen mit Oracle ADF
Visualisierung von fachlichen Informationen mit Oracle ADFenpit GmbH & Co. KG
 
WebCenter Portal - Integrate Custom taskflows
WebCenter Portal - Integrate Custom taskflowsWebCenter Portal - Integrate Custom taskflows
WebCenter Portal - Integrate Custom taskflowsenpit GmbH & Co. KG
 
Java WebApps und Services on Oracle Java Cloud Service
Java WebApps und Services on Oracle Java Cloud ServiceJava WebApps und Services on Oracle Java Cloud Service
Java WebApps und Services on Oracle Java Cloud Serviceenpit GmbH & Co. KG
 
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?enpit GmbH & Co. KG
 
Best Practices für Multi-Channel Application Development
Best Practices für Multi-Channel Application DevelopmentBest Practices für Multi-Channel Application Development
Best Practices für Multi-Channel Application Developmentenpit GmbH & Co. KG
 
Effective Blueprints for Forms 2 Oracle ADF
Effective Blueprints for Forms 2 Oracle ADFEffective Blueprints for Forms 2 Oracle ADF
Effective Blueprints for Forms 2 Oracle ADFenpit GmbH & Co. KG
 
Parkraumbewirtschaftung mit Oracle ADF Mobile?
Parkraumbewirtschaftung mit Oracle ADF Mobile?Parkraumbewirtschaftung mit Oracle ADF Mobile?
Parkraumbewirtschaftung mit Oracle ADF Mobile?enpit GmbH & Co. KG
 
Oracle Cloud verleiht ADF-Anwendungen Flügel
Oracle Cloud verleiht ADF-Anwendungen FlügelOracle Cloud verleiht ADF-Anwendungen Flügel
Oracle Cloud verleiht ADF-Anwendungen Flügelenpit GmbH & Co. KG
 
Continuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF ProjektenContinuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF Projektenenpit GmbH & Co. KG
 
ADF Software Factory - Software aus der Werkstatt
ADF Software Factory - Software aus der WerkstattADF Software Factory - Software aus der Werkstatt
ADF Software Factory - Software aus der Werkstattenpit GmbH & Co. KG
 
Deployment Best Practices on WebLogic Server (DOAG IMC Summit 2013)
Deployment Best Practices on WebLogic Server (DOAG IMC Summit 2013)Deployment Best Practices on WebLogic Server (DOAG IMC Summit 2013)
Deployment Best Practices on WebLogic Server (DOAG IMC Summit 2013)enpit GmbH & Co. KG
 
WepApps mit Play! - Nichts leichter als das
WepApps mit Play! - Nichts leichter als dasWepApps mit Play! - Nichts leichter als das
WepApps mit Play! - Nichts leichter als dasenpit GmbH & Co. KG
 
ADF User Interface Design Best Practices
ADF User Interface Design Best PracticesADF User Interface Design Best Practices
ADF User Interface Design Best Practicesenpit GmbH & Co. KG
 

Mehr von enpit GmbH & Co. KG (20)

WebLogic im Docker Container
WebLogic im Docker ContainerWebLogic im Docker Container
WebLogic im Docker Container
 
Modernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenModernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesen
 
Die 5 Mythen der Forms-Modernisierung
Die 5 Mythen der Forms-ModernisierungDie 5 Mythen der Forms-Modernisierung
Die 5 Mythen der Forms-Modernisierung
 
Was ist Docker?
Was ist Docker?Was ist Docker?
Was ist Docker?
 
Choice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
Choice-o-mat - Entscheidungshilfe für Oracles EntwicklungswerkzeugeChoice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
Choice-o-mat - Entscheidungshilfe für Oracles Entwicklungswerkzeuge
 
Visualisierung von fachlichen Informationen mit Oracle ADF
Visualisierung von fachlichen Informationen mit Oracle ADFVisualisierung von fachlichen Informationen mit Oracle ADF
Visualisierung von fachlichen Informationen mit Oracle ADF
 
WebCenter Portal - Integrate Custom taskflows
WebCenter Portal - Integrate Custom taskflowsWebCenter Portal - Integrate Custom taskflows
WebCenter Portal - Integrate Custom taskflows
 
Java WebApps und Services on Oracle Java Cloud Service
Java WebApps und Services on Oracle Java Cloud ServiceJava WebApps und Services on Oracle Java Cloud Service
Java WebApps und Services on Oracle Java Cloud Service
 
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
Rapid Application Development (RAD) im Enterprise - Quo vadis Portal?
 
Best Practices für Multi-Channel Application Development
Best Practices für Multi-Channel Application DevelopmentBest Practices für Multi-Channel Application Development
Best Practices für Multi-Channel Application Development
 
Gestern OWB, heute ODI
Gestern OWB, heute ODIGestern OWB, heute ODI
Gestern OWB, heute ODI
 
Effective Blueprints for Forms 2 Oracle ADF
Effective Blueprints for Forms 2 Oracle ADFEffective Blueprints for Forms 2 Oracle ADF
Effective Blueprints for Forms 2 Oracle ADF
 
Oracle WebLogic for DevOps
Oracle WebLogic for DevOpsOracle WebLogic for DevOps
Oracle WebLogic for DevOps
 
Parkraumbewirtschaftung mit Oracle ADF Mobile?
Parkraumbewirtschaftung mit Oracle ADF Mobile?Parkraumbewirtschaftung mit Oracle ADF Mobile?
Parkraumbewirtschaftung mit Oracle ADF Mobile?
 
Oracle Cloud verleiht ADF-Anwendungen Flügel
Oracle Cloud verleiht ADF-Anwendungen FlügelOracle Cloud verleiht ADF-Anwendungen Flügel
Oracle Cloud verleiht ADF-Anwendungen Flügel
 
Continuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF ProjektenContinuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF Projekten
 
ADF Software Factory - Software aus der Werkstatt
ADF Software Factory - Software aus der WerkstattADF Software Factory - Software aus der Werkstatt
ADF Software Factory - Software aus der Werkstatt
 
Deployment Best Practices on WebLogic Server (DOAG IMC Summit 2013)
Deployment Best Practices on WebLogic Server (DOAG IMC Summit 2013)Deployment Best Practices on WebLogic Server (DOAG IMC Summit 2013)
Deployment Best Practices on WebLogic Server (DOAG IMC Summit 2013)
 
WepApps mit Play! - Nichts leichter als das
WepApps mit Play! - Nichts leichter als dasWepApps mit Play! - Nichts leichter als das
WepApps mit Play! - Nichts leichter als das
 
ADF User Interface Design Best Practices
ADF User Interface Design Best PracticesADF User Interface Design Best Practices
ADF User Interface Design Best Practices
 

Mit Legosteinen Maschinelles Lernen lernen

  • 1. Andreas Koop IT-Architekt, Berater, Enabler @andreaskoop andreas.koop@enpit.de MIT LEGOSTEINEN MASCHINELLES LERNEN LERNEN 22.09.2017, Kassel, Big Data Days
  • 2. AGENDA  Motivation / Challenge  Maschinelles Lernen verstehen  Erkennung von Lego-Steinen  Beispiele im Unternehmenskontext  Fazit 322.09.2017, Kassel, Big Data Days
  • 3. DIE TYPISCHE MACHINE LEARNING (ML) EINFÜHRUNG k-Nearest Neighbor (kNN) Learning Vector Quantization (LVQ) Self-Organizing Map (SOM) Locally Weighted Learning (LWL) C4.5 and C5.0 (different versions of a powerful approach) Chi-squared Automatic Interaction Detection (CHAID) Naive Bayes k-Means Convolutional Neural Network (CNN) Arten des ML  Supervised Learning  Unsupervised Learning  Semi-Supervised Learning  Deep Learning  Reinforcement Learning Algorithmen  Dieser Vortrag versucht einen spielerischen Einstieg! 422.09.2017, Kassel, Big Data Days
  • 4. MOTIVATION / CHALLENGE Welche Bauprojekte lassen sich mit den vorliegenden Steinen realisieren? Welche Steine fehlen noch? 522.09.2017, Kassel, Big Data Days
  • 5. LÖSUNGSIDEE Lego-Steine fotographisch erfassen, erkennen und klassifizieren Stein Anzahl 1x2 2 2x2 1 2x3 1 2x4 0 ... ... Bilderkennung Wie bringen wir dem System bei, Objekte zu differenzieren? 622.09.2017, Kassel, Big Data Days
  • 6. VOM PROGRAMM ZUM LERNEN Klassisches Programm Eingabedaten Logik / Regeln Ergebnis Maschinelles Lernen Eingabedaten Ergebnis Logik / Regeln Quelle: Deep Learning with Python Version 4 722.09.2017, Kassel, Big Data Days
  • 7. ML AN EINEM EINFACHEN BEISPIEL PROBLEMSTELLUNG Baujahr Fläche Stadt Verkaufspreis 2013 90 qm München (20) 260.000 EUR 2014 60 qm Frankfurt (10) 180.000 EUR 2015 70 qm Paderborn (7) 160.000 EUR Inspired by: https://medium.com/@ageitgey Baujahr Fläche Stadt Verkaufspreis 2013 90 qm Paderborn (7) ?? EUR Referenzdaten Das sind unsere Trainingsdaten! Preis Vorhersage Wie hoch sollte der Verkaufspreis sein? 822.09.2017, Kassel, Big Data Days
  • 8. ML AN EINEM EINFACHEN BEISPIEL LÖSUNGSIDEE func schaetzeVerkaufspreis(baujahr, flaeche, stadt) { return baujahr * w1 + flaeche * w2 + stadt * w3 +b; } Baujahr Fläche Stadt Verkaufspreis Schätzung 2013 90 qm München (20) 260.000 EUR 240.000 2014 60 qm Frankfurt (10) 180.000 EUR 190.000 2015 70 qm Paderborn (7) 160.000 EUR 200.000 Abweichung (loss) 20.000 10.000 40.000 Summe 70.000  Der Lernprozess besteht darin, iterativ optimale Werte für w1 / w2 / w3 / b zu ermitteln, um die Abweichung zu minimieren. Starte mit zufälligen Werten für w1, w2, w3, b 922.09.2017, Kassel, Big Data Days
  • 9. LERNEN HEISST RECHNEN Eingabe: Baujahr, Fläche, Stadt Starte mit zufälligen Werten für w1, w2, w3, b FOR 1..100 (z.B.) Berechne Abweichung auf Basis einer geeigneten Funktion (Gradientenverfahren) Passe Werte für w1, w2, w3, b an Ergebnis: Optimale Werte für w1, w2, w3, b 1022.09.2017, Kassel, Big Data Days
  • 11. KOMPLEXERE ANFORDERUNGEN LASSEN SICH DURCH EIN KÜNSTLICH NEURONALES NETZ ABBILDEN Bau- jahr Flä- che Stadt = Schätzung 2 w1,1 w2 w3,3 +b2 = Schätzung 3 = Schätzung 1w1,2 = Verkaufspreis w1 w2 w3 +b ... +b1 +b3 Tiefe eines Netzes 1222.09.2017, Kassel, Big Data Days
  • 12. EINORDNUNG VON KI, ML UND DEEPLEARNING Künstliche Intelligenz Machine Learning Deep Learning 13
  • 13. AGENDA  Motivation / Challenge  Maschinelles Lernen verstehen  Erkennung von Lego-Steinen  Beispiele im Unternehmenskontext  Fazit 1422.09.2017, Kassel, Big Data Days
  • 14. „LEARNING FLOW“  Trainingsdaten gewinnen und vorbereiten  Lernen – d.h. das mathematische Model trainieren (Gewichte ermitteln)  Anwenden – Das erlernte Model auf neue Daten anwenden Vorbereitung Lernphase Vorhersage Trainingsdaten & Validierungsdaten 1522.09.2017, Kassel, Big Data Days
  • 15. TRAININGSDATEN MÜSSEN VORBEREITET WERDEN “Labeln” $ ffmpeg -i brick2x2.mov -vf fps=3 img%03d.jpg brick2x2.mov 25-50 Bilder (JPG) 1622.09.2017, Kassel, Big Data Days
  • 16. DEEP LEARNING FLOW Z.B. 80% Klassifizierte Eingabedaten Trainingsdaten Validierungsdaten “Lerne” 20% Validiere Parameter anpassen etc. Maschine Learning Modell Ergebnis! 1722.09.2017, Kassel, Big Data Days
  • 17. VORGEHENSWEISE TRAINING Bilder Beispiel Deep Learning ... Klassifizierung (Softmax) Label 1x2 2x2 2x3 2x4 ...(Inception v3 Model, google) ... Wir trainieren nur den letzten Layer! „Pre Trained Model“ State-of-the Art in 2017. Alternativen: ResNet (MS) .... 0,91 0,04 0,03 0,02 1822.09.2017, Kassel, Big Data Days
  • 18. HEUTIGE LEARNING-MODELLE KÖNNEN SEHR UMFANGREICH SEIN Klassifizierung (Softmax) Wir trainieren nur den letzten Layer!Wir trainieren nur den letzten Layer! Hier könnte auch aufgesetzt werden. 1922.09.2017, Kassel, Big Data Days
  • 19. ZUM LERNEN BRAUCHT ES FEEDBACK ... Vorhersage Korrektes Ergebnis loss function optimizer Eingabe Loss Score Weights Weights Aktualisiere Weights (Fehler Backpropagation) ... 2022.09.2017, Kassel, Big Data Days
  • 20. LERN-METRIKEN JE TRAININGSITERATION  Training Accuracy: Wie viel Prozent der Trainingsdaten korrekt klassifiziert.  Validation Accuracy: „Wie viel Prozent der Validierungsdaten korrekt klassifiziert“  Cross Entropy / Loss: Auskunft über den Traingsfortschritt: Trend sollte in „so klein wie möglich“ gehen. 2122.09.2017, Kassel, Big Data Days
  • 23. TRAINING / VALIDATION ACCURACYNach 90 Iterationen tut sich nicht mehr viel. 2422.09.2017, Kassel, Big Data Days
  • 24. LOSS Läuft gegen 0.... Sehr schön! 2522.09.2017, Kassel, Big Data Days
  • 25. TEST (MIT NEUEN BILDERN) Mit 73 % W‘keit Mit 62,5 % W‘keit 2622.09.2017, Kassel, Big Data Days
  • 26. TEST (MIT NEUEN BILDERN) Mit 61 % W‘keit Mit 65 % W‘keit Am Beispiel von 4 trainierten Kategorien wurden neue Bilder von Legosteinen jeweils korrekt klassifiziert Um die W’keit zu erhöhen, bedarf es mehr Trainingsdaten 2722.09.2017, Kassel, Big Data Days
  • 27. TEST (MIT BILDERN, FÜR DIE KEIN TRAINING DURCHGEFÜHRT WURDE) Alle W‘Keiten unter 50 % Alle W‘Keiten unter 50 % Alle W‘Keiten unter 50 % 2822.09.2017, Kassel, Big Data Days
  • 28. AGENDA  Motivation / Challenge  Maschinelles Lernen verstehen  Erkennung von Lego-Steinen  Beispiele im Unternehmenskontext  Fazit 2922.09.2017, Kassel, Big Data Days
  • 30. PRINZIP Kategorie A Z.B. Bilder, Text, Ereignisse Eingabedaten Kategorie B Kategorie C ... Maschine Learning Modell Maschinenlernen heißt – dieses Modell zu trainieren! 3122.09.2017, Kassel, Big Data Days
  • 31. ANWENDUNGSBEISPIELE – HEUTE SCHON STANDARD!  SPAM-Erkennung  Gesichtserkennung und Bildklassifikation (Facebook, Google, Apple...)  Spracherkennung, Übersetzung  Objekterkennung für autonomes Fahren (Verkehrsschilder, Hindernisse, Fahrspuren, etc.)  Eingabevorschlag für Wörter  ... 3222.09.2017, Kassel, Big Data Days
  • 32. ANWENDUNGSPOTENTIAL IM UNTERNEHMENSKONTEXT  Dokumentenanalyse (z.B. Verträge) und Klassifizierung  Healthcare: Erkennung von Krankheitsbildern  Finance: Prüfung Kreditwürdigkeit, Investment-Strategien  Ecommerce: Optimierung Conversion-Rate  Smart City: Intelligente Verkehrssteuerung  Produktion: Erkennung von Ereignismuster  Erkennen von Verhaltensmuster im Support / Telefon (genervter Kunde etc.)  Konstruktion von Produkten – Neue Designs erfinden 3322.09.2017, Kassel, Big Data Days
  • 33. FAZIT  Wer viele Daten hat, ist klar im Vorteil! (Facebook, Google, Apple (Siri) ...)  Auf Basis „vortrainierter“ Modelle schnelle Trainingserfolge möglich!  GPUs oder spezielle Prozessoren, z.B. TPUs (Tensor Processing Units) sind für effizientes Lernen erforderlich  Maschinelles Lernen ist per Cloud-Service einfach nutzbar - Google, AWS, Azure, Oracle 3422.09.2017, Kassel, Big Data Days
  • 34. VIELEN DANK FÜR EURE AUFMERKSAMKEIT! FRAGEN? Andreas Koop IT-Architekt, Berater, Enabler Twitter/ Medium@andreaskoop Email andreas.koop@enpit.de Blogs enpit.de/blog medium.com/enpit-developer-blog Code: https://github.com/enpit/tensorflow-for-lego 3522.09.2017, Kassel, Big Data Days

Hinweis der Redaktion

  1. Instead, focus on problems where a human could solve the problem, but where it would be great if a computer could solve it much more quickly.