Einführung in Machine Learning und Deep Learning. Der Vortrag demonstriert wie Objekterkennung implementiert werden kann. Eine Darstellung typischer Anwendungsfälle mit analoger Problemklasse im Unternehmenskontext rundet den Vortrag ab.
DOAG 2011 - Upgrade Guide for Oracle ADF on WebLogic Server
Mit Legosteinen Maschinelles Lernen lernen
1. Andreas Koop
IT-Architekt, Berater, Enabler
@andreaskoop
andreas.koop@enpit.de
MIT LEGOSTEINEN
MASCHINELLES LERNEN LERNEN
22.09.2017, Kassel, Big Data Days
2. AGENDA
Motivation / Challenge
Maschinelles Lernen verstehen
Erkennung von Lego-Steinen
Beispiele im Unternehmenskontext
Fazit
322.09.2017, Kassel, Big Data Days
3. DIE TYPISCHE MACHINE LEARNING (ML)
EINFÜHRUNG
k-Nearest Neighbor (kNN)
Learning Vector Quantization (LVQ)
Self-Organizing Map (SOM)
Locally Weighted Learning (LWL)
C4.5 and C5.0 (different versions of a powerful
approach)
Chi-squared Automatic Interaction Detection
(CHAID)
Naive Bayes
k-Means
Convolutional Neural Network (CNN)
Arten des ML
Supervised Learning
Unsupervised Learning
Semi-Supervised Learning
Deep Learning
Reinforcement Learning
Algorithmen
Dieser Vortrag versucht einen spielerischen Einstieg!
422.09.2017, Kassel, Big Data Days
4. MOTIVATION / CHALLENGE
Welche Bauprojekte
lassen sich mit den
vorliegenden
Steinen realisieren?
Welche Steine
fehlen noch?
522.09.2017, Kassel, Big Data Days
5. LÖSUNGSIDEE
Lego-Steine fotographisch erfassen, erkennen und klassifizieren
Stein Anzahl
1x2 2
2x2 1
2x3 1
2x4 0
...
...
Bilderkennung
Wie bringen wir dem
System bei, Objekte zu
differenzieren?
622.09.2017, Kassel, Big Data Days
6. VOM PROGRAMM ZUM LERNEN
Klassisches
Programm
Eingabedaten
Logik / Regeln
Ergebnis
Maschinelles
Lernen
Eingabedaten
Ergebnis
Logik / Regeln
Quelle: Deep Learning with Python Version 4
722.09.2017, Kassel, Big Data Days
7. ML AN EINEM EINFACHEN BEISPIEL
PROBLEMSTELLUNG
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm München (20) 260.000 EUR
2014 60 qm Frankfurt (10) 180.000 EUR
2015 70 qm Paderborn (7) 160.000 EUR
Inspired by: https://medium.com/@ageitgey
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm Paderborn (7) ?? EUR
Referenzdaten
Das sind unsere
Trainingsdaten!
Preis Vorhersage
Wie hoch sollte der
Verkaufspreis sein?
822.09.2017, Kassel, Big Data Days
8. ML AN EINEM EINFACHEN BEISPIEL
LÖSUNGSIDEE
func schaetzeVerkaufspreis(baujahr, flaeche, stadt) {
return baujahr * w1 + flaeche * w2 + stadt * w3 +b;
}
Baujahr Fläche Stadt Verkaufspreis Schätzung
2013 90 qm München (20) 260.000 EUR 240.000
2014 60 qm Frankfurt (10) 180.000 EUR 190.000
2015 70 qm Paderborn (7) 160.000 EUR 200.000
Abweichung (loss)
20.000
10.000
40.000
Summe
70.000
Der Lernprozess besteht darin, iterativ
optimale Werte für w1 / w2 / w3 / b zu ermitteln,
um die Abweichung zu minimieren.
Starte mit zufälligen Werten für w1, w2, w3, b
922.09.2017, Kassel, Big Data Days
9. LERNEN HEISST RECHNEN
Eingabe: Baujahr, Fläche, Stadt
Starte mit zufälligen Werten für w1, w2, w3, b
FOR 1..100 (z.B.)
Berechne Abweichung auf Basis einer geeigneten Funktion
(Gradientenverfahren)
Passe Werte für w1, w2, w3, b an
Ergebnis: Optimale Werte für w1, w2, w3, b
1022.09.2017, Kassel, Big Data Days
11. KOMPLEXERE ANFORDERUNGEN LASSEN
SICH DURCH EIN KÜNSTLICH
NEURONALES NETZ ABBILDEN
Bau-
jahr
Flä-
che
Stadt
= Schätzung 2
w1,1
w2
w3,3
+b2
= Schätzung 3
= Schätzung 1w1,2
= Verkaufspreis
w1
w2
w3
+b
...
+b1
+b3
Tiefe eines Netzes
1222.09.2017, Kassel, Big Data Days
12. EINORDNUNG VON KI, ML UND
DEEPLEARNING
Künstliche Intelligenz
Machine Learning
Deep Learning
13
13. AGENDA
Motivation / Challenge
Maschinelles Lernen verstehen
Erkennung von Lego-Steinen
Beispiele im Unternehmenskontext
Fazit
1422.09.2017, Kassel, Big Data Days
14. „LEARNING FLOW“
Trainingsdaten
gewinnen und vorbereiten
Lernen – d.h. das mathematische
Model trainieren (Gewichte ermitteln)
Anwenden – Das erlernte Model
auf neue Daten anwenden
Vorbereitung
Lernphase
Vorhersage
Trainingsdaten
& Validierungsdaten
1522.09.2017, Kassel, Big Data Days
16. DEEP LEARNING FLOW
Z.B. 80%
Klassifizierte
Eingabedaten
Trainingsdaten
Validierungsdaten
“Lerne”
20%
Validiere
Parameter anpassen
etc.
Maschine
Learning
Modell
Ergebnis!
1722.09.2017, Kassel, Big Data Days
18. HEUTIGE LEARNING-MODELLE KÖNNEN
SEHR UMFANGREICH SEIN
Klassifizierung (Softmax)
Wir trainieren nur den
letzten Layer!Wir trainieren nur den
letzten Layer!
Hier könnte auch
aufgesetzt werden.
1922.09.2017, Kassel, Big Data Days
19. ZUM LERNEN BRAUCHT ES FEEDBACK
...
Vorhersage Korrektes Ergebnis
loss
function
optimizer
Eingabe
Loss Score
Weights Weights
Aktualisiere
Weights
(Fehler Backpropagation)
...
2022.09.2017, Kassel, Big Data Days
20. LERN-METRIKEN JE
TRAININGSITERATION
Training Accuracy: Wie viel Prozent der Trainingsdaten korrekt
klassifiziert.
Validation Accuracy: „Wie viel Prozent der Validierungsdaten
korrekt klassifiziert“
Cross Entropy / Loss: Auskunft über den Traingsfortschritt: Trend
sollte in „so klein wie möglich“ gehen.
2122.09.2017, Kassel, Big Data Days
25. TEST (MIT NEUEN BILDERN)
Mit 73 % W‘keit
Mit 62,5 % W‘keit
2622.09.2017, Kassel, Big Data Days
26. TEST (MIT NEUEN BILDERN)
Mit 61 % W‘keit
Mit 65 % W‘keit
Am Beispiel von 4 trainierten Kategorien wurden neue Bilder von
Legosteinen jeweils korrekt klassifiziert
Um die W’keit zu erhöhen, bedarf es mehr Trainingsdaten
2722.09.2017, Kassel, Big Data Days
27. TEST (MIT BILDERN, FÜR DIE KEIN
TRAINING DURCHGEFÜHRT WURDE)
Alle W‘Keiten unter
50 %
Alle W‘Keiten unter
50 %
Alle W‘Keiten unter
50 %
2822.09.2017, Kassel, Big Data Days
28. AGENDA
Motivation / Challenge
Maschinelles Lernen verstehen
Erkennung von Lego-Steinen
Beispiele im Unternehmenskontext
Fazit
2922.09.2017, Kassel, Big Data Days
30. PRINZIP
Kategorie A
Z.B. Bilder, Text,
Ereignisse
Eingabedaten
Kategorie B
Kategorie C
...
Maschine
Learning
Modell
Maschinenlernen heißt
– dieses Modell zu
trainieren!
3122.09.2017, Kassel, Big Data Days
31. ANWENDUNGSBEISPIELE – HEUTE SCHON
STANDARD!
SPAM-Erkennung
Gesichtserkennung und Bildklassifikation (Facebook, Google,
Apple...)
Spracherkennung, Übersetzung
Objekterkennung für autonomes Fahren (Verkehrsschilder,
Hindernisse, Fahrspuren, etc.)
Eingabevorschlag für Wörter
...
3222.09.2017, Kassel, Big Data Days
32. ANWENDUNGSPOTENTIAL IM
UNTERNEHMENSKONTEXT
Dokumentenanalyse (z.B. Verträge) und Klassifizierung
Healthcare: Erkennung von Krankheitsbildern
Finance: Prüfung Kreditwürdigkeit, Investment-Strategien
Ecommerce: Optimierung Conversion-Rate
Smart City: Intelligente Verkehrssteuerung
Produktion: Erkennung von Ereignismuster
Erkennen von Verhaltensmuster im Support / Telefon (genervter Kunde etc.)
Konstruktion von Produkten – Neue Designs erfinden
3322.09.2017, Kassel, Big Data Days
33. FAZIT
Wer viele Daten hat, ist klar im Vorteil! (Facebook, Google, Apple
(Siri) ...)
Auf Basis „vortrainierter“ Modelle schnelle Trainingserfolge
möglich!
GPUs oder spezielle Prozessoren, z.B. TPUs (Tensor Processing
Units) sind für effizientes Lernen erforderlich
Maschinelles Lernen ist per Cloud-Service einfach nutzbar -
Google, AWS, Azure, Oracle
3422.09.2017, Kassel, Big Data Days
34. VIELEN DANK
FÜR EURE
AUFMERKSAMKEIT!
FRAGEN?
Andreas Koop
IT-Architekt, Berater, Enabler
Twitter/
Medium@andreaskoop
Email andreas.koop@enpit.de
Blogs enpit.de/blog
medium.com/enpit-developer-blog
Code: https://github.com/enpit/tensorflow-for-lego
3522.09.2017, Kassel, Big Data Days
Hinweis der Redaktion
Instead, focus on problems where a human could solve the problem, but where it would be great if a computer could solve it much more quickly.