Mit Legosteinen Maschinelles Lernen lernen

Andreas Koop
IT-Architekt, Berater, Enabler
@andreaskoop
andreas.koop@enpit.de
MIT LEGOSTEINEN
MASCHINELLES LERNEN LERNEN
22.09.2017, Kassel, Big Data Days

AGENDA
 Motivation / Challenge
 Maschinelles Lernen verstehen
 Erkennung von Lego-Steinen
 Beispiele im Unternehmenskontext
 Fazit

DIE TYPISCHE MACHINE LEARNING (ML)
EINFÜHRUNG
k-Nearest Neighbor (kNN)
Learning Vector Quantization (LVQ)
Self-Organizing Map (SOM)
Locally Weighted Learning (LWL)
C4.5 and C5.0 (different versions of a powerful
approach)
Chi-squared Automatic Interaction Detection
(CHAID)
Naive Bayes
k-Means
Convolutional Neural Network (CNN)
Arten des ML
 Supervised Learning
 Unsupervised Learning
 Semi-Supervised Learning
 Deep Learning
 Reinforcement Learning
Algorithmen
 Dieser Vortrag versucht einen spielerischen Einstieg!

MOTIVATION / CHALLENGE
Welche Bauprojekte
lassen sich mit den
vorliegenden
Steinen realisieren?
Welche Steine
fehlen noch?

LÖSUNGSIDEE
Lego-Steine fotographisch erfassen, erkennen und klassifizieren
Stein Anzahl
1x2 2
2x2 1
2x3 1
2x4 0
...
...
Bilderkennung
Wie bringen wir dem
System bei, Objekte zu
differenzieren?

VOM PROGRAMM ZUM LERNEN
Klassisches
Programm
Eingabedaten
Logik / Regeln
Ergebnis
Maschinelles
Lernen
Eingabedaten
Ergebnis
Logik / Regeln
Quelle: Deep Learning with Python Version 4

ML AN EINEM EINFACHEN BEISPIEL
PROBLEMSTELLUNG
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm München (20) 260.000 EUR
2014 60 qm Frankfurt (10) 180.000 EUR
2015 70 qm Paderborn (7) 160.000 EUR
Inspired by: https://medium.com/@ageitgey
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm Paderborn (7) ?? EUR
Referenzdaten
Das sind unsere
Trainingsdaten!
Preis Vorhersage
Wie hoch sollte der
Verkaufspreis sein?

ML AN EINEM EINFACHEN BEISPIEL
LÖSUNGSIDEE
func schaetzeVerkaufspreis(baujahr, flaeche, stadt) {
return baujahr * w1 + flaeche * w2 + stadt * w3 +b;
}
Baujahr Fläche Stadt Verkaufspreis Schätzung
2013 90 qm München (20) 260.000 EUR 240.000
2014 60 qm Frankfurt (10) 180.000 EUR 190.000
2015 70 qm Paderborn (7) 160.000 EUR 200.000
Abweichung (loss)
20.000
10.000
40.000
Summe
70.000
 Der Lernprozess besteht darin, iterativ
optimale Werte für w1 / w2 / w3 / b zu ermitteln,
um die Abweichung zu minimieren.
Starte mit zufälligen Werten für w1, w2, w3, b

LERNEN HEISST RECHNEN
Eingabe: Baujahr, Fläche, Stadt
Starte mit zufälligen Werten für w1, w2, w3, b
FOR 1..100 (z.B.)
Berechne Abweichung auf Basis einer geeigneten Funktion
(Gradientenverfahren)
Passe Werte für w1, w2, w3, b an
Ergebnis: Optimale Werte für w1, w2, w3, b

ALS BERECHNUNGSGRAPH
MODELLIERT
Bau-
jahr
Flä-
che
Stadt
= Verkaufspreis
w1
w2
w3
+b
Eingabe Gewichte Ergebnis

KOMPLEXERE ANFORDERUNGEN LASSEN
SICH DURCH EIN KÜNSTLICH
NEURONALES NETZ ABBILDEN
Bau-
jahr
Flä-
che
Stadt
= Schätzung 2
w1,1
w2
w3,3
+b2
= Schätzung 3
= Schätzung 1w1,2
= Verkaufspreis
w1
w2
w3
+b
...
+b1
+b3
Tiefe eines Netzes

EINORDNUNG VON KI, ML UND
DEEPLEARNING
Künstliche Intelligenz
Machine Learning
Deep Learning
13

AGENDA
 Fazit

„LEARNING FLOW“
 Trainingsdaten
gewinnen und vorbereiten
 Lernen – d.h. das mathematische
Model trainieren (Gewichte ermitteln)
 Anwenden – Das erlernte Model
auf neue Daten anwenden
Vorbereitung
Lernphase
Vorhersage
Trainingsdaten
& Validierungsdaten

TRAININGSDATEN MÜSSEN VORBEREITET
WERDEN
“Labeln”
$ ffmpeg -i brick2x2.mov
-vf fps=3 img%03d.jpg
brick2x2.mov
25-50 Bilder (JPG)

DEEP LEARNING FLOW
Z.B. 80%
Klassifizierte
Eingabedaten
Trainingsdaten
Validierungsdaten
“Lerne”
20%
Validiere
Parameter anpassen
etc.
Maschine
Learning
Modell
Ergebnis!

VORGEHENSWEISE TRAINING
Bilder
Beispiel
Deep
Learning
...
Klassifizierung (Softmax)
Label
1x2
2x2
2x3
2x4
...(Inception v3
Model, google)
...
Wir trainieren nur den
letzten Layer!
„Pre Trained Model“
State-of-the Art in 2017.
Alternativen: ResNet (MS)
....
0,91
0,04
0,03
0,02

HEUTIGE LEARNING-MODELLE KÖNNEN
SEHR UMFANGREICH SEIN
Klassifizierung (Softmax)
Wir trainieren nur den
letzten Layer!Wir trainieren nur den
letzten Layer!
Hier könnte auch
aufgesetzt werden.

ZUM LERNEN BRAUCHT ES FEEDBACK
...
Vorhersage Korrektes Ergebnis
loss
function
optimizer
Eingabe
Loss Score
Weights Weights
Aktualisiere
Weights
(Fehler Backpropagation)
...

LERN-METRIKEN JE
TRAININGSITERATION
 Training Accuracy: Wie viel Prozent der Trainingsdaten korrekt
klassifiziert.
 Validation Accuracy: „Wie viel Prozent der Validierungsdaten
korrekt klassifiziert“
 Cross Entropy / Loss: Auskunft über den Traingsfortschritt: Trend
sollte in „so klein wie möglich“ gehen.

DEMO

TRAININGSLAUF (250 ITERATIONEN)

TRAINING / VALIDATION ACCURACYNach 90 Iterationen tut
sich nicht mehr viel.

LOSS
Läuft gegen 0....
Sehr schön!

TEST (MIT NEUEN BILDERN)
Mit 73 % W‘keit
Mit 62,5 % W‘keit

TEST (MIT NEUEN BILDERN)
Mit 61 % W‘keit
Mit 65 % W‘keit
Am Beispiel von 4 trainierten Kategorien wurden neue Bilder von
Legosteinen jeweils korrekt klassifiziert
Um die W’keit zu erhöhen, bedarf es mehr Trainingsdaten

TEST (MIT BILDERN, FÜR DIE KEIN
TRAINING DURCHGEFÜHRT WURDE)
Alle W‘Keiten unter
50 %
50 %
50 %

AGENDA
 Fazit

PRINZIP
Kategorie A
Z.B. Bilder, Text,
Ereignisse
Eingabedaten
Kategorie B
Kategorie C
...
Maschine
Learning
Modell
Maschinenlernen heißt
– dieses Modell zu
trainieren!

ANWENDUNGSBEISPIELE – HEUTE SCHON
STANDARD!
 SPAM-Erkennung
 Gesichtserkennung und Bildklassifikation (Facebook, Google,
Apple...)
 Spracherkennung, Übersetzung
 Objekterkennung für autonomes Fahren (Verkehrsschilder,
Hindernisse, Fahrspuren, etc.)
 Eingabevorschlag für Wörter
 ...

ANWENDUNGSPOTENTIAL IM
UNTERNEHMENSKONTEXT
 Dokumentenanalyse (z.B. Verträge) und Klassifizierung
 Healthcare: Erkennung von Krankheitsbildern
 Finance: Prüfung Kreditwürdigkeit, Investment-Strategien
 Ecommerce: Optimierung Conversion-Rate
 Smart City: Intelligente Verkehrssteuerung
 Produktion: Erkennung von Ereignismuster
 Erkennen von Verhaltensmuster im Support / Telefon (genervter Kunde etc.)
 Konstruktion von Produkten – Neue Designs erfinden

FAZIT
 Wer viele Daten hat, ist klar im Vorteil! (Facebook, Google, Apple
(Siri) ...)
 Auf Basis „vortrainierter“ Modelle schnelle Trainingserfolge
möglich!
 GPUs oder spezielle Prozessoren, z.B. TPUs (Tensor Processing
Units) sind für effizientes Lernen erforderlich
 Maschinelles Lernen ist per Cloud-Service einfach nutzbar -
Google, AWS, Azure, Oracle

VIELEN DANK
FÜR EURE
AUFMERKSAMKEIT!
FRAGEN?
Andreas Koop
IT-Architekt, Berater, Enabler
Twitter/
Medium@andreaskoop
Email andreas.koop@enpit.de
Blogs enpit.de/blog
medium.com/enpit-developer-blog
Code: https://github.com/enpit/tensorflow-for-lego

Mit Legosteinen Maschinelles Lernen lernen

Mit Legosteinen Maschinelles Lernen lernen

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Mehr von Andreas Koop

Mehr von Andreas Koop (10)

Mit Legosteinen Maschinelles Lernen lernen

Hinweis der Redaktion