SlideShare ist ein Scribd-Unternehmen logo
#WISSENTEILEN
KI? Ja, gerne!
Aber was und wie?
@_openKnowledge | @mobileLarson
Lars Röwekamp | open knowledge GmbH
#WISSENTEILEN
@mobileLarson
CIO New Technologies
OPEN KNOWLEDGE
Lars Röwekamp
(Architecture, Cloud, AI & ML)
#WISSENTEILEN
Was ist
künstliche
Intelligenz?
„Artificial Intelligence is a system’s ability
to correctly interpret external data,
to learn from such data, and to use those
learnings to achieve specific goals and tasks
through flexible adaptation.“
(Andreas Kaplan & Michael Haenlein, 2018)
künstliche Intelligenz
starke
KI
schwache KI
echte Nachbildung des
menschlichen Bewusstseins
(bis heute nicht existent)
Maschine, die
menschliches
Verhalten (teilweise)
imitiert
künstliche Intelligenz
starke
KI
schwache KI
Machine
Learning
echte Nachbildung des
menschlichen Bewusstseins
(bis heute nicht existent)
Teilgebiet der künstlichen
Intelligenz: lernt mittels
statistischer Methoden
und kann sich anhand von
Erfahrungen verbessern
Maschine, die
menschliches
Verhalten (teilweise)
imitiert
Teilgebiet des Machine
Learnings: bedient sich
mehrschichtiger neuronaler
Netze zum Lernen/Entscheiden
künstliche Intelligenz
starke
KI
schwache KI
Machine
Learning
echte Nachbildung des
menschlichen Bewusstseins
(bis heute nicht existent)
Teilgebiet der künstlichen
Intelligenz: lernt mittels
statistischer Methoden
und kann sich anhand von
Erfahrungen verbessern
Maschine, die
menschliches
Verhalten (teilweise)
imitiert
Deep
Learning
GenAI
KI als „Erfinder“
künstliche Intelligenz
starke
KI
schwache KI
Deep
Learning
Machine
Learning
Quelle: https://news.microsoft.com/de-de/deep-learning-whitepaper/
Quelle: https://news.microsoft.com/de-de/deep-learning-whitepaper/
KORRELATION
vs
KAUSALITÄT
Daten, Daten, Daten
Modell und Algorithmus
Grundwahrheit und Baseline
Ruckschluss und Aktion
Korrelation, nicht Kausalität
KI ist …
#WISSENTEILEN
Wie binde ich
künstliche
Intelligenz
ein?
Source Fortune Magazine.: https://fortune.com/2022/07/26/a-i-success-business-sense-aible-sengupta/
„Failure rate
of AI projects
has been between
83% to 92%.“
Daten
42
Daten
Daten
Daten
Daten
Daten
Daten
Daten
Daten
ML Voodoo Wenn 42 die Lösung
ist, was ist dann
das Problem?
Pain Point
Pain Point
Pain Point
Pain Point 42
Pain Point
Pain Point
ML Project
Exploration
Ideation
DAYs
gute Idee!
42
Pain Point
Pain Point
Pain Point
Pain Point
ML Project Lifecycle
Exploration
Ideation
DAYs WEEKs
gute Idee funktioniert!
42
Pain Point
Pain Point
Pain Point
Pain Point
ML Project Lifecycle
Professionalization
Exploration
Ideation
DAYs WEEKs MONTHs
gute Idee funktioniert nachhaltig!
42
Pain Point
Pain Point
Pain Point
Pain Point
ML Project Lifecycle
Professionalization
Exploration
Ideation
DAYs WEEKs MONTHs
gute Idee funktioniert nachhaltig!
42
83% propability
Pain Point
Pain Point
Pain Point
Pain Point
ML Project Lifecycle
Professionalization
Exploration
Ideation
DAYs WEEKs MONTHs
well-founded
Proof of Concept
viable
Product
AI validated
Use-Case(s)
initial
Idea(s)
gute Idee funktioniert nachhaltig!
42
Pain Point
Pain Point
Pain Point
Pain Point
ML Project Lifecycle
ML Project Lifecycle
Ideation
DAYs WEEKs MONTHs
well-founded
Proof of Concept
viable
Product
AI validated
Use-Case(s)
initial
Idea(s)
42
Design
Thinking
Lean
Startup
Agile
Development
Professionalization
Exploration
Pain Point
Pain Point
Pain Point
Pain Point
ML Project Lifecycle
Ideation
DAYs WEEKs MONTHs
well-founded
Proof of Concept
viable
Product
AI validated
Use-Case(s)
initial
Idea(s)
42
Design
Thinking
Lean
Startup
Agile
Development
Professionalization
Exploration
Pain Point
Pain Point
Pain Point
Pain Point
ML Project Lifecycle
Ideation
DAYs WEEKs MONTHs
Design
Thinking
Lean
Startup
Agile
Development
Professionalization
Exploration
Pain Point
Pain Point
Pain Point
Pain Point 42
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
*in Anlehnung an „CRISP-DM“: CRoss Industry Standard Process for Data Mining
ML for
Production
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
ML for
Production
*in Anlehnung an „CRISP-DM“: CRoss Industry Standard Process for Data Mining
Quelle: https://www.techtarget.com/searchenterpriseai/feature/Data-preparation-for-machine-learning-still-requires-humans
„Wir wollen
mit AI unser
Geschäft
verbessern!“
CEO, mySuperMarket
ML for Production am Beispiel …
SALES FORECAST
Auf Basis historischer Daten aus mehreren Filialen einer
Supermarktkette sollen Verkaufszahlen für die Zukunft
vorhergesagt werden.
ML for Production am Beispiel …
1 3 5
2 4 6
Business Understanding
„Was war noch mal
die konkrete Frage?“
Ideation & Zielbestimmung
Business Understanding
am Beispiel
AI Ideation - SALES FORECAST
„Häufig ist zu viel oder zu wenig Ware auf dem Lager.“
„Verderbliche Ware wird abends weggeschmissen.“
„Marketingkampagnen sind nicht effektiv (genug).“
„Umsatz ist ok, aber nicht wirklich planbar.“
…
AI Ideation
WORKSHOP
„Verkaufsoptimierung“
WORKSHOP PHASE 1
Opportunity Areas
identified
HMW …
die Verkaufsplanung
auf Produktebene
optimieren?
HMW …
immer ausreichen
Personal im Markt
präsent haben?
AI Ideation Verkaufsoptimierung
WORKSHOP PHASE 2
Opportunity Areas
identified
HMW …
die Verkaufsplanung
auf Produktebene
optimieren?
HMW …
abends Restbestände
an die Käufer:innen
bringen?
Goal & Blocker
identified
In 12 Monaten werden wir …
von allen TOP 100 Produkten
immer hinreichend viele im Markt
und auf Lager haben OHNE
kostspieligen Überschuss.
Können wir …
Vorhersagen auf
Produktebene
treffen?
Können wir …
Kosten/Nutzen
für die Lagerung
berechnen?
AI Ideation Verkaufsoptimierung
WORKSHOP PHASE 3
Opportunity Areas
identified
Goal & Blocker
identified
Key Ideas
to explore
HMW …
die Verkaufsplanung
auf Produktebene
optimieren?
In 12 Monaten werden wir …
von allen TOP 100 Produkten
immer hinreichend viele im Markt
und auf Lager haben OHNE
kostspieligen Überschuss.
Können wir …
Vorhersagen auf
Produktebene
treffen?
Können wir …
Kosten/Nutzen
für die Lagerung
berechnen?
Key Idea von StockMag
Optimierung des Lagerbestands
auf der Basis historischer
Lagerbewegungen.
Key Idea von SaleUp
Adaptive Plattform für Verkaufs-
prognosen, die aus dem Feedback
der Manager lernt.
HMW …
immer ausreichen
Personal im Markt
präsent haben?
AI Ideation Verkaufsoptimierung
AI Ideation
WORKSHOP ERGEBNISSE
Was haben wir gemeinsam erarbeitet / erreicht?
• Liste identifizierter Chancen und potenzieller Lösungen
• gemeinsam definiertes Ziel, das es via KI zu erreichen gilt
• potentielle Blocker, die im Vorfeld ausgeräumt werden sollten
EINHEITLICHES VERSTÄNDNIS & GEMEINSAME AUSRICHTUNG
00. HOW MIGHT WE …
summarize your „how might we“ statement here
01. CONCEPT NAME
provide a name tha encapsulates the essence of your idea
04. VISUALIZE
narrate a story from the point of view of key stakeholder
05. GUT CHECK
jot down your initial thoughts and rank the potential of your idea (low to high)
02. BENEFIT
what unmet need or want are we answering
03. WHO …?
… and for which user
VALUE CREATION
TARGET GROUP
CONTEXT
MEANS
What value do you want to create?
For whom …?
Where and when…?
How, with what?
What is it …?
describe your idea in detail – keep it clear and concise
NOTES … define the initial reaction / critique?
VALUE TO END-USER
SCALE & GROTH POTENTIAL
INNOVATION & CREATIVITY
low high
00. HOW MIGHT WE …
summarize your „how might we“ statement here
01. CONCEPT NAME
provide a name tha encapsulates the essence of your idea
04. VISUALIZE
narrate a story from the point of view of key stakeholder
05. GUT CHECK
jot down your initial thoughts and rank the potential of your idea (low to high)
02. BENEFIT
what unmet need or want are we answering
03. WHO …?
… and for which user
VALUE CREATION
TARGET GROUP
CONTEXT
MEANS
What value do you want to create?
For whom …?
Where and when…?
How, with what?
What is it …?
describe your idea in detail – keep it clear and concise
NOTES … define the initial reaction / critique?
VALUE TO END-USER
SCALE & GROTH POTENTIAL
INNOVATION & CREATIVITY
low high
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua. At vero eos et
accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor
sit amet.
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua. At vero eos et
accusam et justo duo dolores et ea rebum.
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua. At vero eos et
accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor
sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing
elitr, sed diam nonumy eirmod tempor invidunt ut labore et
dolore magna aliquyam erat, sed diam voluptua. At vero eos
et accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor
sit amet.
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua. At vero eos et
accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor
sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing
elitr, sed diam nonumy eirmod tempor invidunt ut labore et
dolore magna aliquyam erat, sed diam voluptua. At vero eos
et accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor
sit amet.
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam
erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est
Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et
dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea
takimata sanctus est Lorem ipsum dolor sit amet.
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua.
• Benefit 01
• Benefit 02
• Benefit 03
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua..
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua..
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua..
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore
et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum.
Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit
amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna
aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore
et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum.
Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit
amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna
aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore
magna aliquyam erat, sed diam voluptua. At vero eos et
accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor
sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing
elitr, sed diam nonumy eirmod tempor invidunt ut labore et
dolore magna aliquyam erat, sed diam voluptua. At vero eos
et accusam et justo duo dolores et ea rebum. Stet clita kasd
gubergren, no sea takimata sanctus est Lorem ipsum dolor
sit amet.
Business Understanding
am Beispiel
Business Ziele - SALES FORECAST
Es soll eine Bedarfsvorhersage erstellt werden, welche die
Vorhersage von Verkäufen*, sowie die Planung von
Marketingkampagnen** unterstützt.
* … und damit indirekt auch Beschaffung und Lagerhaltung
** ... wie z.B. Promotions oder Einführung neuer Produkte
Business Understanding
am Beispiel
Analytische Ziele - SALES FORECAST
Eine Machine Learning Lösung soll den Umsatz je Filiale für den
Zeitraum von 6 Wochen, mit einer Genauigkeit von [X]%
vorhersagen.
ACHTUNG:
Hier ist ein konkreter Wert wichtig.
„Möglichst genau“ hilft bei späterer
Validierung und Qualitätsanalyse
des Modells leider wenig!
1 3 5
2 4 6
Data Understanding
Daten sammeln, untersuchen & bewerten
„Die Wahrheit liegt
in den Daten!“
Modeling
Data
Sets
Data
Retrival
ML4Prod Process
Deployment
&
Monitoring
Data Processing
& Wrangling
Feature
Extraction &
Engineering
Feature Scaling
& Selection
Data Preparation
Model
Evaluation
& Tuning
Re-iterate until satisfactory
model performance
Data
Sets
Modeling
Deployment
&
Monitoring
Data Processing
& Wrangling
Feature
Extraction &
Engineering
Feature Scaling
& Selection
Data
Retrival
Data Preparation
Model
Evaluation
& Tuning
Re-iterate until satisfactory
model performance
Data Understanding
Data Understanding
am Beispiel
Daten sammeln & beschreiben - SALES FORECAST
Als Basis für erste Analyse dienen Sales Reports sowie
weitere Daten zu den POS aus den letzten drei Jahren.
* Anzahl verkaufter Produkte pro Tag
** u.a. Lokation, Größe, Mitarbeiter, Distanz zu Mitbewerbern
Data Understanding
am Beispiel
Daten sammeln & beschreiben - SALES FORECAST
Die Sales Reports und Daten aus den POS werden mit Hilfe einer
Exploratory Data Analysis (EDA) tiefgehender untersucht.
Der Fokus der Analyse liegt auf der Fragestellung, welche Variablen
einen direkten oder indirekten Einfluss auf die Verkaufszahlen
haben.
Sales Data
(>1 Mio Datensätze)
Store Data
(ca. 1100 Datensätze)
Data Understanding
am Beispiel
Sales Data
(>1 Mio Data Records)
Data Understanding
am Beispiel
OBJECT?
Inconvenient for ML!
DATETIME?
For sorting the "Time
Series". But is there
any more info in
there?
> 1 MIO Data Records
Lots of data! Very nice.
INT64?
Which values/ranges
are possible? And what
do they mean?
SALES!
Target Variable
Data Understanding
am Beispiel
Store Data
(ca. 1100 Data Records)
OBJECT?
Inconvenient for ML!
PROMO2?
What semantics?
COMPETITION?
What semantics?
NULL?
Why are there no
values?
> 1000 DATENSÄTZE
ca 1 Mio of 1000 Stores
STORE!
Merge Reference
Data Understanding
am Beispiel
Store Data
(ca. 1100 Data Records)
OBJECT?
Inconvenient for ML!
PROMO2?
What semantics?
COMPETITION?
What semantics?
NULL?
Why are there no
values?
> 1000 DATENSÄTZE
ca 1 Mio of 1000 Stores
STORE!
Merge Reference
Product Sales “Correlations“
Product Sales “Correlations“
Product Sales “Correlations“
Product Sales “Correlations“
Product Sales “Weekday“
Erhöhte
Umsätze
nach dem
Wochenende
Wahrscheinlich
nur wenige
geöffnete
Filialen am
Sonntag.
Product Sales “Weekday“
0 - 25%
25 - 50%
50 - 75%
75 - 100%
Product Sales “Weekday“
*Wochentag sollte als eigenes
Feature modelliert werden.
DI bis FR
ähnliche
Muster
SA, SO, MO
individuelle
Muster*
Product Sales “Seasons“
SAISONALITÄT
TREND
Data Understanding
am Beispiel
Daten sammeln & beschreiben - SALES FORECAST
Neben den Sales Reports der einzelnen POS gibt es noch
zahlreiche weitere Quellen, die zur ML basierten Vorhersage
herangezogen werden können, um so ein genaueres Bild zu
zeichnen.
Internal Data Sources
External Data Sources
Unstructured
Data Sources
Structured
Data Sources
E-Commerce Sales Data
Sales Transactions
Purchchase Orders
Inventory
POS Information
Loyality Cards
Customer Service
E-Commerce Sales Data
Sales Transactions
Purchchase Orders
Inventory
POS Information
Loyality Cards
Customer Service
Weather
3rd Party syndicated Data
Macroeconomic Indicators
Government Census
Customer POS Information
Household Panel Data
Websites
Reviews
Marketing Campaigns
(Mobile) Apps
In-Store Devices
Texts
CRM Data
Internal Data Sources
External Data Sources
Unstructured
Data Sources
Structured
Data Sources
Social Media
Click Streams
Internet of Things
Geolocation Devices
Digital Personal Assistants
Videos
Data Understanding
am Beispiel
Daten untersuchen & bewerten - SALES FORECAST
Die Daten müssen im Vorfeld auf viele Qualitätsfaktoren hin
analysiert werden:
Verfügbarkeit, Vollständigkeit, Genauigkeit,
Gültigkeit, Konsistenz, Relevanz,
Granularität, Kosten
1 3 5
2 4 6
Data Preparation
„Quantität ist
nicht gleich Qualität!“
Daten auswählen, transformieren & bereinigen
Data Preparation Process
Modeling
Deployment
&
Monitoring
Data Processing
& Wrangling
Feature
Extraction &
Engineering
Feature Scaling
& Selection
Data Preparation
Model
Evaluation
& Tuning
Re-iterate until satisfactory
model performance
Data
Sets
Data
Retrival
Data Preparation
Was genau sind eigentlich diese Features?
Was bedeutet Feature Engineering?
Und was ist der Unterschied zu Feature Selection?
Feature Selection “Importance“
Sales Prediction ohne zusätzliche Features
150
100
50
0
Sales Prediction mit zusätzlichen Features
150
100
50
0
Data Preparation
Die Kunst von Feature Engineering & Selection
„As many as necessary and as few as possible.“
• so viele wie notwendig führt zu guten Resultaten
• so wenige wie möglich führt zu guter Performance
Data Preparation
Feature Selection für jedermann?
„There is a tool for it …“
• FeatureTools*
• FeatureSelector**
**https://github.com/WillKoehrsen/feature-selector
*https://www.featuretools.com
1 3 5
2 4 6
Analysis & Modeling
„Welches Modell
passt zu mir?“
Modell wählen, trainieren & bewerten
Data
Sets
Modeling
Deployment
&
Monitoring
Data Processing
& Wrangling
Feature
Extraction &
Engineering
Feature Scaling
& Selection
Data
Retrival
Data Preparation
Model
Evaluation
& Tuning
Re-iterate until satisfactory
model performance
Analysis & Modeling
Analysis & Modeling
Germanys Next Top Model?
Leichter gesagt als getan!
Wo soll man da anfangen?
Und wie?
Analysis & Modeling
MACHINE
LEARNING
SUPERVISED
LEARNING
UNSUPERVISED
LEARNING
CLUSTERING REGRESSION
CLASSIFICATION
DIMENSIONALITY
REDUCTION
REINCORCEMENT
LEARNING
Weather
forecasting
Market
forecasting
Estimating
life expectancy
Ad popularity
prediction
Diagnostic
Customer
retention
Image
classification
Fraud
detection
Game AI
Skill
aquisition
Robot
Navigation
Real-time
decisions
Target
marketing
Customer
segmentation
Recommendations
Big-Data
Visualization
Meaningful
compression
Structure discovery
Feature
elicitation
Analysis & Modeling
MACHINE
LEARNING
SUPERVISED
LEARNING
UNSUPERVISED
LEARNING
CLUSTERING REGRESSION
CLASSIFICATION
DIMENSIONALITY
REDUCTION
REINCORCEMENT
LEARNING
Weather
forecasting
Market
forecasting
Estimating
life expectancy
Ad popularity
prediction
Diagnostic
Customer
retention
Image
classification
Fraud
detection
Game AI
Skill
aquisition
Robot
Navigation
Real-time
decisions
Target
marketing
Customer
segmentation
Recommendations
Big-Data
Visualization
Meaningful
compression
Structure discovery
Feature
elicitation
Analysis & Modeling
ML Regressors
Wenn ein Zukunftswert auf Basis von Vergangenheitswerten
vorhergesagt werden soll, kommen in der Regel Regression
Algorithmen (aka Regressors) zum Einsatz.
Analysis & Modeling
am Beispiel
Typische Modell-Kandidaten für „Demand Forecasting“
ARIMA / SARIMA
Linear Regression
XG Boost
K-Nearest Neighbors Regression
Random Forrest
Long Short-Term Memory (LSTM)
Beste Lösung?
Abhängig von Fragestellung, z.B. …
SARIMA
saisonale Vorhersagen
Linear Regression
Einfluss von Änderungen
Trendvorhersagen
Quelle: https://www.datasciencecentral.com/linear-machine-learning-and-probabilistic-approaches-for-time/
Analysis & Modeling
am Beispiel
RMSE
Root Mean Square Error
1 3 5
2 4 6
QA & Validation
„Ist GUT auch
wirklich GUT genug?“
Modellqualität vs. Projektziel
Data
Sets
Modeling
Deployment
&
Monitoring
Data Processing
& Wrangling
Feature
Extraction &
Engineering
Feature Scaling
& Selection
Data
Retrival
Data Preparation
Model
Evaluation
& Tuning
Re-iterate until satisfactory
model performance
QA & Validation
ML Model
Training
1. fit
2. predict
X_train y_train
3. calc
RMSPE
„train“
vs
score_train
QA & Validation
am Beispiel
y_predict y_train
ML Model
Training
4. predict
vs
score_test
QA & Validation
am Beispiel
X_test y_predict y_test
5. calc
RMSPE
„test“
QA & Validation
am Beispiel
score_test
score_train
≈ > X
QA & Validation
am Beispiel
analytisches Ziel
"Eine Machine Learning Lösung soll den Umsatz je
Filiale für den Zeitraum von 6 Wochen, mit einer
Genauigkeit von [X]% vorhersagen.“
score_test
score_train
≈ > X
QA & Validation
am Beispiel
MAEP of Forecast on Group Level
Mean Avarage Percentage Error
Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/
Product vs
Group Level?
QA & Validation
am Beispiel
MAEP of Forecast
Mean Avarage Percentage Error
Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/
Gewichtung?
QA & Validation
am Beispiel
Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/
W-MAEP of Forecast
Weighted Mean Avarage Percentage Error
QA & Validation
Quelle: https://towardsdatascience.com/a-short-introduction-to-model-selection-bb1bb9c73376
QA & Validation
am Beispiel
score_test
score_train
≈ > X
QA & Validation
am Beispiel
ML Model
Training
fit
predict
X_all y_all
deploy
Model
store
Model
ML Model
Deployment
1 3 5
2 4 6
Deployment & Operation
„ACHTUNG!
Dies ist keine Übung!“
Model Deployment & Performance Monitoring
Data
Sets
Modeling
Deployment
&
Monitoring
Data Processing
& Wrangling
Feature
Extraction &
Engineering
Feature Scaling
& Selection
Data
Retrival
Data Preparation
Model
Evaluation
& Tuning
Re-iterate until satisfactory
model performance
Deployment & Operation
“Change is the
only constant in life.“
Herklit, griechischer Philosoph
Deployment & Operation
Statisches Modell Re-Trained Modell
Verschlechterung über die Zeit Regelmäßiges Modell-Update
Model
Quality
Model
Quality
Deployment & Operation
ML basierter Web Service
4. call WS 1. (re)train
3. (re)deploy
predict(…)
prediction
2. validate
CONTINUOUS DELIVERY
“…the ability to get changes of all types — including new
features, configuration changes, bug fixes, and experiments
— into production, or into the hands of users, safely and
quickly in a sustainable way.“
Jez Humble & Dave Farley
Deployment & Operation
am Beispiel
MLops etablieren aka CI / CD Pipeline für Änderungen
Data Model Code
Schema
Zeitreihen
Mengengerüst
Algorithmen
Trainings
Experimente
Anforderungen
Bug Fixes
Konfigurationen
MLOps: Level 0
https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
MLOps: Level X
https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
Deployment & Operation
am Beispiel
Überwachung der Modelle
Model Performance
Model Input/Output Distribution
Model Learning Curves
Model Evaluation Metrics
Model QA Results
Hardware Metrics
CI/CD Pipeline for ML
ML Monitoring
#WISSENTEILEN
Was ihr
mitnehmen
solltet!
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
ML for
Production
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
ML for
Production
Exploration
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
ML for
PRODUCTION
#WISSENTEILEN
Zeit für
Fragen?
Immer!
#WISSENTEILEN
Vielen
Dank!
#WISSENTEILEN
by open knowledge GmbH
@_openKnowledge | @mobileLarson
Lars Röwekamp, CIO New Technologies
#WISSENTEILEN
BILDNACHWEIS
Folie 01: © Merena, iStockphoto.com
Folie 20: © Photoplotnikov, iStockphoto.com
All other pictures, drawings and icons originate from
• pexels.com,
• pixabay.com,
• unsplash.com,
• flaticon.com
or were made by my own.

Weitere ähnliche Inhalte

Ähnlich wie Machine Learning? Ja gerne! Aber was und wie? Eine Kurzanleitung für den erfolgreichen Einstieg in die Welt der KI.

7 Thesen zum Recruiting der Zukunft
7 Thesen zum Recruiting der Zukunft7 Thesen zum Recruiting der Zukunft
7 Thesen zum Recruiting der Zukunft
Henrik Zaborowski
 
Die Macht der Semantik
Die Macht der SemantikDie Macht der Semantik
Die Macht der Semantik
Sandra Petschar
 
Strukturierte Daten — oder: das neue semantische Internet
Strukturierte Daten — oder: das neue semantische InternetStrukturierte Daten — oder: das neue semantische Internet
Strukturierte Daten — oder: das neue semantische InternetHeinrich Klassen
 
Business Model Course Day 1 (in German)
Business Model Course Day 1 (in German)Business Model Course Day 1 (in German)
Business Model Course Day 1 (in German)
Alexander Osterwalder
 
The Great MVP Swindle
The Great MVP SwindleThe Great MVP Swindle
The Great MVP Swindle
Screamin Wrba
 
Agiles Anforderungsmanagement bei HEC
Agiles Anforderungsmanagement bei HECAgiles Anforderungsmanagement bei HEC
Agiles Anforderungsmanagement bei HEC
Christian Seedig
 
Mittelstand trifft künstliche Intelligenz - Point of View
Mittelstand trifft künstliche Intelligenz - Point of ViewMittelstand trifft künstliche Intelligenz - Point of View
Mittelstand trifft künstliche Intelligenz - Point of View
WeissmanGruppe
 
Mobile Trends - Sich abzeichnende Mobile Trends
Mobile Trends - Sich abzeichnende Mobile TrendsMobile Trends - Sich abzeichnende Mobile Trends
Mobile Trends - Sich abzeichnende Mobile Trends
Milos Radovic
 
Recrutainment - Spielerische Ansätze in Personalmarketing und -auswahl
Recrutainment - Spielerische Ansätze in Personalmarketing und -auswahlRecrutainment - Spielerische Ansätze in Personalmarketing und -auswahl
Recrutainment - Spielerische Ansätze in Personalmarketing und -auswahl
Joachim Diercks
 
Wir Bringen Sie Und Ihr Geschäft Online Auf Die Siegerstrasse
Wir Bringen Sie Und Ihr Geschäft Online Auf Die SiegerstrasseWir Bringen Sie Und Ihr Geschäft Online Auf Die Siegerstrasse
Wir Bringen Sie Und Ihr Geschäft Online Auf Die Siegerstrasse
alex433296
 
Zwischen Himmel und Hölle - UX in Zeiten von KI
Zwischen Himmel und Hölle - UX in Zeiten von KIZwischen Himmel und Hölle - UX in Zeiten von KI
Zwischen Himmel und Hölle - UX in Zeiten von KI
Christian Graf
 
Von der bloßen Idee bis zum ersten Kunden - Digital Marketing im Kontext der ...
Von der bloßen Idee bis zum ersten Kunden - Digital Marketing im Kontext der ...Von der bloßen Idee bis zum ersten Kunden - Digital Marketing im Kontext der ...
Von der bloßen Idee bis zum ersten Kunden - Digital Marketing im Kontext der ...
Jean Maurice Port
 
Kanzleimarketing 2023 - 7 unschlagbare SEO Strategien für Ihre Kanzlei
Kanzleimarketing 2023 - 7 unschlagbare SEO Strategien für Ihre KanzleiKanzleimarketing 2023 - 7 unschlagbare SEO Strategien für Ihre Kanzlei
Kanzleimarketing 2023 - 7 unschlagbare SEO Strategien für Ihre Kanzlei
Johanna Weiers
 
Die 7 besten Tipps für das Recruiting der Zukunft
Die 7 besten Tipps für das Recruiting der ZukunftDie 7 besten Tipps für das Recruiting der Zukunft
Die 7 besten Tipps für das Recruiting der Zukunft
Andreas Dittes
 
Scrum in cool
Scrum in coolScrum in cool
Scrum in cool
Stefan ROOCK
 
Die Kraft des Internets - Warum Transparenz und eine kundenzentrierte Innova...
Die Kraft des Internets - Warum Transparenz  und eine kundenzentrierte Innova...Die Kraft des Internets - Warum Transparenz  und eine kundenzentrierte Innova...
Die Kraft des Internets - Warum Transparenz und eine kundenzentrierte Innova...
Daniel Bartel
 
Digitale Geschäftsmodelle
Digitale GeschäftsmodelleDigitale Geschäftsmodelle
Digitale Geschäftsmodelle
Jürg Stuker
 
Innovation – Vor der Idee steht die richtige Fragestellung
Innovation – Vor der Idee steht die richtige FragestellungInnovation – Vor der Idee steht die richtige Fragestellung
Innovation – Vor der Idee steht die richtige Fragestellung
Me & Company GmbH
 
SwissQ Culture Code
SwissQ Culture CodeSwissQ Culture Code
SwissQ Culture Code
SwissQ Consulting AG
 
Lean Startup - Auch in erwachsenen Unternehmen?
Lean Startup - Auch in erwachsenen Unternehmen?Lean Startup - Auch in erwachsenen Unternehmen?
Lean Startup - Auch in erwachsenen Unternehmen?
Stefan ROOCK
 

Ähnlich wie Machine Learning? Ja gerne! Aber was und wie? Eine Kurzanleitung für den erfolgreichen Einstieg in die Welt der KI. (20)

7 Thesen zum Recruiting der Zukunft
7 Thesen zum Recruiting der Zukunft7 Thesen zum Recruiting der Zukunft
7 Thesen zum Recruiting der Zukunft
 
Die Macht der Semantik
Die Macht der SemantikDie Macht der Semantik
Die Macht der Semantik
 
Strukturierte Daten — oder: das neue semantische Internet
Strukturierte Daten — oder: das neue semantische InternetStrukturierte Daten — oder: das neue semantische Internet
Strukturierte Daten — oder: das neue semantische Internet
 
Business Model Course Day 1 (in German)
Business Model Course Day 1 (in German)Business Model Course Day 1 (in German)
Business Model Course Day 1 (in German)
 
The Great MVP Swindle
The Great MVP SwindleThe Great MVP Swindle
The Great MVP Swindle
 
Agiles Anforderungsmanagement bei HEC
Agiles Anforderungsmanagement bei HECAgiles Anforderungsmanagement bei HEC
Agiles Anforderungsmanagement bei HEC
 
Mittelstand trifft künstliche Intelligenz - Point of View
Mittelstand trifft künstliche Intelligenz - Point of ViewMittelstand trifft künstliche Intelligenz - Point of View
Mittelstand trifft künstliche Intelligenz - Point of View
 
Mobile Trends - Sich abzeichnende Mobile Trends
Mobile Trends - Sich abzeichnende Mobile TrendsMobile Trends - Sich abzeichnende Mobile Trends
Mobile Trends - Sich abzeichnende Mobile Trends
 
Recrutainment - Spielerische Ansätze in Personalmarketing und -auswahl
Recrutainment - Spielerische Ansätze in Personalmarketing und -auswahlRecrutainment - Spielerische Ansätze in Personalmarketing und -auswahl
Recrutainment - Spielerische Ansätze in Personalmarketing und -auswahl
 
Wir Bringen Sie Und Ihr Geschäft Online Auf Die Siegerstrasse
Wir Bringen Sie Und Ihr Geschäft Online Auf Die SiegerstrasseWir Bringen Sie Und Ihr Geschäft Online Auf Die Siegerstrasse
Wir Bringen Sie Und Ihr Geschäft Online Auf Die Siegerstrasse
 
Zwischen Himmel und Hölle - UX in Zeiten von KI
Zwischen Himmel und Hölle - UX in Zeiten von KIZwischen Himmel und Hölle - UX in Zeiten von KI
Zwischen Himmel und Hölle - UX in Zeiten von KI
 
Von der bloßen Idee bis zum ersten Kunden - Digital Marketing im Kontext der ...
Von der bloßen Idee bis zum ersten Kunden - Digital Marketing im Kontext der ...Von der bloßen Idee bis zum ersten Kunden - Digital Marketing im Kontext der ...
Von der bloßen Idee bis zum ersten Kunden - Digital Marketing im Kontext der ...
 
Kanzleimarketing 2023 - 7 unschlagbare SEO Strategien für Ihre Kanzlei
Kanzleimarketing 2023 - 7 unschlagbare SEO Strategien für Ihre KanzleiKanzleimarketing 2023 - 7 unschlagbare SEO Strategien für Ihre Kanzlei
Kanzleimarketing 2023 - 7 unschlagbare SEO Strategien für Ihre Kanzlei
 
Die 7 besten Tipps für das Recruiting der Zukunft
Die 7 besten Tipps für das Recruiting der ZukunftDie 7 besten Tipps für das Recruiting der Zukunft
Die 7 besten Tipps für das Recruiting der Zukunft
 
Scrum in cool
Scrum in coolScrum in cool
Scrum in cool
 
Die Kraft des Internets - Warum Transparenz und eine kundenzentrierte Innova...
Die Kraft des Internets - Warum Transparenz  und eine kundenzentrierte Innova...Die Kraft des Internets - Warum Transparenz  und eine kundenzentrierte Innova...
Die Kraft des Internets - Warum Transparenz und eine kundenzentrierte Innova...
 
Digitale Geschäftsmodelle
Digitale GeschäftsmodelleDigitale Geschäftsmodelle
Digitale Geschäftsmodelle
 
Innovation – Vor der Idee steht die richtige Fragestellung
Innovation – Vor der Idee steht die richtige FragestellungInnovation – Vor der Idee steht die richtige Fragestellung
Innovation – Vor der Idee steht die richtige Fragestellung
 
SwissQ Culture Code
SwissQ Culture CodeSwissQ Culture Code
SwissQ Culture Code
 
Lean Startup - Auch in erwachsenen Unternehmen?
Lean Startup - Auch in erwachsenen Unternehmen?Lean Startup - Auch in erwachsenen Unternehmen?
Lean Startup - Auch in erwachsenen Unternehmen?
 

Mehr von OPEN KNOWLEDGE GmbH

Warum der Computer "Nein" sagt - Mehr Nachvollziehbarkeit dank Explainable AI
Warum der Computer "Nein" sagt - Mehr Nachvollziehbarkeit dank Explainable AIWarum der Computer "Nein" sagt - Mehr Nachvollziehbarkeit dank Explainable AI
Warum der Computer "Nein" sagt - Mehr Nachvollziehbarkeit dank Explainable AI
OPEN KNOWLEDGE GmbH
 
From Zero to still Zero: Die schönsten Fehler auf dem Weg in die Cloud
From Zero to still Zero: Die schönsten Fehler auf dem Weg in die CloudFrom Zero to still Zero: Die schönsten Fehler auf dem Weg in die Cloud
From Zero to still Zero: Die schönsten Fehler auf dem Weg in die Cloud
OPEN KNOWLEDGE GmbH
 
Der Spagat zwischen BIAS und FAIRNESS (2024)
Der Spagat zwischen BIAS und FAIRNESS (2024)Der Spagat zwischen BIAS und FAIRNESS (2024)
Der Spagat zwischen BIAS und FAIRNESS (2024)
OPEN KNOWLEDGE GmbH
 
FEHLENDE DATEN? (K)EIN PROBLEM!: Die Kunst der Data Imputation
FEHLENDE DATEN? (K)EIN PROBLEM!: Die Kunst der Data ImputationFEHLENDE DATEN? (K)EIN PROBLEM!: Die Kunst der Data Imputation
FEHLENDE DATEN? (K)EIN PROBLEM!: Die Kunst der Data Imputation
OPEN KNOWLEDGE GmbH
 
Nie wieder Log-Files!
Nie wieder Log-Files!Nie wieder Log-Files!
Nie wieder Log-Files!
OPEN KNOWLEDGE GmbH
 
Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!
OPEN KNOWLEDGE GmbH
 
From Zero to still Zero: The most beautiful mistakes going into the cloud.
From Zero to still Zero: The most beautiful mistakes going into the cloud. From Zero to still Zero: The most beautiful mistakes going into the cloud.
From Zero to still Zero: The most beautiful mistakes going into the cloud.
OPEN KNOWLEDGE GmbH
 
API Expand Contract
API Expand ContractAPI Expand Contract
API Expand Contract
OPEN KNOWLEDGE GmbH
 
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & Co
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & CoReady for the Future: Jakarta EE in Zeiten von Cloud Native & Co
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & Co
OPEN KNOWLEDGE GmbH
 
Shared Data in verteilten Architekturen
Shared Data in verteilten ArchitekturenShared Data in verteilten Architekturen
Shared Data in verteilten Architekturen
OPEN KNOWLEDGE GmbH
 
Machine Learning mit TensorFlow.js
Machine Learning mit TensorFlow.jsMachine Learning mit TensorFlow.js
Machine Learning mit TensorFlow.js
OPEN KNOWLEDGE GmbH
 
It's not Rocket Science: Neuronale Netze
It's not Rocket Science: Neuronale NetzeIt's not Rocket Science: Neuronale Netze
It's not Rocket Science: Neuronale Netze
OPEN KNOWLEDGE GmbH
 
Shared Data in verteilten Systemen
Shared Data in verteilten SystemenShared Data in verteilten Systemen
Shared Data in verteilten Systemen
OPEN KNOWLEDGE GmbH
 
Mehr Sicherheit durch Automatisierung
Mehr Sicherheit durch AutomatisierungMehr Sicherheit durch Automatisierung
Mehr Sicherheit durch Automatisierung
OPEN KNOWLEDGE GmbH
 
API-Design, Microarchitecture und Testing
API-Design, Microarchitecture und TestingAPI-Design, Microarchitecture und Testing
API-Design, Microarchitecture und Testing
OPEN KNOWLEDGE GmbH
 
Supersonic Java für die Cloud: Quarkus
Supersonic Java für die Cloud: QuarkusSupersonic Java für die Cloud: Quarkus
Supersonic Java für die Cloud: Quarkus
OPEN KNOWLEDGE GmbH
 
Hilfe, ich will meinen Monolithen zurück!
Hilfe, ich will meinen Monolithen zurück!Hilfe, ich will meinen Monolithen zurück!
Hilfe, ich will meinen Monolithen zurück!
OPEN KNOWLEDGE GmbH
 
Das ist doch alles nur Frontend - Wer braucht da schon Architektur?
Das ist doch alles nur Frontend - Wer braucht da schon Architektur?Das ist doch alles nur Frontend - Wer braucht da schon Architektur?
Das ist doch alles nur Frontend - Wer braucht da schon Architektur?
OPEN KNOWLEDGE GmbH
 
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
OPEN KNOWLEDGE GmbH
 
Das Product Goal oder "Ohne Ziele laufen eben alle in die Richtung, die ihnen...
Das Product Goal oder "Ohne Ziele laufen eben alle in die Richtung, die ihnen...Das Product Goal oder "Ohne Ziele laufen eben alle in die Richtung, die ihnen...
Das Product Goal oder "Ohne Ziele laufen eben alle in die Richtung, die ihnen...
OPEN KNOWLEDGE GmbH
 

Mehr von OPEN KNOWLEDGE GmbH (20)

Warum der Computer "Nein" sagt - Mehr Nachvollziehbarkeit dank Explainable AI
Warum der Computer "Nein" sagt - Mehr Nachvollziehbarkeit dank Explainable AIWarum der Computer "Nein" sagt - Mehr Nachvollziehbarkeit dank Explainable AI
Warum der Computer "Nein" sagt - Mehr Nachvollziehbarkeit dank Explainable AI
 
From Zero to still Zero: Die schönsten Fehler auf dem Weg in die Cloud
From Zero to still Zero: Die schönsten Fehler auf dem Weg in die CloudFrom Zero to still Zero: Die schönsten Fehler auf dem Weg in die Cloud
From Zero to still Zero: Die schönsten Fehler auf dem Weg in die Cloud
 
Der Spagat zwischen BIAS und FAIRNESS (2024)
Der Spagat zwischen BIAS und FAIRNESS (2024)Der Spagat zwischen BIAS und FAIRNESS (2024)
Der Spagat zwischen BIAS und FAIRNESS (2024)
 
FEHLENDE DATEN? (K)EIN PROBLEM!: Die Kunst der Data Imputation
FEHLENDE DATEN? (K)EIN PROBLEM!: Die Kunst der Data ImputationFEHLENDE DATEN? (K)EIN PROBLEM!: Die Kunst der Data Imputation
FEHLENDE DATEN? (K)EIN PROBLEM!: Die Kunst der Data Imputation
 
Nie wieder Log-Files!
Nie wieder Log-Files!Nie wieder Log-Files!
Nie wieder Log-Files!
 
Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!
 
From Zero to still Zero: The most beautiful mistakes going into the cloud.
From Zero to still Zero: The most beautiful mistakes going into the cloud. From Zero to still Zero: The most beautiful mistakes going into the cloud.
From Zero to still Zero: The most beautiful mistakes going into the cloud.
 
API Expand Contract
API Expand ContractAPI Expand Contract
API Expand Contract
 
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & Co
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & CoReady for the Future: Jakarta EE in Zeiten von Cloud Native & Co
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & Co
 
Shared Data in verteilten Architekturen
Shared Data in verteilten ArchitekturenShared Data in verteilten Architekturen
Shared Data in verteilten Architekturen
 
Machine Learning mit TensorFlow.js
Machine Learning mit TensorFlow.jsMachine Learning mit TensorFlow.js
Machine Learning mit TensorFlow.js
 
It's not Rocket Science: Neuronale Netze
It's not Rocket Science: Neuronale NetzeIt's not Rocket Science: Neuronale Netze
It's not Rocket Science: Neuronale Netze
 
Shared Data in verteilten Systemen
Shared Data in verteilten SystemenShared Data in verteilten Systemen
Shared Data in verteilten Systemen
 
Mehr Sicherheit durch Automatisierung
Mehr Sicherheit durch AutomatisierungMehr Sicherheit durch Automatisierung
Mehr Sicherheit durch Automatisierung
 
API-Design, Microarchitecture und Testing
API-Design, Microarchitecture und TestingAPI-Design, Microarchitecture und Testing
API-Design, Microarchitecture und Testing
 
Supersonic Java für die Cloud: Quarkus
Supersonic Java für die Cloud: QuarkusSupersonic Java für die Cloud: Quarkus
Supersonic Java für die Cloud: Quarkus
 
Hilfe, ich will meinen Monolithen zurück!
Hilfe, ich will meinen Monolithen zurück!Hilfe, ich will meinen Monolithen zurück!
Hilfe, ich will meinen Monolithen zurück!
 
Das ist doch alles nur Frontend - Wer braucht da schon Architektur?
Das ist doch alles nur Frontend - Wer braucht da schon Architektur?Das ist doch alles nur Frontend - Wer braucht da schon Architektur?
Das ist doch alles nur Frontend - Wer braucht da schon Architektur?
 
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
 
Das Product Goal oder "Ohne Ziele laufen eben alle in die Richtung, die ihnen...
Das Product Goal oder "Ohne Ziele laufen eben alle in die Richtung, die ihnen...Das Product Goal oder "Ohne Ziele laufen eben alle in die Richtung, die ihnen...
Das Product Goal oder "Ohne Ziele laufen eben alle in die Richtung, die ihnen...
 

Machine Learning? Ja gerne! Aber was und wie? Eine Kurzanleitung für den erfolgreichen Einstieg in die Welt der KI.

  • 1. #WISSENTEILEN KI? Ja, gerne! Aber was und wie? @_openKnowledge | @mobileLarson Lars Röwekamp | open knowledge GmbH
  • 2. #WISSENTEILEN @mobileLarson CIO New Technologies OPEN KNOWLEDGE Lars Röwekamp (Architecture, Cloud, AI & ML)
  • 4. „Artificial Intelligence is a system’s ability to correctly interpret external data, to learn from such data, and to use those learnings to achieve specific goals and tasks through flexible adaptation.“ (Andreas Kaplan & Michael Haenlein, 2018)
  • 5. künstliche Intelligenz starke KI schwache KI echte Nachbildung des menschlichen Bewusstseins (bis heute nicht existent) Maschine, die menschliches Verhalten (teilweise) imitiert
  • 6. künstliche Intelligenz starke KI schwache KI Machine Learning echte Nachbildung des menschlichen Bewusstseins (bis heute nicht existent) Teilgebiet der künstlichen Intelligenz: lernt mittels statistischer Methoden und kann sich anhand von Erfahrungen verbessern Maschine, die menschliches Verhalten (teilweise) imitiert
  • 7. Teilgebiet des Machine Learnings: bedient sich mehrschichtiger neuronaler Netze zum Lernen/Entscheiden künstliche Intelligenz starke KI schwache KI Machine Learning echte Nachbildung des menschlichen Bewusstseins (bis heute nicht existent) Teilgebiet der künstlichen Intelligenz: lernt mittels statistischer Methoden und kann sich anhand von Erfahrungen verbessern Maschine, die menschliches Verhalten (teilweise) imitiert Deep Learning
  • 8. GenAI KI als „Erfinder“ künstliche Intelligenz starke KI schwache KI Deep Learning Machine Learning
  • 11. Daten, Daten, Daten Modell und Algorithmus Grundwahrheit und Baseline Ruckschluss und Aktion Korrelation, nicht Kausalität KI ist …
  • 13. Source Fortune Magazine.: https://fortune.com/2022/07/26/a-i-success-business-sense-aible-sengupta/ „Failure rate of AI projects has been between 83% to 92%.“
  • 14. Daten 42 Daten Daten Daten Daten Daten Daten Daten Daten ML Voodoo Wenn 42 die Lösung ist, was ist dann das Problem?
  • 15. Pain Point Pain Point Pain Point Pain Point 42 Pain Point Pain Point ML Project
  • 16. Exploration Ideation DAYs gute Idee! 42 Pain Point Pain Point Pain Point Pain Point ML Project Lifecycle
  • 17. Exploration Ideation DAYs WEEKs gute Idee funktioniert! 42 Pain Point Pain Point Pain Point Pain Point ML Project Lifecycle
  • 18. Professionalization Exploration Ideation DAYs WEEKs MONTHs gute Idee funktioniert nachhaltig! 42 Pain Point Pain Point Pain Point Pain Point ML Project Lifecycle
  • 19. Professionalization Exploration Ideation DAYs WEEKs MONTHs gute Idee funktioniert nachhaltig! 42 83% propability Pain Point Pain Point Pain Point Pain Point ML Project Lifecycle
  • 20. Professionalization Exploration Ideation DAYs WEEKs MONTHs well-founded Proof of Concept viable Product AI validated Use-Case(s) initial Idea(s) gute Idee funktioniert nachhaltig! 42 Pain Point Pain Point Pain Point Pain Point ML Project Lifecycle
  • 21. ML Project Lifecycle Ideation DAYs WEEKs MONTHs well-founded Proof of Concept viable Product AI validated Use-Case(s) initial Idea(s) 42 Design Thinking Lean Startup Agile Development Professionalization Exploration Pain Point Pain Point Pain Point Pain Point
  • 22. ML Project Lifecycle Ideation DAYs WEEKs MONTHs well-founded Proof of Concept viable Product AI validated Use-Case(s) initial Idea(s) 42 Design Thinking Lean Startup Agile Development Professionalization Exploration Pain Point Pain Point Pain Point Pain Point
  • 23. ML Project Lifecycle Ideation DAYs WEEKs MONTHs Design Thinking Lean Startup Agile Development Professionalization Exploration Pain Point Pain Point Pain Point Pain Point 42
  • 24. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation *in Anlehnung an „CRISP-DM“: CRoss Industry Standard Process for Data Mining ML for Production
  • 25. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for Production *in Anlehnung an „CRISP-DM“: CRoss Industry Standard Process for Data Mining
  • 27. „Wir wollen mit AI unser Geschäft verbessern!“ CEO, mySuperMarket ML for Production am Beispiel …
  • 28. SALES FORECAST Auf Basis historischer Daten aus mehreren Filialen einer Supermarktkette sollen Verkaufszahlen für die Zukunft vorhergesagt werden. ML for Production am Beispiel …
  • 29. 1 3 5 2 4 6 Business Understanding
  • 30. „Was war noch mal die konkrete Frage?“ Ideation & Zielbestimmung
  • 31. Business Understanding am Beispiel AI Ideation - SALES FORECAST „Häufig ist zu viel oder zu wenig Ware auf dem Lager.“ „Verderbliche Ware wird abends weggeschmissen.“ „Marketingkampagnen sind nicht effektiv (genug).“ „Umsatz ist ok, aber nicht wirklich planbar.“ …
  • 33. WORKSHOP PHASE 1 Opportunity Areas identified HMW … die Verkaufsplanung auf Produktebene optimieren? HMW … immer ausreichen Personal im Markt präsent haben? AI Ideation Verkaufsoptimierung
  • 34. WORKSHOP PHASE 2 Opportunity Areas identified HMW … die Verkaufsplanung auf Produktebene optimieren? HMW … abends Restbestände an die Käufer:innen bringen? Goal & Blocker identified In 12 Monaten werden wir … von allen TOP 100 Produkten immer hinreichend viele im Markt und auf Lager haben OHNE kostspieligen Überschuss. Können wir … Vorhersagen auf Produktebene treffen? Können wir … Kosten/Nutzen für die Lagerung berechnen? AI Ideation Verkaufsoptimierung
  • 35. WORKSHOP PHASE 3 Opportunity Areas identified Goal & Blocker identified Key Ideas to explore HMW … die Verkaufsplanung auf Produktebene optimieren? In 12 Monaten werden wir … von allen TOP 100 Produkten immer hinreichend viele im Markt und auf Lager haben OHNE kostspieligen Überschuss. Können wir … Vorhersagen auf Produktebene treffen? Können wir … Kosten/Nutzen für die Lagerung berechnen? Key Idea von StockMag Optimierung des Lagerbestands auf der Basis historischer Lagerbewegungen. Key Idea von SaleUp Adaptive Plattform für Verkaufs- prognosen, die aus dem Feedback der Manager lernt. HMW … immer ausreichen Personal im Markt präsent haben? AI Ideation Verkaufsoptimierung
  • 36. AI Ideation WORKSHOP ERGEBNISSE Was haben wir gemeinsam erarbeitet / erreicht? • Liste identifizierter Chancen und potenzieller Lösungen • gemeinsam definiertes Ziel, das es via KI zu erreichen gilt • potentielle Blocker, die im Vorfeld ausgeräumt werden sollten EINHEITLICHES VERSTÄNDNIS & GEMEINSAME AUSRICHTUNG
  • 37. 00. HOW MIGHT WE … summarize your „how might we“ statement here 01. CONCEPT NAME provide a name tha encapsulates the essence of your idea 04. VISUALIZE narrate a story from the point of view of key stakeholder 05. GUT CHECK jot down your initial thoughts and rank the potential of your idea (low to high) 02. BENEFIT what unmet need or want are we answering 03. WHO …? … and for which user VALUE CREATION TARGET GROUP CONTEXT MEANS What value do you want to create? For whom …? Where and when…? How, with what? What is it …? describe your idea in detail – keep it clear and concise NOTES … define the initial reaction / critique? VALUE TO END-USER SCALE & GROTH POTENTIAL INNOVATION & CREATIVITY low high
  • 38. 00. HOW MIGHT WE … summarize your „how might we“ statement here 01. CONCEPT NAME provide a name tha encapsulates the essence of your idea 04. VISUALIZE narrate a story from the point of view of key stakeholder 05. GUT CHECK jot down your initial thoughts and rank the potential of your idea (low to high) 02. BENEFIT what unmet need or want are we answering 03. WHO …? … and for which user VALUE CREATION TARGET GROUP CONTEXT MEANS What value do you want to create? For whom …? Where and when…? How, with what? What is it …? describe your idea in detail – keep it clear and concise NOTES … define the initial reaction / critique? VALUE TO END-USER SCALE & GROTH POTENTIAL INNOVATION & CREATIVITY low high Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. • Benefit 01 • Benefit 02 • Benefit 03 Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua.. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua.. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua.. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.
  • 39. Business Understanding am Beispiel Business Ziele - SALES FORECAST Es soll eine Bedarfsvorhersage erstellt werden, welche die Vorhersage von Verkäufen*, sowie die Planung von Marketingkampagnen** unterstützt. * … und damit indirekt auch Beschaffung und Lagerhaltung ** ... wie z.B. Promotions oder Einführung neuer Produkte
  • 40. Business Understanding am Beispiel Analytische Ziele - SALES FORECAST Eine Machine Learning Lösung soll den Umsatz je Filiale für den Zeitraum von 6 Wochen, mit einer Genauigkeit von [X]% vorhersagen. ACHTUNG: Hier ist ein konkreter Wert wichtig. „Möglichst genau“ hilft bei späterer Validierung und Qualitätsanalyse des Modells leider wenig!
  • 41. 1 3 5 2 4 6 Data Understanding
  • 42. Daten sammeln, untersuchen & bewerten „Die Wahrheit liegt in den Daten!“
  • 43. Modeling Data Sets Data Retrival ML4Prod Process Deployment & Monitoring Data Processing & Wrangling Feature Extraction & Engineering Feature Scaling & Selection Data Preparation Model Evaluation & Tuning Re-iterate until satisfactory model performance
  • 44. Data Sets Modeling Deployment & Monitoring Data Processing & Wrangling Feature Extraction & Engineering Feature Scaling & Selection Data Retrival Data Preparation Model Evaluation & Tuning Re-iterate until satisfactory model performance Data Understanding
  • 45. Data Understanding am Beispiel Daten sammeln & beschreiben - SALES FORECAST Als Basis für erste Analyse dienen Sales Reports sowie weitere Daten zu den POS aus den letzten drei Jahren. * Anzahl verkaufter Produkte pro Tag ** u.a. Lokation, Größe, Mitarbeiter, Distanz zu Mitbewerbern
  • 46. Data Understanding am Beispiel Daten sammeln & beschreiben - SALES FORECAST Die Sales Reports und Daten aus den POS werden mit Hilfe einer Exploratory Data Analysis (EDA) tiefgehender untersucht. Der Fokus der Analyse liegt auf der Fragestellung, welche Variablen einen direkten oder indirekten Einfluss auf die Verkaufszahlen haben.
  • 47. Sales Data (>1 Mio Datensätze) Store Data (ca. 1100 Datensätze) Data Understanding am Beispiel
  • 48. Sales Data (>1 Mio Data Records) Data Understanding am Beispiel OBJECT? Inconvenient for ML! DATETIME? For sorting the "Time Series". But is there any more info in there? > 1 MIO Data Records Lots of data! Very nice. INT64? Which values/ranges are possible? And what do they mean? SALES! Target Variable
  • 49. Data Understanding am Beispiel Store Data (ca. 1100 Data Records) OBJECT? Inconvenient for ML! PROMO2? What semantics? COMPETITION? What semantics? NULL? Why are there no values? > 1000 DATENSÄTZE ca 1 Mio of 1000 Stores STORE! Merge Reference
  • 50. Data Understanding am Beispiel Store Data (ca. 1100 Data Records) OBJECT? Inconvenient for ML! PROMO2? What semantics? COMPETITION? What semantics? NULL? Why are there no values? > 1000 DATENSÄTZE ca 1 Mio of 1000 Stores STORE! Merge Reference
  • 55. Product Sales “Weekday“ Erhöhte Umsätze nach dem Wochenende Wahrscheinlich nur wenige geöffnete Filialen am Sonntag.
  • 56. Product Sales “Weekday“ 0 - 25% 25 - 50% 50 - 75% 75 - 100%
  • 57. Product Sales “Weekday“ *Wochentag sollte als eigenes Feature modelliert werden. DI bis FR ähnliche Muster SA, SO, MO individuelle Muster*
  • 59. Data Understanding am Beispiel Daten sammeln & beschreiben - SALES FORECAST Neben den Sales Reports der einzelnen POS gibt es noch zahlreiche weitere Quellen, die zur ML basierten Vorhersage herangezogen werden können, um so ein genaueres Bild zu zeichnen.
  • 60. Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources E-Commerce Sales Data Sales Transactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service
  • 61. E-Commerce Sales Data Sales Transactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Weather 3rd Party syndicated Data Macroeconomic Indicators Government Census Customer POS Information Household Panel Data Websites Reviews Marketing Campaigns (Mobile) Apps In-Store Devices Texts CRM Data Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources Social Media Click Streams Internet of Things Geolocation Devices Digital Personal Assistants Videos
  • 62. Data Understanding am Beispiel Daten untersuchen & bewerten - SALES FORECAST Die Daten müssen im Vorfeld auf viele Qualitätsfaktoren hin analysiert werden: Verfügbarkeit, Vollständigkeit, Genauigkeit, Gültigkeit, Konsistenz, Relevanz, Granularität, Kosten
  • 63. 1 3 5 2 4 6 Data Preparation
  • 64. „Quantität ist nicht gleich Qualität!“ Daten auswählen, transformieren & bereinigen
  • 65. Data Preparation Process Modeling Deployment & Monitoring Data Processing & Wrangling Feature Extraction & Engineering Feature Scaling & Selection Data Preparation Model Evaluation & Tuning Re-iterate until satisfactory model performance Data Sets Data Retrival
  • 66. Data Preparation Was genau sind eigentlich diese Features? Was bedeutet Feature Engineering? Und was ist der Unterschied zu Feature Selection?
  • 68. Sales Prediction ohne zusätzliche Features 150 100 50 0
  • 69. Sales Prediction mit zusätzlichen Features 150 100 50 0
  • 70. Data Preparation Die Kunst von Feature Engineering & Selection „As many as necessary and as few as possible.“ • so viele wie notwendig führt zu guten Resultaten • so wenige wie möglich führt zu guter Performance
  • 71. Data Preparation Feature Selection für jedermann? „There is a tool for it …“ • FeatureTools* • FeatureSelector** **https://github.com/WillKoehrsen/feature-selector *https://www.featuretools.com
  • 72. 1 3 5 2 4 6 Analysis & Modeling
  • 73. „Welches Modell passt zu mir?“ Modell wählen, trainieren & bewerten
  • 74. Data Sets Modeling Deployment & Monitoring Data Processing & Wrangling Feature Extraction & Engineering Feature Scaling & Selection Data Retrival Data Preparation Model Evaluation & Tuning Re-iterate until satisfactory model performance Analysis & Modeling
  • 75. Analysis & Modeling Germanys Next Top Model? Leichter gesagt als getan! Wo soll man da anfangen? Und wie?
  • 76. Analysis & Modeling MACHINE LEARNING SUPERVISED LEARNING UNSUPERVISED LEARNING CLUSTERING REGRESSION CLASSIFICATION DIMENSIONALITY REDUCTION REINCORCEMENT LEARNING Weather forecasting Market forecasting Estimating life expectancy Ad popularity prediction Diagnostic Customer retention Image classification Fraud detection Game AI Skill aquisition Robot Navigation Real-time decisions Target marketing Customer segmentation Recommendations Big-Data Visualization Meaningful compression Structure discovery Feature elicitation
  • 77. Analysis & Modeling MACHINE LEARNING SUPERVISED LEARNING UNSUPERVISED LEARNING CLUSTERING REGRESSION CLASSIFICATION DIMENSIONALITY REDUCTION REINCORCEMENT LEARNING Weather forecasting Market forecasting Estimating life expectancy Ad popularity prediction Diagnostic Customer retention Image classification Fraud detection Game AI Skill aquisition Robot Navigation Real-time decisions Target marketing Customer segmentation Recommendations Big-Data Visualization Meaningful compression Structure discovery Feature elicitation
  • 78. Analysis & Modeling ML Regressors Wenn ein Zukunftswert auf Basis von Vergangenheitswerten vorhergesagt werden soll, kommen in der Regel Regression Algorithmen (aka Regressors) zum Einsatz.
  • 79. Analysis & Modeling am Beispiel Typische Modell-Kandidaten für „Demand Forecasting“ ARIMA / SARIMA Linear Regression XG Boost K-Nearest Neighbors Regression Random Forrest Long Short-Term Memory (LSTM) Beste Lösung? Abhängig von Fragestellung, z.B. … SARIMA saisonale Vorhersagen Linear Regression Einfluss von Änderungen Trendvorhersagen
  • 81. 1 3 5 2 4 6 QA & Validation
  • 82. „Ist GUT auch wirklich GUT genug?“ Modellqualität vs. Projektziel
  • 83. Data Sets Modeling Deployment & Monitoring Data Processing & Wrangling Feature Extraction & Engineering Feature Scaling & Selection Data Retrival Data Preparation Model Evaluation & Tuning Re-iterate until satisfactory model performance QA & Validation
  • 84. ML Model Training 1. fit 2. predict X_train y_train 3. calc RMSPE „train“ vs score_train QA & Validation am Beispiel y_predict y_train
  • 85. ML Model Training 4. predict vs score_test QA & Validation am Beispiel X_test y_predict y_test 5. calc RMSPE „test“
  • 86. QA & Validation am Beispiel score_test score_train ≈ > X
  • 87. QA & Validation am Beispiel analytisches Ziel "Eine Machine Learning Lösung soll den Umsatz je Filiale für den Zeitraum von 6 Wochen, mit einer Genauigkeit von [X]% vorhersagen.“ score_test score_train ≈ > X
  • 88. QA & Validation am Beispiel MAEP of Forecast on Group Level Mean Avarage Percentage Error Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ Product vs Group Level?
  • 89. QA & Validation am Beispiel MAEP of Forecast Mean Avarage Percentage Error Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ Gewichtung?
  • 90. QA & Validation am Beispiel Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ W-MAEP of Forecast Weighted Mean Avarage Percentage Error
  • 91. QA & Validation Quelle: https://towardsdatascience.com/a-short-introduction-to-model-selection-bb1bb9c73376
  • 92. QA & Validation am Beispiel score_test score_train ≈ > X
  • 93. QA & Validation am Beispiel ML Model Training fit predict X_all y_all deploy Model store Model ML Model Deployment
  • 94. 1 3 5 2 4 6 Deployment & Operation
  • 95. „ACHTUNG! Dies ist keine Übung!“ Model Deployment & Performance Monitoring
  • 96. Data Sets Modeling Deployment & Monitoring Data Processing & Wrangling Feature Extraction & Engineering Feature Scaling & Selection Data Retrival Data Preparation Model Evaluation & Tuning Re-iterate until satisfactory model performance Deployment & Operation
  • 97. “Change is the only constant in life.“ Herklit, griechischer Philosoph
  • 98. Deployment & Operation Statisches Modell Re-Trained Modell Verschlechterung über die Zeit Regelmäßiges Modell-Update Model Quality Model Quality
  • 99. Deployment & Operation ML basierter Web Service 4. call WS 1. (re)train 3. (re)deploy predict(…) prediction 2. validate
  • 100. CONTINUOUS DELIVERY “…the ability to get changes of all types — including new features, configuration changes, bug fixes, and experiments — into production, or into the hands of users, safely and quickly in a sustainable way.“ Jez Humble & Dave Farley
  • 101. Deployment & Operation am Beispiel MLops etablieren aka CI / CD Pipeline für Änderungen Data Model Code Schema Zeitreihen Mengengerüst Algorithmen Trainings Experimente Anforderungen Bug Fixes Konfigurationen
  • 104. Deployment & Operation am Beispiel Überwachung der Modelle Model Performance Model Input/Output Distribution Model Learning Curves Model Evaluation Metrics Model QA Results Hardware Metrics CI/CD Pipeline for ML
  • 107. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for Production
  • 108. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for Production Exploration
  • 109. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for PRODUCTION
  • 111. #WISSENTEILEN Vielen Dank! #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies
  • 112. #WISSENTEILEN BILDNACHWEIS Folie 01: © Merena, iStockphoto.com Folie 20: © Photoplotnikov, iStockphoto.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or were made by my own.