#WISSENTEILEN
KI und
Architektur
@_openKnowledge | @mobileLarson
Lars Röwekamp | open knowledge GmbH
#WISSENTEILEN
@mobileLarson
CIO New Technologies
OPEN KNOWLEDGE
Lars Röwekamp
Cloud
AI & ML
Architecture
Microservices
<
<
<
<
#WISSENTEILEN
Was ist
künstliche
Intelligenz?
„Artificial Intelligence is a system’s ability
to correctly interpret external data,
to learn from such data, and to use those
learnings to achieve specific goals and tasks
through flexible adaptation.“
(Andreas Kaplan & Michael Haenlein, 2018)
künstliche Intelligenz
starke
KI
schwache KI
echte Nachbildung des
menschlichen Bewusstseins
(bis heute nicht existent)
Maschine, die
menschliches
Verhalten (teilweise)
imitiert
künstliche Intelligenz
starke
KI
schwache KI
Machine
Learning
echte Nachbildung des
menschlichen Bewusstseins
(bis heute nicht existent)
Teilgebiet der künstlichen
Intelligenz: lernt mittels
statistischer Methoden
und kann sich anhand von
Erfahrungen verbessern
Maschine, die
menschliches
Verhalten (teilweise)
imitiert
Teilgebiet des Machine
Learnings: bedient sich
mehrschichtiger neuronaler
Netze zum Lernen/Entscheiden
künstliche Intelligenz
starke
KI
schwache KI
Deep
Learning
Machine
Learning
echte Nachbildung des
menschlichen Bewusstseins
(bis heute nicht existent)
Teilgebiet der künstlichen
Intelligenz: lernt mittels
statistischer Methoden
und kann sich anhand von
Erfahrungen verbessern
Maschine, die
menschliches
Verhalten (teilweise)
imitiert
Neuronale Netze
zum Lernen und Entscheiden
künstliche Intelligenz
starke
KI
schwache KI
Deep
Learning
Machine
Learning
Quelle: https://news.microsoft.com/de-de/deep-learning-whitepaper/
Quelle: https://news.microsoft.com/de-de/deep-learning-whitepaper/
KORRELATION
vs
KAUSALITÄT
Daten, Daten, Daten
Modell und Algorithmus
Grundwahrheit und Baseline
Ruckschluss und Aktion
Korrelation, nicht Kausalität
KI ist …
#WISSENTEILEN
Wo hilft
künstliche
Intelligenz?
KI & Business
Anlagen & Maschinenbau
Product Quality Assurance
Process Monitoring
Machine Set-Up Optimization
Preditive Maintenance
KI & Business
Einzel- & Online-Handel
Sales Prediction
Logistic Optimization
Retouren Management
Product Placement
Brand Loyality
KI & Business
Finance & Insurance
Personalized Assistance
Insurance Application
Risk Management
Anomalie Detection
KI & Business
Human Resources
Pre Selection
Virtual Assesment
Self-Scheduling
Active Sourcing
Campaign Analytics
KI & Business
Customer Experience
Chatbot & Voice Assistant
Realtime Next Best Action
Sentiment Analysis
Predictive Customer Service
Intelligent Routing
KI spart Kosten
KI hebt Umsatz
KI verbessert Qualität
KI vermindert Risiko
KI optimiert Prozesse
KI steigert Kundenbindung
KI & Business
#WISSENTEILEN
Wie binde ich
künstliche
Intelligenz
ein?
Daten
42
Daten
Daten
Daten
Daten
Daten
Daten
Daten
Daten
ML Voodoo
ML Voodoo Maturity Level
Level #1
Level #2
Level #3
Level #4
Level #5
Daten
Daten
Daten
Daten
Daten
Daten
Daten
Daten
Daten
42
Level #2:
Nutzung von 3rd
Party NNs
Level #3:
Produktiver Einsatz
von ML
Level #4:
Entwurf & Umsetzung
eigener NNs
Level #5:
High End Math
& Data Analytics
Level #1:
Integration von
3rd Party APIs
Level #1:
Integration von
3rd Party APIs
Level #2:
Nutzung von 3rd
Party NNs
Level #4:
Entwurf & Umsetzung
eigener NNs
Level #5:
High End Math
& Data Analytics
„Read this!“
Level #3:
Produktiver Einsatz
von ML
Level #2:
Nutzung von 3rd
Party NNs
Level #4:
Entwurf & Umsetzung
eigener NNs
Level #5:
High End Math
& Data Analytics
„Not your
business!“
Level #3:
Produktiver Einsatz
von ML
Level #1:
Integration von
3rd Party APIs
Level #2:
Nutzung von 3rd
Party NNs
Level #4:
Entwurf & Umsetzung
eigener NNs
Level #5:
High End Math
& Data Analytics
Level #1:
Integration von
3rd Party APIs
Level #3:
Produktiver Einsatz
von ML
Level #2:
EXPLORATION
Level #3:
PRODUCTION
Level #4:
RESEARCH
Level #2:
EXPLORATION
Level #4:
RESEARCH
not really
Level #3:
PRODUCTION
Level #2:
EXPLORATION
„You are
here, maybe!“
Level #3:
PRODUCTION
Level #2:
EXPLORATION
Level #3:
PRODUCTION
„But, you want to be
here, definitely!“
Level #2:
EXPLORATION
Level #3:
PRODUCTION
„But, you want to be
here, definitely!“
have
ML Voodoo Level 2 „only“
Issue
Understanding
Data
Understanding
Data
Preparation
QA &
Validation
Deployment &
Operation
Modeling
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
*in Anlehnung an „CRISP-DM“: CRoss Industry Standard Process for Data Mining
ML for
Production
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
*CRISP-DM: CRoss Industry Standard Process for Data Mining
ML for
Production
Quelle: https://www.techtarget.com/searchenterpriseai/feature/Data-preparation-for-machine-learning-still-requires-humans
ML for Production
am Beispiel Sales Forecast
ML for Production am Beispiel …
SALES FORECAST
Auf Basis historischer Daten aus mehreren Filialen sollen
Verkaufszahlen für die Zukunft vorhergesagt werden.
1 3 5
2 4 6
Business Understanding
Business Understanding
Problemstellung
Bestimmung der (betriebswirtschaftlichen) Problemstellung des
ML Projektes. Welche Fragestellungen sollen geklärt werden?
Zielbestimmung
Bestimmung der datenanalytischen Ziele zur Beantwortung der
Fragestellung, sowie der zugehörigen messbaren Erfolgskriterien.
Wann gilt das ML-Projekt als erfolgreich „abgeschlossen“?
Business Understanding
Ausgangsituation
Bewertung der aktuellen Ausgangssituation bzgl. Hardware-,
Software & Personalressourcen. Aufführen von Risiken.
Projektplan
Aufsetzen eines passenden Projektplans, inkl. Zieldefinition,
Zeitplan, Risikobeschreibung und Prüfung der zur Verfügung
stehenden Ressourcen.
Business Understanding
am Beispiel
Problemstellung - SALES FORECAST
„Häufig ist zu viel oder zu wenig Ware auf dem Lager.“
„Verderbliche Ware wird abends weggeschmissen.“
„Marketingkampagnen sind nicht effektiv (genug).“
„Umsatz ist ok, aber nicht wirklich planbar.“
…
Business Understanding
am Beispiel
Business Ziele - SALES FORECAST
Es soll eine Bedarfsvorhersage erstellt werden, welche die
Vorhersage von Verkäufen*, sowie die Planung von
Marketingkampagnen** unterstützt.
* … und damit indirekt auch Beschaffung und Lagerhaltung
** ... wie z.B. Promotions oder Einführung neuer Produkte
Business Understanding
am Beispiel
Analytische Ziele - SALES FORECAST
Eine Machine Learning Lösung soll den Bedarf von […] Produkten,
für den Zeitraum nächste/s/n [Woche|Monat|Jahr], mit einer
Genauigkeit von […]% vorhersagen.
1 3 5
2 4 6
Data Understanding
Data Understanding
Daten sammeln & beschreiben
Für die Analysen notwendige Daten beschaffen, integrieren und
„verstehen“. Reichen vorliegende Daten für die Analyse?
Daten untersuchen & bewerten
Durchführung erster Analysen inkl. Visualisierung von ersten
Erkenntnissen und Hypothesen. Passen vorliegende Daten in
Quantität und Qualität für die Analyse?
Data Understanding
am Beispiel
Daten sammeln & beschreiben - SALES FORECAST
Als Basis für erste Analyse dienen Sales Reports sowie
weitere Daten zu den POS aus den letzten drei Jahren.
* Anzahl verkaufter Produkte pro Tag
** u.a. Lokation, Größe, Mitarbeiter, Distanz zu Mitbewerbern
Sales Data
(>1 Mio Datensätze)
Store Data
(ca. 1100 Datensätze)
Data Understanding
am Beispiel
Product Sales “letzten Jahre“
SAISONALITÄT
TREND
Product Sales “letztes Jahr“
Autokorrelation?
Saisonalität?
Product Sales “Wochenverteilung“
DI bis FR
ähnliche
Muster
SA, SO, MO
individuelle
Muster*
*Wochentag als eigenes Feature
Product Sales “Feiertage“
Feiertage
zeigen sehr
individuelle
Muster*
*Feiertage als eigenes Feature
Data Understanding
am Beispiel
Daten sammeln & beschreiben - SALES FORECAST
Neben den Sales Reports der einzelnen POS gibt es noch
zahlreiche weitere Quellen, die zur ML basierten Vorhersage
herangezogen werden können, um so ein genaueres Bild zu
zeichnen.
Sales Transactions
Internal Data Sources
External Data Sources
Unstructured
Data Sources
Structured
Data Sources
E-Commerce Sales Data
Sales Transactions
Purchchase Orders
Inventory
POS Information
Loyality Cards
Customer Service
Internal Data Sources
External Data Sources
Unstructured
Data Sources
Structured
Data Sources
E-Commerce Sales Data
Sales Transactions
Purchchase Orders
Inventory
POS Information
Loyality Cards
Customer Service
Internal Data Sources
External Data Sources
Unstructured
Data Sources
Structured
Data Sources
Weather
3rd Party syndicated Data
Macroeconomic Indicators
Government Census
Customer POS Information
Household Panel Data
E-Commerce Sales Data
Sales Transactions
Purchchase Orders
Inventory
POS Information
Loyality Cards
Customer Service
Weather
3rd Party syndicated Data
Macroeconomic Indicators
Government Census
Customer POS Information
Household Panel Data
Websites
Reviews
Marketing Campaigns
(Mobile) Apps
In-Store Devices
Texts
CRM Data
Internal Data Sources
External Data Sources
Unstructured
Data Sources
Structured
Data Sources
E-Commerce Sales Data
Sales Transactions
Purchchase Orders
Inventory
POS Information
Loyality Cards
Customer Service
Weather
3rd Party syndicated Data
Macroeconomic Indicators
Government Census
Customer POS Information
Household Panel Data
Websites
Reviews
Marketing Campaigns
(Mobile) Apps
In-Store Devices
Texts
CRM Data
Internal Data Sources
External Data Sources
Unstructured
Data Sources
Structured
Data Sources
Social Media
Click Streams
Internet of Things
Geolocation Devices
Digital Personal Assistants
Videos
Data Understanding
am Beispiel
Daten untersuchen & bewerten - SALES FORECAST
Die Daten müssen im Vorfeld auf viele Qualitätsfaktoren hin
analysiert werden:
Verfügbarkeit, Vollständigkeit, Genauigkeit,
Gültigkeit, Konsistenz, Relevanz,
Granularität, Kosten
1 3 5
2 4 6
Data Preparation
Data Preparation
Daten auswählen
Auswahl der Daten auf Basis von Qualität und techn. Restriktionen.
Welche Daten(-Sets) sollen in die Analyse aufgenommen werden?
Daten bereinigen und transformieren
Bereinigung, Aggregieren und Veredelung der ausgewählten
Daten. In welcher Qualität und Granularität werden die Daten
benötigt?
Data Preparation Process
Data
Collection
Data
Preprocessing
Data
Transformation*
• Formatieren
• Bereinigen
• Veredeln
• Aufsplitten
• Skalieren
• Normalisieren
• Auftrennen
• Aggregieren
• Encoden
• Problem benennen
• Daten definieren
• Daten sammeln
und kombinieren
*aka Feature Engineering
Nicht der Feiertag selbst
ist relevant, sondern der
Tag davor und danach!
Data Preparation am Beispiel
BTW: Wo versteckt
sich eigentlich der Kunde?*
*direkte Korrelation
zu Sales, daher kein
eigenes Feature
Data Preparation am Beispiel
Feature Engineering*:
Tag der Woche
Promos
Flag „vor/nach Feiertag“
Flag „Schulfeiertag“
Sortiment
Saison
*Einführung zusätzlicher Features
Sales Prediction ohne zusätzliche Features
150
100
50
0
Sales Prediction mit zusätzlichen Features
150
100
50
0
1 3 5
2 4 6
Analysis & Modeling
Analysis & Modeling
Modell auswählen
Passenden Modellierungstechnik auswählen. Welches Modell
passt „am besten“ zur gegebenen Problemstellung aus Phase 1?
Modell bewerten*
Testmodell erstellen, um Qualität und Genauigkeit des Modells zu
prüfen. Liefert das Modell passende Ergebnisse zur Zielsetzung
aus Phase 1?
*inkl Erstellung und Bewertung eines Testmodell
Analysis & Modeling
am Beispiel
Typische Modell-Kandidaten für „Demand Forecasting“
ARIMA / SARIMA
Linear Regression
XG Boost
K-Nearest Neighbors Regression
Random Forrest
Long Short-Term Memory (LSTM)
„Beste“ Lösung abhängig
von der Fragestellung, z.B.
SARIMA
saisonale Vorhersagen
Linear Regression
Einfluss von Änderungen
Trendvorhersagen
Quelle: https://www.datasciencecentral.com/linear-machine-learning-and-probabilistic-approaches-for-time/
Analysis & Modeling
am Beispiel
RMSE
Root Mean Square Error
1 3 5
2 4 6
QA & Validation
QA & Validation
Resultate / Prozess bewerten
Bewertung inkl Begründung des Projekterfolges und der Resultat.
Erreicht das Modell die Projektziele?
Einführung entscheiden
Entscheiden, ob das Projekt „beendet“ ist und eingeführt werden
kann. Ist das Modell produktionsreif und kann eingeführt
werden?
QA & Validation
am Beispiel
Short-Term Forecast: 5.3% Fehler
zusätzliches Features „Average Sale 3 Tage“
Long-Term Forecast: 7.1% Fehler
zusätzliches Features „Average Sale 2 Jahre“
QA & Validation
am Beispiel
MAEP of Forecast
Mean Avarage Percentage Error
Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/
Gewichtung?
QA & Validation
am Beispiel
Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/
W-MAEP of Forecast
Weighted Mean Avarage Percentage Error
QA & Validation
am Beispiel
MAEP of Forecast on Group Level
Mean Avarage Percentage Error
Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/
Product vs
Group Level?
1 3 5
2 4 6
Deployment & Operation
Deployment & Operation
MLops etablieren
Automatisiertes Deployment inkl Datenprüfung & Testing. Kann
das Modell automatisiert wiederholbar deployed werden?
Überwachung der Modelle
Aufsetzen einer Monitoring-Lösung inkl. Trendanalysen. Ist das
Modell noch performant?
CONTINUOUS DELIVERY
“…the ability to get changes of all types — including new
features, configuration changes, bug fixes, and experiments
— into production, or into the hands of users, safely and
quickly in a sustainable way.“
Jez Humble & Dave Farley
Deployment & Operation
am Beispiel
MLops etablieren aka CI / CD Pipeline für Änderungen
Data Model Code
Schema
Zeitreihen
Mengengerüst
Algorithmen
Trainings
Experimente
Anforderungen
Bug Fixes
Konfigurationen
Testpyramiden-Stack
Exemplarischer Stack der verschiedenen Testpyramiden für DATA, MODEL und CODE
Quelle: https://martinfowler.com/articles/cd4ml.html
CI/CD Testing
Deployment & Operation
am Beispiel
Überwachung der Modelle
Model Performance
Model Input/Output Distribution
Model Learning Curves
Model Evaluation Metrics
Model QA Results
Hardware Metrics
CI/CD Pipeline for ML
ML Monitoring
#WISSENTEILEN
Wer macht
was in
welcher
Phase?
RACI
Matrix
R = Responsible
A = Accountable
C = Consulted
= Consulted
I
Quelle: https://towardsdatascience.com/crisp-dm-ready-for-machine-learning-projects-2aad9172056a
#WISSENTEILEN
Was ihr
mitnehmen
solltet!
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
ML for
Production
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
ML for
Production
Exploration
1 3 5
2 4 6
Business
Understanding
Data
Understanding
Data
Preparation
Analysis &
Modeling
QA &
Validation
Deployment &
Operation
ML for
PRODUCTION
#WISSENTEILEN
Zeit für
Fragen?
Immer!
#WISSENTEILEN
Vielen
Dank!
#WISSENTEILEN
by open knowledge GmbH
@_openKnowledge | @mobileLarson
Lars Röwekamp, CIO New Technologies
#WISSENTEILEN
BILDNACHWEIS
Folie 01: © Merena, iStockphoto.com
Folie 20: © Photoplotnikov, iStockphoto.com
All other pictures, drawings and icons originate from
• pexels.com,
• pixabay.com,
• unsplash.com,
• flaticon.com
or were made by my own.

KI und Architektur

  • 1.
    #WISSENTEILEN KI und Architektur @_openKnowledge |@mobileLarson Lars Röwekamp | open knowledge GmbH
  • 2.
    #WISSENTEILEN @mobileLarson CIO New Technologies OPENKNOWLEDGE Lars Röwekamp Cloud AI & ML Architecture Microservices < < < <
  • 3.
  • 4.
    „Artificial Intelligence isa system’s ability to correctly interpret external data, to learn from such data, and to use those learnings to achieve specific goals and tasks through flexible adaptation.“ (Andreas Kaplan & Michael Haenlein, 2018)
  • 5.
    künstliche Intelligenz starke KI schwache KI echteNachbildung des menschlichen Bewusstseins (bis heute nicht existent) Maschine, die menschliches Verhalten (teilweise) imitiert
  • 6.
    künstliche Intelligenz starke KI schwache KI Machine Learning echteNachbildung des menschlichen Bewusstseins (bis heute nicht existent) Teilgebiet der künstlichen Intelligenz: lernt mittels statistischer Methoden und kann sich anhand von Erfahrungen verbessern Maschine, die menschliches Verhalten (teilweise) imitiert
  • 7.
    Teilgebiet des Machine Learnings:bedient sich mehrschichtiger neuronaler Netze zum Lernen/Entscheiden künstliche Intelligenz starke KI schwache KI Deep Learning Machine Learning echte Nachbildung des menschlichen Bewusstseins (bis heute nicht existent) Teilgebiet der künstlichen Intelligenz: lernt mittels statistischer Methoden und kann sich anhand von Erfahrungen verbessern Maschine, die menschliches Verhalten (teilweise) imitiert
  • 8.
    Neuronale Netze zum Lernenund Entscheiden künstliche Intelligenz starke KI schwache KI Deep Learning Machine Learning
  • 9.
  • 10.
  • 11.
    Daten, Daten, Daten Modellund Algorithmus Grundwahrheit und Baseline Ruckschluss und Aktion Korrelation, nicht Kausalität KI ist …
  • 12.
  • 13.
    KI & Business Anlagen& Maschinenbau Product Quality Assurance Process Monitoring Machine Set-Up Optimization Preditive Maintenance
  • 14.
    KI & Business Einzel-& Online-Handel Sales Prediction Logistic Optimization Retouren Management Product Placement Brand Loyality
  • 15.
    KI & Business Finance& Insurance Personalized Assistance Insurance Application Risk Management Anomalie Detection
  • 16.
    KI & Business HumanResources Pre Selection Virtual Assesment Self-Scheduling Active Sourcing Campaign Analytics
  • 17.
    KI & Business CustomerExperience Chatbot & Voice Assistant Realtime Next Best Action Sentiment Analysis Predictive Customer Service Intelligent Routing
  • 18.
    KI spart Kosten KIhebt Umsatz KI verbessert Qualität KI vermindert Risiko KI optimiert Prozesse KI steigert Kundenbindung KI & Business
  • 19.
  • 20.
  • 21.
    ML Voodoo MaturityLevel Level #1 Level #2 Level #3 Level #4 Level #5 Daten Daten Daten Daten Daten Daten Daten Daten Daten 42
  • 22.
    Level #2: Nutzung von3rd Party NNs Level #3: Produktiver Einsatz von ML Level #4: Entwurf & Umsetzung eigener NNs Level #5: High End Math & Data Analytics Level #1: Integration von 3rd Party APIs
  • 23.
    Level #1: Integration von 3rdParty APIs Level #2: Nutzung von 3rd Party NNs Level #4: Entwurf & Umsetzung eigener NNs Level #5: High End Math & Data Analytics „Read this!“ Level #3: Produktiver Einsatz von ML
  • 24.
    Level #2: Nutzung von3rd Party NNs Level #4: Entwurf & Umsetzung eigener NNs Level #5: High End Math & Data Analytics „Not your business!“ Level #3: Produktiver Einsatz von ML Level #1: Integration von 3rd Party APIs
  • 25.
    Level #2: Nutzung von3rd Party NNs Level #4: Entwurf & Umsetzung eigener NNs Level #5: High End Math & Data Analytics Level #1: Integration von 3rd Party APIs Level #3: Produktiver Einsatz von ML
  • 26.
  • 27.
  • 28.
    Level #2: EXPLORATION „You are here,maybe!“ Level #3: PRODUCTION
  • 29.
    Level #2: EXPLORATION Level #3: PRODUCTION „But,you want to be here, definitely!“
  • 30.
    Level #2: EXPLORATION Level #3: PRODUCTION „But,you want to be here, definitely!“ have
  • 31.
    ML Voodoo Level2 „only“ Issue Understanding Data Understanding Data Preparation QA & Validation Deployment & Operation Modeling
  • 32.
    1 3 5 24 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation *in Anlehnung an „CRISP-DM“: CRoss Industry Standard Process for Data Mining ML for Production
  • 33.
    1 3 5 24 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation *CRISP-DM: CRoss Industry Standard Process for Data Mining ML for Production
  • 34.
  • 35.
    ML for Production amBeispiel Sales Forecast
  • 36.
    ML for Productionam Beispiel … SALES FORECAST Auf Basis historischer Daten aus mehreren Filialen sollen Verkaufszahlen für die Zukunft vorhergesagt werden.
  • 37.
    1 3 5 24 6 Business Understanding
  • 38.
    Business Understanding Problemstellung Bestimmung der(betriebswirtschaftlichen) Problemstellung des ML Projektes. Welche Fragestellungen sollen geklärt werden? Zielbestimmung Bestimmung der datenanalytischen Ziele zur Beantwortung der Fragestellung, sowie der zugehörigen messbaren Erfolgskriterien. Wann gilt das ML-Projekt als erfolgreich „abgeschlossen“?
  • 39.
    Business Understanding Ausgangsituation Bewertung deraktuellen Ausgangssituation bzgl. Hardware-, Software & Personalressourcen. Aufführen von Risiken. Projektplan Aufsetzen eines passenden Projektplans, inkl. Zieldefinition, Zeitplan, Risikobeschreibung und Prüfung der zur Verfügung stehenden Ressourcen.
  • 40.
    Business Understanding am Beispiel Problemstellung- SALES FORECAST „Häufig ist zu viel oder zu wenig Ware auf dem Lager.“ „Verderbliche Ware wird abends weggeschmissen.“ „Marketingkampagnen sind nicht effektiv (genug).“ „Umsatz ist ok, aber nicht wirklich planbar.“ …
  • 41.
    Business Understanding am Beispiel BusinessZiele - SALES FORECAST Es soll eine Bedarfsvorhersage erstellt werden, welche die Vorhersage von Verkäufen*, sowie die Planung von Marketingkampagnen** unterstützt. * … und damit indirekt auch Beschaffung und Lagerhaltung ** ... wie z.B. Promotions oder Einführung neuer Produkte
  • 42.
    Business Understanding am Beispiel AnalytischeZiele - SALES FORECAST Eine Machine Learning Lösung soll den Bedarf von […] Produkten, für den Zeitraum nächste/s/n [Woche|Monat|Jahr], mit einer Genauigkeit von […]% vorhersagen.
  • 43.
    1 3 5 24 6 Data Understanding
  • 44.
    Data Understanding Daten sammeln& beschreiben Für die Analysen notwendige Daten beschaffen, integrieren und „verstehen“. Reichen vorliegende Daten für die Analyse? Daten untersuchen & bewerten Durchführung erster Analysen inkl. Visualisierung von ersten Erkenntnissen und Hypothesen. Passen vorliegende Daten in Quantität und Qualität für die Analyse?
  • 45.
    Data Understanding am Beispiel Datensammeln & beschreiben - SALES FORECAST Als Basis für erste Analyse dienen Sales Reports sowie weitere Daten zu den POS aus den letzten drei Jahren. * Anzahl verkaufter Produkte pro Tag ** u.a. Lokation, Größe, Mitarbeiter, Distanz zu Mitbewerbern
  • 46.
    Sales Data (>1 MioDatensätze) Store Data (ca. 1100 Datensätze) Data Understanding am Beispiel
  • 47.
    Product Sales “letztenJahre“ SAISONALITÄT TREND
  • 48.
    Product Sales “letztesJahr“ Autokorrelation? Saisonalität?
  • 49.
    Product Sales “Wochenverteilung“ DIbis FR ähnliche Muster SA, SO, MO individuelle Muster* *Wochentag als eigenes Feature
  • 50.
    Product Sales “Feiertage“ Feiertage zeigensehr individuelle Muster* *Feiertage als eigenes Feature
  • 51.
    Data Understanding am Beispiel Datensammeln & beschreiben - SALES FORECAST Neben den Sales Reports der einzelnen POS gibt es noch zahlreiche weitere Quellen, die zur ML basierten Vorhersage herangezogen werden können, um so ein genaueres Bild zu zeichnen.
  • 52.
    Sales Transactions Internal DataSources External Data Sources Unstructured Data Sources Structured Data Sources
  • 53.
    E-Commerce Sales Data SalesTransactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources
  • 54.
    E-Commerce Sales Data SalesTransactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources Weather 3rd Party syndicated Data Macroeconomic Indicators Government Census Customer POS Information Household Panel Data
  • 55.
    E-Commerce Sales Data SalesTransactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Weather 3rd Party syndicated Data Macroeconomic Indicators Government Census Customer POS Information Household Panel Data Websites Reviews Marketing Campaigns (Mobile) Apps In-Store Devices Texts CRM Data Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources
  • 56.
    E-Commerce Sales Data SalesTransactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Weather 3rd Party syndicated Data Macroeconomic Indicators Government Census Customer POS Information Household Panel Data Websites Reviews Marketing Campaigns (Mobile) Apps In-Store Devices Texts CRM Data Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources Social Media Click Streams Internet of Things Geolocation Devices Digital Personal Assistants Videos
  • 57.
    Data Understanding am Beispiel Datenuntersuchen & bewerten - SALES FORECAST Die Daten müssen im Vorfeld auf viele Qualitätsfaktoren hin analysiert werden: Verfügbarkeit, Vollständigkeit, Genauigkeit, Gültigkeit, Konsistenz, Relevanz, Granularität, Kosten
  • 58.
    1 3 5 24 6 Data Preparation
  • 59.
    Data Preparation Daten auswählen Auswahlder Daten auf Basis von Qualität und techn. Restriktionen. Welche Daten(-Sets) sollen in die Analyse aufgenommen werden? Daten bereinigen und transformieren Bereinigung, Aggregieren und Veredelung der ausgewählten Daten. In welcher Qualität und Granularität werden die Daten benötigt?
  • 60.
    Data Preparation Process Data Collection Data Preprocessing Data Transformation* •Formatieren • Bereinigen • Veredeln • Aufsplitten • Skalieren • Normalisieren • Auftrennen • Aggregieren • Encoden • Problem benennen • Daten definieren • Daten sammeln und kombinieren *aka Feature Engineering
  • 61.
    Nicht der Feiertagselbst ist relevant, sondern der Tag davor und danach! Data Preparation am Beispiel BTW: Wo versteckt sich eigentlich der Kunde?* *direkte Korrelation zu Sales, daher kein eigenes Feature
  • 62.
    Data Preparation amBeispiel Feature Engineering*: Tag der Woche Promos Flag „vor/nach Feiertag“ Flag „Schulfeiertag“ Sortiment Saison *Einführung zusätzlicher Features
  • 63.
    Sales Prediction ohnezusätzliche Features 150 100 50 0
  • 64.
    Sales Prediction mitzusätzlichen Features 150 100 50 0
  • 65.
    1 3 5 24 6 Analysis & Modeling
  • 66.
    Analysis & Modeling Modellauswählen Passenden Modellierungstechnik auswählen. Welches Modell passt „am besten“ zur gegebenen Problemstellung aus Phase 1? Modell bewerten* Testmodell erstellen, um Qualität und Genauigkeit des Modells zu prüfen. Liefert das Modell passende Ergebnisse zur Zielsetzung aus Phase 1? *inkl Erstellung und Bewertung eines Testmodell
  • 67.
    Analysis & Modeling amBeispiel Typische Modell-Kandidaten für „Demand Forecasting“ ARIMA / SARIMA Linear Regression XG Boost K-Nearest Neighbors Regression Random Forrest Long Short-Term Memory (LSTM) „Beste“ Lösung abhängig von der Fragestellung, z.B. SARIMA saisonale Vorhersagen Linear Regression Einfluss von Änderungen Trendvorhersagen
  • 68.
  • 69.
    1 3 5 24 6 QA & Validation
  • 70.
    QA & Validation Resultate/ Prozess bewerten Bewertung inkl Begründung des Projekterfolges und der Resultat. Erreicht das Modell die Projektziele? Einführung entscheiden Entscheiden, ob das Projekt „beendet“ ist und eingeführt werden kann. Ist das Modell produktionsreif und kann eingeführt werden?
  • 71.
    QA & Validation amBeispiel Short-Term Forecast: 5.3% Fehler zusätzliches Features „Average Sale 3 Tage“ Long-Term Forecast: 7.1% Fehler zusätzliches Features „Average Sale 2 Jahre“
  • 72.
    QA & Validation amBeispiel MAEP of Forecast Mean Avarage Percentage Error Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ Gewichtung?
  • 73.
    QA & Validation amBeispiel Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ W-MAEP of Forecast Weighted Mean Avarage Percentage Error
  • 74.
    QA & Validation amBeispiel MAEP of Forecast on Group Level Mean Avarage Percentage Error Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ Product vs Group Level?
  • 75.
    1 3 5 24 6 Deployment & Operation
  • 76.
    Deployment & Operation MLopsetablieren Automatisiertes Deployment inkl Datenprüfung & Testing. Kann das Modell automatisiert wiederholbar deployed werden? Überwachung der Modelle Aufsetzen einer Monitoring-Lösung inkl. Trendanalysen. Ist das Modell noch performant?
  • 77.
    CONTINUOUS DELIVERY “…the abilityto get changes of all types — including new features, configuration changes, bug fixes, and experiments — into production, or into the hands of users, safely and quickly in a sustainable way.“ Jez Humble & Dave Farley
  • 78.
    Deployment & Operation amBeispiel MLops etablieren aka CI / CD Pipeline für Änderungen Data Model Code Schema Zeitreihen Mengengerüst Algorithmen Trainings Experimente Anforderungen Bug Fixes Konfigurationen
  • 79.
    Testpyramiden-Stack Exemplarischer Stack derverschiedenen Testpyramiden für DATA, MODEL und CODE Quelle: https://martinfowler.com/articles/cd4ml.html CI/CD Testing
  • 80.
    Deployment & Operation amBeispiel Überwachung der Modelle Model Performance Model Input/Output Distribution Model Learning Curves Model Evaluation Metrics Model QA Results Hardware Metrics CI/CD Pipeline for ML
  • 81.
  • 82.
  • 83.
    RACI Matrix R = Responsible A= Accountable C = Consulted = Consulted I Quelle: https://towardsdatascience.com/crisp-dm-ready-for-machine-learning-projects-2aad9172056a
  • 84.
  • 85.
    1 3 5 24 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for Production
  • 86.
    1 3 5 24 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for Production Exploration
  • 87.
    1 3 5 24 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for PRODUCTION
  • 88.
  • 89.
    #WISSENTEILEN Vielen Dank! #WISSENTEILEN by open knowledgeGmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies
  • 90.
    #WISSENTEILEN BILDNACHWEIS Folie 01: ©Merena, iStockphoto.com Folie 20: © Photoplotnikov, iStockphoto.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or were made by my own.