SlideShare ist ein Scribd-Unternehmen logo
1 von 34
RICHTIG GUT: DIE
QUALITÄT VON
MODELLEN
VERSTEHEN
1Minds Mastering Machines - 16. Juni 2020 - Dr. Shirin Elsinghorst
Photo by DJ Johnson on Unsplash
2
Dr. Shirin
Elsinghorst
Data Scientist
shirin.elsinghorst@codecentric.de
@ShirinGlander
About me
3
Warum überhaupt die
Diskussion um Verständnis
und Erklärbarkeit?
Ethik, Moral & Gesellschaft
Agenda
Wie können wir Erklärbarkeit
schaffen?
4
Warum überhaupt die Diskussion
um Verständnis und Erklärbarkeit?
5
KI ist komplex
Möglichkeiten und Gefahren sind
für viele nicht/schwer
einzuschätzen:
"Schöne Neue Welt"?
Photo by Liane Metzler on Unsplash
Verstehen ist nicht gleich verstehen
6
Data Scientist
- Fokus on
technische Kriterien
- muss seine Modelle
“verteidigen”
Was erwarten “wir” von KI?
End-Nutzer
- will Algorithmen, die
ihn betreffen,
nachvollziehen
können
Politiker
- will die Gesellschaft
vor Missbrauch und
Schaden schützen
Transparenz
von KI
7
Warum sind
ML-Modelle
“Black
Boxes”?
Photo by Charles Deluvio on Unsplash
8
Ein typischer ML Workflow
Daten
sammeln
Modelle
trainieren
Daten
aufbereiten
Modell
bewerten
Produktion
Verstehen
???
Lernt unser Model das “Richtige”?
9
Photo by Andrew Ly on Unsplash
Photo by Darren Welsh on Unsplash
Photo by Simon Rae on Unsplash
PhotobyNataliiaKvitovskaonUnsplash
PhotobyAnnieSprattonUnsplash
Photo by Stephen Phillips -
Hostreviews.co.uk on Unsplash
Photo by Priscilla Du Preez on Unsplash
10
Trade-O zwischen Erklärbarkeit
und Komplexität
Lineare
Regressions-Modelle sind
einfach zu verstehen:
Wenn ...,
dann ...
Komplexität
Erklärbarkeit
11
Trade-O zwischen Erklärbarkeit
und Komplexität
Je komplexer ein
Modell ist, desto
schwieriger ist es zu
verstehen.
Komplexität
Erklärbarkeit
12
Trade-O zwischen Erklärbarkeit
und Komplexität
Je komplexer ein
Modell ist, desto
besser ist es oft
darin, schwierige
Aufgaben zu lösen.
Performance
Performance
Erklärbarkeit
Warum macht Verstehen Sinn?
13
Verbesserung der
Modelle
- Generalisierbarkeit
- "Sanity Check"
- Vermeidung
falscher Schlüsse
Technisch ist es ja eigentlich nicht nötig...
Vertrauen und
Transparenz
- Warum wurde eine
bestimmte
Entscheidung von
meinem Modell
getroffen?
Vorurteile
identifizieren und
vermeiden
- Fairness
- Vermeidung von
Bias
14
Ethik, Moral & Gesellschaft
15
Mangel an Verständis führt zu
Mistrauen
von KI und ihren Entscheidungen
Photo by Liane Metzler on Unsplash
16
ML in der Medizin
- Entscheidung
auf Leben
und Tod
- Behandlungs
-entscheidun
g muss
erklärbar sein
Vertrauen & Transparenz
ML im Business
- Falsche
Entscheidungen
kosten Zeit ...
- … und Geld
Photo by Owen Beard on Unsplash
Vorurteile & Bias
17
Kreditwürdigkeit
- Wer bekommt einen
Kredit?
- Verstärkung
gesellschaftlicher
Schere?
erkennen und vermeiden
Bewährungsstraf
e
- Wird das
Ungleichgewicht
ethnischer Gruppen
widergespiegelt?
Job-Kandidaten-
Vorschläge
- Werden
gesellschaftlich
etablierte
Geschlechterrollen
gelernt?
Machine
Learning als
"self-fulfilling
prophecy"?
18
Können wir unseren Modellen
vertrauen?
Können wir sie guten Gewissens
auf die Menschheit loslassen?
Photo by Liane Metzler on Unsplash
19
Warum überhaupt die
Diskussion um Verständnis
und Erklärbarkeit?
Ethik, Moral & Gesellschaft
Agenda
Wie können wir Erklärbarkeit
schaffen?
20
Wie können wir Erklärbarkeit
scha en?
... ohne Genauigkeit und
Komplexität reduzieren
zu müssen ...
21
Partial
Dependence
& ICE Plots
22
Shapley
Values
23
LIME
Local
Interpretable
Model-agnostic
Explanations
Ein einfaches
Modell wird
lokal an die
Vorhersagen
angepasst
Erklärungen
werden anhand
von
ursprünglichen
Variablen
gefunden.
Erklärungen
werden lokal
und für jede
Instanz separat
gefunden.
24
LIME Workflow
Modell
Vorhersagen
auf
Permutation
Instanz
Distanz &
Ähnlichkeit
wichtigste
Variablen
Lokales
einfaches
Modell +
Gewicht
(Ähnlichkeit)
Annäherungsweise
Erklärung
25
LIME
Local
Interpretable
Model-agnostic
Explanations
26
LIME
Local
Interpretable
Model-agnostic
Explanations
27
Probleme &
Grenzen von
LIME
- Lineare
Feature-Kombinationen
- Linearität passt oft nicht gut
auf neue Instanzen
- Lokalität der Erklärung
bedeutet für jede Instanz
unabhängige
Feature-Ausprägungen
- Nicht sehr intuitiv, da
Erklärung teilweise
“widersprüchlich” sein können
Photo by Volodymyr Hryshchenko on Unsplash
28
Anchors
https://homes.cs.washington.edu/~marcotcr/aaai18.pdf & https://github.com/marcotcr/anchor
Wenn-Dann-Regeln
verankern Vorhersagen:
Lokale
Wahrscheinlichkeiten
29
Anchors Workflow
Modell Regel (A)Instanz
Vorhersage
auf
Permutation
Wenn
Änderungen
anderer Feature
die Vorhersage
nicht ändern:
Anker
(Vorhersage-
wahrscheinlich-
keit > 95%)
intuitiv
allgemein gültig
nicht-linear
30
Anchors
Beispiele
https://homes.cs.washington.edu/~marcotcr/aaai18.pdf & https://github.com/marcotcr/anchor
31
Probleme &
Grenzen von
Anchors
- Teilweise sehr komplexe
Regeln
- Regeln müssten für jede
Klasse gefunden werden
(hochkomplex!)
- Viele Regeln existieren parallel
- Permutation muss “Realität”
widerspiegeln
Photo by Volodymyr Hryshchenko on Unsplash
32
Take-Home-Message
WIR müssen sicher stellen, dass
unsere Modelle keinen
persönlichen & gesellschaftlichen
Schaden verursachen!
Danke!
Innovative - Trustful - Competent - Pragmatic
codecentric AG
Am Mittelhafen 14
48155 Münster
Dr. Shirin Elsinghorst
Data Scientist
shirin.elsinghorst@codecentric.de
www.codecentric.de
33
Stay
connected
Photo by Markus Spiske on Unsplash
karriere

Weitere ähnliche Inhalte

Ähnlich wie RICHTIG GUT: DIE QUALITÄT VON MODELLEN VERSTEHEN

Resonanz im Social Web - Wie sich Interaktion & Partizipation optimieren lassen
Resonanz im Social Web - Wie sich Interaktion & Partizipation optimieren lassenResonanz im Social Web - Wie sich Interaktion & Partizipation optimieren lassen
Resonanz im Social Web - Wie sich Interaktion & Partizipation optimieren lassenMarcus Haberkorn
 
5. Marketing Symposium Mensch - Maschine - Roboter Hochschule Darmstadt, Nov....
5. Marketing Symposium Mensch - Maschine - Roboter Hochschule Darmstadt, Nov....5. Marketing Symposium Mensch - Maschine - Roboter Hochschule Darmstadt, Nov....
5. Marketing Symposium Mensch - Maschine - Roboter Hochschule Darmstadt, Nov....Restorm
 
Digitale Transformation: Technologie und Mensch - die nächsten 5 Jahre
Digitale Transformation: Technologie und Mensch - die nächsten 5 JahreDigitale Transformation: Technologie und Mensch - die nächsten 5 Jahre
Digitale Transformation: Technologie und Mensch - die nächsten 5 JahreMicrosoft Österreich
 
Digitale Kompetenzen im Gymnasium
Digitale Kompetenzen im GymnasiumDigitale Kompetenzen im Gymnasium
Digitale Kompetenzen im GymnasiumPhilippe Wampfler
 
TT Ohrbeck 2019 Alt-Right oder Greta?
TT Ohrbeck 2019 Alt-Right oder Greta?TT Ohrbeck 2019 Alt-Right oder Greta?
TT Ohrbeck 2019 Alt-Right oder Greta?Lisa Rosa
 
Zukunft der Berufe. Welche Kompetenzen wir brauchen. Eine Sketchnote-Präsenta...
Zukunft der Berufe. Welche Kompetenzen wir brauchen. Eine Sketchnote-Präsenta...Zukunft der Berufe. Welche Kompetenzen wir brauchen. Eine Sketchnote-Präsenta...
Zukunft der Berufe. Welche Kompetenzen wir brauchen. Eine Sketchnote-Präsenta...FÖHR Agentur für Innovationskulturen
 
Interdisziplinäres und heterogenes Denken der Ideengeber unabdingbare Vorauss...
Interdisziplinäres und heterogenes Denken der Ideengeber unabdingbare Vorauss...Interdisziplinäres und heterogenes Denken der Ideengeber unabdingbare Vorauss...
Interdisziplinäres und heterogenes Denken der Ideengeber unabdingbare Vorauss...NETBAES
 
Social Recruiting - Mythos oder Wirklichkeit
Social Recruiting - Mythos oder Wirklichkeit Social Recruiting - Mythos oder Wirklichkeit
Social Recruiting - Mythos oder Wirklichkeit Henrik Zaborowski
 
Trends in Corporate Learning
Trends in Corporate LearningTrends in Corporate Learning
Trends in Corporate LearningJochen Robes
 
Das Recruiting der Zukunft - aufwändig, menschlich und erfolgreich!
Das Recruiting der Zukunft - aufwändig, menschlich und erfolgreich!Das Recruiting der Zukunft - aufwändig, menschlich und erfolgreich!
Das Recruiting der Zukunft - aufwändig, menschlich und erfolgreich!Henrik Zaborowski
 
Gute Fehlerkultur - Phänomen, Widerspruch oder erstrebenswerter Zustand?
Gute Fehlerkultur - Phänomen, Widerspruch oder erstrebenswerter Zustand?Gute Fehlerkultur - Phänomen, Widerspruch oder erstrebenswerter Zustand?
Gute Fehlerkultur - Phänomen, Widerspruch oder erstrebenswerter Zustand?Birgit Mallow
 
#DPK16: Gerd Leonhard - Digitale (R)Evolution
#DPK16: Gerd Leonhard - Digitale (R)Evolution #DPK16: Gerd Leonhard - Digitale (R)Evolution
#DPK16: Gerd Leonhard - Digitale (R)Evolution Microsoft Deutschland GmbH
 
Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
 Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld... Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...Jörg Hoewner
 
Die Top 10 über die KI
Die Top 10 über die KIDie Top 10 über die KI
Die Top 10 über die KINelpxGermany
 
Storytelling for Future - Nachhaltigkeit in sozialen Medien richtig inszenieren
Storytelling for Future - Nachhaltigkeit in sozialen Medien richtig inszenierenStorytelling for Future - Nachhaltigkeit in sozialen Medien richtig inszenieren
Storytelling for Future - Nachhaltigkeit in sozialen Medien richtig inszenierenAndreas Hebbel-Seeger
 

Ähnlich wie RICHTIG GUT: DIE QUALITÄT VON MODELLEN VERSTEHEN (20)

[DE] "Wie real ist KI schon im Unternehmen angekommen?" | Diskussions-Panel m...
[DE] "Wie real ist KI schon im Unternehmen angekommen?" | Diskussions-Panel m...[DE] "Wie real ist KI schon im Unternehmen angekommen?" | Diskussions-Panel m...
[DE] "Wie real ist KI schon im Unternehmen angekommen?" | Diskussions-Panel m...
 
Resonanz im Social Web - Wie sich Interaktion & Partizipation optimieren lassen
Resonanz im Social Web - Wie sich Interaktion & Partizipation optimieren lassenResonanz im Social Web - Wie sich Interaktion & Partizipation optimieren lassen
Resonanz im Social Web - Wie sich Interaktion & Partizipation optimieren lassen
 
BILD der FRAU-Studie Weibliche Insights 2011
BILD der FRAU-Studie Weibliche Insights 2011BILD der FRAU-Studie Weibliche Insights 2011
BILD der FRAU-Studie Weibliche Insights 2011
 
Digitale Kompetenzen
Digitale KompetenzenDigitale Kompetenzen
Digitale Kompetenzen
 
5. Marketing Symposium Mensch - Maschine - Roboter Hochschule Darmstadt, Nov....
5. Marketing Symposium Mensch - Maschine - Roboter Hochschule Darmstadt, Nov....5. Marketing Symposium Mensch - Maschine - Roboter Hochschule Darmstadt, Nov....
5. Marketing Symposium Mensch - Maschine - Roboter Hochschule Darmstadt, Nov....
 
Digitale Transformation: Technologie und Mensch - die nächsten 5 Jahre
Digitale Transformation: Technologie und Mensch - die nächsten 5 JahreDigitale Transformation: Technologie und Mensch - die nächsten 5 Jahre
Digitale Transformation: Technologie und Mensch - die nächsten 5 Jahre
 
Digitale Kompetenzen im Gymnasium
Digitale Kompetenzen im GymnasiumDigitale Kompetenzen im Gymnasium
Digitale Kompetenzen im Gymnasium
 
TT Ohrbeck 2019 Alt-Right oder Greta?
TT Ohrbeck 2019 Alt-Right oder Greta?TT Ohrbeck 2019 Alt-Right oder Greta?
TT Ohrbeck 2019 Alt-Right oder Greta?
 
Zukunft der Berufe. Welche Kompetenzen wir brauchen. Eine Sketchnote-Präsenta...
Zukunft der Berufe. Welche Kompetenzen wir brauchen. Eine Sketchnote-Präsenta...Zukunft der Berufe. Welche Kompetenzen wir brauchen. Eine Sketchnote-Präsenta...
Zukunft der Berufe. Welche Kompetenzen wir brauchen. Eine Sketchnote-Präsenta...
 
Krise
KriseKrise
Krise
 
Interdisziplinäres und heterogenes Denken der Ideengeber unabdingbare Vorauss...
Interdisziplinäres und heterogenes Denken der Ideengeber unabdingbare Vorauss...Interdisziplinäres und heterogenes Denken der Ideengeber unabdingbare Vorauss...
Interdisziplinäres und heterogenes Denken der Ideengeber unabdingbare Vorauss...
 
Social Recruiting - Mythos oder Wirklichkeit
Social Recruiting - Mythos oder Wirklichkeit Social Recruiting - Mythos oder Wirklichkeit
Social Recruiting - Mythos oder Wirklichkeit
 
Trends in Corporate Learning
Trends in Corporate LearningTrends in Corporate Learning
Trends in Corporate Learning
 
Das Recruiting der Zukunft - aufwändig, menschlich und erfolgreich!
Das Recruiting der Zukunft - aufwändig, menschlich und erfolgreich!Das Recruiting der Zukunft - aufwändig, menschlich und erfolgreich!
Das Recruiting der Zukunft - aufwändig, menschlich und erfolgreich!
 
Gute Fehlerkultur - Phänomen, Widerspruch oder erstrebenswerter Zustand?
Gute Fehlerkultur - Phänomen, Widerspruch oder erstrebenswerter Zustand?Gute Fehlerkultur - Phänomen, Widerspruch oder erstrebenswerter Zustand?
Gute Fehlerkultur - Phänomen, Widerspruch oder erstrebenswerter Zustand?
 
#DPK16: Gerd Leonhard - Digitale (R)Evolution
#DPK16: Gerd Leonhard - Digitale (R)Evolution #DPK16: Gerd Leonhard - Digitale (R)Evolution
#DPK16: Gerd Leonhard - Digitale (R)Evolution
 
Die Ordnung der Daten
Die Ordnung der DatenDie Ordnung der Daten
Die Ordnung der Daten
 
Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
 Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld... Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
 
Die Top 10 über die KI
Die Top 10 über die KIDie Top 10 über die KI
Die Top 10 über die KI
 
Storytelling for Future - Nachhaltigkeit in sozialen Medien richtig inszenieren
Storytelling for Future - Nachhaltigkeit in sozialen Medien richtig inszenierenStorytelling for Future - Nachhaltigkeit in sozialen Medien richtig inszenieren
Storytelling for Future - Nachhaltigkeit in sozialen Medien richtig inszenieren
 

Mehr von Shirin Elsinghorst

Transparente und Verantwortungsbewusste KI
Transparente und Verantwortungsbewusste KITransparente und Verantwortungsbewusste KI
Transparente und Verantwortungsbewusste KIShirin Elsinghorst
 
Real-World Data Science (Fraud Detection, Customer Churn & Predictive Mainten...
Real-World Data Science (Fraud Detection, Customer Churn & Predictive Mainten...Real-World Data Science (Fraud Detection, Customer Churn & Predictive Mainten...
Real-World Data Science (Fraud Detection, Customer Churn & Predictive Mainten...Shirin Elsinghorst
 
SAP webinar: Explaining Keras Image Classification Models with LIME
SAP webinar: Explaining Keras Image Classification Models with LIMESAP webinar: Explaining Keras Image Classification Models with LIME
SAP webinar: Explaining Keras Image Classification Models with LIMEShirin Elsinghorst
 
Workshop - Introduction to Machine Learning with R
Workshop - Introduction to Machine Learning with RWorkshop - Introduction to Machine Learning with R
Workshop - Introduction to Machine Learning with RShirin Elsinghorst
 
HH Data Science Meetup: Explaining complex machine learning models with LIME
HH Data Science Meetup: Explaining complex machine learning models with LIMEHH Data Science Meetup: Explaining complex machine learning models with LIME
HH Data Science Meetup: Explaining complex machine learning models with LIMEShirin Elsinghorst
 
HH Data Science Meetup: Explaining complex machine learning models with LIME
HH Data Science Meetup: Explaining complex machine learning models with LIMEHH Data Science Meetup: Explaining complex machine learning models with LIME
HH Data Science Meetup: Explaining complex machine learning models with LIMEShirin Elsinghorst
 
Ruhr.PY - Introducing Deep Learning with Keras and Python
Ruhr.PY - Introducing Deep Learning with Keras and PythonRuhr.PY - Introducing Deep Learning with Keras and Python
Ruhr.PY - Introducing Deep Learning with Keras and PythonShirin Elsinghorst
 
From Biology to Industry. A Blogger’s Journey to Data Science.
From Biology to Industry. A Blogger’s Journey to Data Science.From Biology to Industry. A Blogger’s Journey to Data Science.
From Biology to Industry. A Blogger’s Journey to Data Science.Shirin Elsinghorst
 

Mehr von Shirin Elsinghorst (10)

Transparente und Verantwortungsbewusste KI
Transparente und Verantwortungsbewusste KITransparente und Verantwortungsbewusste KI
Transparente und Verantwortungsbewusste KI
 
Datenstrategie in der Praxis
Datenstrategie in der PraxisDatenstrategie in der Praxis
Datenstrategie in der Praxis
 
Real-World Data Science (Fraud Detection, Customer Churn & Predictive Mainten...
Real-World Data Science (Fraud Detection, Customer Churn & Predictive Mainten...Real-World Data Science (Fraud Detection, Customer Churn & Predictive Mainten...
Real-World Data Science (Fraud Detection, Customer Churn & Predictive Mainten...
 
SAP webinar: Explaining Keras Image Classification Models with LIME
SAP webinar: Explaining Keras Image Classification Models with LIMESAP webinar: Explaining Keras Image Classification Models with LIME
SAP webinar: Explaining Keras Image Classification Models with LIME
 
Workshop - Introduction to Machine Learning with R
Workshop - Introduction to Machine Learning with RWorkshop - Introduction to Machine Learning with R
Workshop - Introduction to Machine Learning with R
 
Deep learning - a primer
Deep learning - a primerDeep learning - a primer
Deep learning - a primer
 
HH Data Science Meetup: Explaining complex machine learning models with LIME
HH Data Science Meetup: Explaining complex machine learning models with LIMEHH Data Science Meetup: Explaining complex machine learning models with LIME
HH Data Science Meetup: Explaining complex machine learning models with LIME
 
HH Data Science Meetup: Explaining complex machine learning models with LIME
HH Data Science Meetup: Explaining complex machine learning models with LIMEHH Data Science Meetup: Explaining complex machine learning models with LIME
HH Data Science Meetup: Explaining complex machine learning models with LIME
 
Ruhr.PY - Introducing Deep Learning with Keras and Python
Ruhr.PY - Introducing Deep Learning with Keras and PythonRuhr.PY - Introducing Deep Learning with Keras and Python
Ruhr.PY - Introducing Deep Learning with Keras and Python
 
From Biology to Industry. A Blogger’s Journey to Data Science.
From Biology to Industry. A Blogger’s Journey to Data Science.From Biology to Industry. A Blogger’s Journey to Data Science.
From Biology to Industry. A Blogger’s Journey to Data Science.
 

RICHTIG GUT: DIE QUALITÄT VON MODELLEN VERSTEHEN