Vortrag auf der M3 Online-Konferenz am 16.06.2020 (https://online.m3-konferenz.de/lecture.php?id=12337&source=0) Mit Machine Learning getroffene Entscheidungen sind inhärent schwierig – wenn nicht gar unmöglich – nachzuvollziehen. Ein scheinbar gutes Ergebnis mit Hilfe von maschinellen Lernverfahren ist oft schnell erzielt oder wird von anderen als bahnbrechend verkauft. Die Komplexität einiger der besten Modelle wie neuronaler Netze ist genau das, was sie so erfolgreich macht. Aber es macht sie gleichzeitig zu einer Black Box. Das kann problematisch sein, denn Geschäftsführer oder Vorstände werden weniger geneigt sein, einer Entscheidung zu vertrauen und nach ihr zu handeln, wenn sie sie nicht verstehen. Shapley Values, Local Interpretable Model-Agnostic Explanations (LIME) und Anchors sind Ansätze, diese komplexen Modelle zumindest teilweise nachvollziehbar zu machen. In diesem Vortrag erkläre ich, wie diese Ansätze funktionieren, und zeige Anwendungsbeispiele. LERNZIELE * Die Teilnehmer erhalten Einblick in Möglichkeit, die komplexe Modelle erklärbar machen. * Sie lernen, Datensätze kritisch zu hinterfragen und angemessen aufzuteilen. * Und sie erfahren, unter welchen Bedingungen sie Entscheidungen durch Machine Learning vertrauen können.

1. RICHTIG GUT: DIE
QUALITÄT VON
MODELLEN
VERSTEHEN
1Minds Mastering Machines - 16. Juni 2020 - Dr. Shirin Elsinghorst
Photo by DJ Johnson on Unsplash

2. 2
Dr. Shirin
Elsinghorst
Data Scientist
shirin.elsinghorst@codecentric.de
@ShirinGlander
About me

3. 3
Warum überhaupt die
Diskussion um Verständnis
und Erklärbarkeit?
Ethik, Moral & Gesellschaft
Agenda
Wie können wir Erklärbarkeit
schaffen?

4. 4
Warum überhaupt die Diskussion
um Verständnis und Erklärbarkeit?

5. 5
KI ist komplex
Möglichkeiten und Gefahren sind
für viele nicht/schwer
einzuschätzen:
"Schöne Neue Welt"?
Photo by Liane Metzler on Unsplash

6. Verstehen ist nicht gleich verstehen
6
Data Scientist
- Fokus on
technische Kriterien
- muss seine Modelle
“verteidigen”
Was erwarten “wir” von KI?
End-Nutzer
- will Algorithmen, die
ihn betreffen,
nachvollziehen
können
Politiker
- will die Gesellschaft
vor Missbrauch und
Schaden schützen
Transparenz
von KI

7. 7
Warum sind
ML-Modelle
“Black
Boxes”?
Photo by Charles Deluvio on Unsplash

8. 8
Ein typischer ML Workflow
Daten
sammeln
Modelle
trainieren
Daten
aufbereiten
Modell
bewerten
Produktion
Verstehen
???

9. Lernt unser Model das “Richtige”?
9
Photo by Andrew Ly on Unsplash
Photo by Darren Welsh on Unsplash
Photo by Simon Rae on Unsplash
PhotobyNataliiaKvitovskaonUnsplash
PhotobyAnnieSprattonUnsplash
Photo by Stephen Phillips -
Hostreviews.co.uk on Unsplash
Photo by Priscilla Du Preez on Unsplash

10. 10
Trade-O zwischen Erklärbarkeit
und Komplexität
Lineare
Regressions-Modelle sind
einfach zu verstehen:
Wenn ...,
dann ...
Komplexität
Erklärbarkeit

11. 11
Trade-O zwischen Erklärbarkeit
und Komplexität
Je komplexer ein
Modell ist, desto
schwieriger ist es zu
verstehen.
Komplexität
Erklärbarkeit

12. 12
Trade-O zwischen Erklärbarkeit
und Komplexität
Je komplexer ein
Modell ist, desto
besser ist es oft
darin, schwierige
Aufgaben zu lösen.
Performance
Performance
Erklärbarkeit

13. Warum macht Verstehen Sinn?
13
Verbesserung der
Modelle
- Generalisierbarkeit
- "Sanity Check"
- Vermeidung
falscher Schlüsse
Technisch ist es ja eigentlich nicht nötig...
Vertrauen und
Transparenz
- Warum wurde eine
bestimmte
Entscheidung von
meinem Modell
getroffen?
Vorurteile
identifizieren und
vermeiden
- Fairness
- Vermeidung von
Bias

14. 14
Ethik, Moral & Gesellschaft

15. 15
Mangel an Verständis führt zu
Mistrauen
von KI und ihren Entscheidungen
Photo by Liane Metzler on Unsplash

16. 16
ML in der Medizin
- Entscheidung
auf Leben
und Tod
- Behandlungs
-entscheidun
g muss
erklärbar sein
Vertrauen & Transparenz
ML im Business
- Falsche
Entscheidungen
kosten Zeit ...
- … und Geld
Photo by Owen Beard on Unsplash

17. Vorurteile & Bias
17
Kreditwürdigkeit
- Wer bekommt einen
Kredit?
- Verstärkung
gesellschaftlicher
Schere?
erkennen und vermeiden
Bewährungsstraf
e
- Wird das
Ungleichgewicht
ethnischer Gruppen
widergespiegelt?
Job-Kandidaten-
Vorschläge
- Werden
gesellschaftlich
etablierte
Geschlechterrollen
gelernt?
Machine
Learning als
"self-fulfilling
prophecy"?

18. 18
Können wir unseren Modellen
vertrauen?
Können wir sie guten Gewissens
auf die Menschheit loslassen?
Photo by Liane Metzler on Unsplash

19. 19
Warum überhaupt die
Diskussion um Verständnis
und Erklärbarkeit?
Ethik, Moral & Gesellschaft
Agenda
Wie können wir Erklärbarkeit
schaffen?

20. 20
Wie können wir Erklärbarkeit
scha en?
... ohne Genauigkeit und
Komplexität reduzieren
zu müssen ...

21. 21
Partial
Dependence
& ICE Plots

22. 22
Shapley
Values

23. 23
LIME
Local
Interpretable
Model-agnostic
Explanations
Ein einfaches
Modell wird
lokal an die
Vorhersagen
angepasst
Erklärungen
werden anhand
von
ursprünglichen
Variablen
gefunden.
Erklärungen
werden lokal
und für jede
Instanz separat
gefunden.

24. 24
LIME Workflow
Modell
Vorhersagen
auf
Permutation
Instanz
Distanz &
Ähnlichkeit
wichtigste
Variablen
Lokales
einfaches
Modell +
Gewicht
(Ähnlichkeit)
Annäherungsweise
Erklärung

25. 25
LIME
Local
Interpretable
Model-agnostic
Explanations

26. 26
LIME
Local
Interpretable
Model-agnostic
Explanations

27. 27
Probleme &
Grenzen von
LIME
- Lineare
Feature-Kombinationen
- Linearität passt oft nicht gut
auf neue Instanzen
- Lokalität der Erklärung
bedeutet für jede Instanz
unabhängige
Feature-Ausprägungen
- Nicht sehr intuitiv, da
Erklärung teilweise
“widersprüchlich” sein können
Photo by Volodymyr Hryshchenko on Unsplash

28. 28
Anchors
https://homes.cs.washington.edu/~marcotcr/aaai18.pdf & https://github.com/marcotcr/anchor
Wenn-Dann-Regeln
verankern Vorhersagen:
Lokale
Wahrscheinlichkeiten

29. 29
Anchors Workflow
Modell Regel (A)Instanz
Vorhersage
auf
Permutation
Wenn
Änderungen
anderer Feature
die Vorhersage
nicht ändern:
Anker
(Vorhersage-
wahrscheinlich-
keit > 95%)
intuitiv
allgemein gültig
nicht-linear

30. 30
Anchors
Beispiele
https://homes.cs.washington.edu/~marcotcr/aaai18.pdf & https://github.com/marcotcr/anchor

31. 31
Probleme &
Grenzen von
Anchors
- Teilweise sehr komplexe
Regeln
- Regeln müssten für jede
Klasse gefunden werden
(hochkomplex!)
- Viele Regeln existieren parallel
- Permutation muss “Realität”
widerspiegeln
Photo by Volodymyr Hryshchenko on Unsplash

32. 32
Take-Home-Message
WIR müssen sicher stellen, dass
unsere Modelle keinen
persönlichen & gesellschaftlichen
Schaden verursachen!
Danke!

33. Innovative - Trustful - Competent - Pragmatic
codecentric AG
Am Mittelhafen 14
48155 Münster
Dr. Shirin Elsinghorst
Data Scientist
shirin.elsinghorst@codecentric.de
www.codecentric.de
33
Stay
connected
Photo by Markus Spiske on Unsplash

34. karriere