SlideShare ist ein Scribd-Unternehmen logo
Klassifizierung von Versicherungsschäden -
AI und MLOps bei der Mobiliar
Tobias Egli, PhD, Product Owner
Thomas Baumann, Product Owner
2
Tobias Egli, PhD
Data Scientist
Product Owner
Thomas Baumann
Teamleiter Prozess Schaden
Product Owner
3
4
BATbern40 im Juni 2018:
"Wie AI-Services in der Mobiliar gebaut und eingesetzt werden"
Create and publish
the ML model
Create and run the
service
Plan
MLOps als Prozess
Develop
the ML model
Publish
the ML model
Gather
Train Evaluate Publish Test
Push
Code
Explore Build
Understand
Plan
Monitoring triggers re-training
Plan
Create the service Run the service
Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
Schadenprozess, die Benutzer:innen, ihre Bedürfnisse… und die Probleme
Schaden-
meldung
Deckungs-
prüfung
Auszahlung Abschluss
Ein Prozess für drei unterschiedliche Benutzergruppen
Die Sicht der Schadenexpert:innen
• Kleinere Schäden sollen so schnell wie möglich erledigt werden, damit mehr Zeit für die schwierigen Fälle bleibt
Die Sicht der weiteren Mobiliar-Mitarbeiter:innen
• Ein Schaden soll auch ohne Detailkenntnisse gemeldet werden können
• Die Schadenexpert:innen bei Grossschäden unterstützen können
Die Sicht der Kund:innen
• Schnelle und einfache Meldung eines Schadens, 24/7
• Sofortige Gewissheit darüber, ob der Schaden gedeckt ist und wie hoch die Entschädigung ist
7
Anforderungen und KPIs
Die drei vorgeschlagenen
Werte enthalten in 90%
der Fälle den korrekten
Wert
Schaden-
meldung
Deckungs-
prüfung
Auszahlung
Die drei vorgeschlagenen Werte enthalten in 80% der
Fälle den korrekten Wert
ML Modell KPIs
mit Akzeptanz-
kriterien
• Schadenkategorie
identifizieren
• Top 3 Resultate
vorschlagen
• Schadenursache
identifizieren
• Top 3 Resultate
vorschlagen
• Entschädigungsart
identifizieren
• Top 3 Resultate
vorschlagen
Anforderungen
8
Daten
Zielvariablen:
• Schadentyp (55 Klassen)
à e.g. "Motorfahrzeug Kasko"
• Schadenursache (114 Klassen)
à e.g. "Hagel"
• Entschädigungsart (89 Klassen)
à e.g. "Reparatur"
Prädiktoren:
Schadenbeschreibungen in Textform
• Geschrieben von Mitarbeiter:innen ODER Kund:innen
• Deutsch > Franz. > Ital. > Engl.
• Z.b.
9
Das Fahrzeug war parkiert and der
Foobar-strasse in Bazhausen.
Hagelschaden auf dem Dach und der
Motorhaube.
2.8 Mio. Schadenfälle waren verfügbar für die ML Modellentwicklung
Train-Validation-Test split:
• 80% Trainings-Datensatz
• 10% Validierungs-Datensatz
• 10% Test-Datensatz
Create and publish
the ML model
Create and run the
service
Develop
the ML model
Publish
the ML model
Gather
Train Evaluate Publish Test
Push
Code
Explore Build
Understand
Plan
Modellentwicklung
Plan
Plan
• Je nach Aufwand in der Modellentwicklung eine
Frage von Stunden bis Tagen für eine Iteration
• Im Happy Case: eine Frage von 1-2 Stunden
Tech Stack für Modellentwicklung
11
Delivery
Platform
Pythagoras
User
DSW
PyPi
…
Modellentwicklung
12
Infrastruktur: • Azure ML
• V100 GPU (16 GB VRAM)
• 6 CPU Cores (112 GB RAM)
ULMFiT: • AWD-LSTM implementiert in fastai2 (neuronales Netz)
• Vortrainieren eines Language Models (LM) auf Wikipedia-Texten (300 M Worte; DE, FR, IT, EN)
• Fine-tuning des LMs basierend auf Schadenbeschreibungen in Textform
• Training eines Classifiers basierend auf Schadenbeschreibungen in Textform
Transformer: • xlm-roberta-base (neuronales Netz)
• Bereits vortrainiertes multilinguales LM (bezogen von Hugging Face; inkl. DE, FR, IT, EN)
• Training eines Classifiers basierend auf Schadenbeschreibungen in Textform
Baseline Modell:
• TF-IDF
• SGD Classifier
Resultate
13
Zielvariable Modell F1* Precision* Recall* Recall@3
Schadenkategorie
(k = 55)
SGD 0.76 0.76 0.77 0.95
AWD-LSTM 0.80 0.80 0.81 0.97
Transformer 0.73 0.75 0.74 0.96
Schadenursache
(k = 114)
SGD 0.71 0.71 0.73 0.93
AWD-LSTM 0.75 0.75 0.76 0.95
Transformer 0.70 0.73 0.73 0.94
Entschädigungsart
(k = 89)
SGD 0.67 0.68 0.70 0.90
AWD-LSTM 0.71 0.72 0.74 0.93
Transformer 0.64 0.68 0.67 0.90
*Gewichteter Mittelwert
80% der vorgeschlagenen Top 1
Klassifizierungen entsprechen der
gesuchten Klasse
In 81% der Fälle entspricht die gesuchte
Klasse der vorgeschlagenen Top 1
Klassifizierung
In 97% der Fälle ist
die gesuchte Klasse
unter den vor-
geschlagenen Top 3
Klassifizierungen
Resultate für einzelne Klassen (Schadenkategorie)
14
Beobachtete
Schadenkategorie
Vorhergesagte Schadenkategorie (Top 1)
Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert
Klasse "Haftpflicht, übriger Schaden / Verlust":
• 25k korrekt klassifiziert (Top 1)
• Fehler (falsch Positive & Negative) streuen über zahlreiche Klassen
à Per se unspezifische Klassendefinition ("Sammelklasse")
à Haftpflicht erfordert Kenntnis über Kontext der Situation
Sicht auf Top 1 Resultate:
Resultate für einzelne Klassen (Schadenkategorie recall@3)
15
• Sehr gute Resultate für grosse
Klassen
• Gute Resultate für die meisten
kleineren Klassen
• Schlechte Resultate für wenige
kleine Klassen
à Die Verwendung von Top 3
Predictions mitigiert Top 1
Fehlklassifizierungen in den
meisten Fällen
Klassengrösse
Recall@3
Sicht auf Top 3 Resultate:
Create and publish
the ML model
Create and run the
service
Plan
Develop
the ML model
Publish
the ML model
Gather
Train Evaluate Publish Test
Push
Code
Explore Build
Understand
Plan
Monitoring triggers re-training
Plan
Modell Deployment
• Modell-Library publishen und Service erstellen:
eine Frage von wenigen Stunden
• Ein Re-Training und Re-Deployment ohne
Veränderungen: "Auf Knopfdruck"
• Neutraining und -Deployment mit neuen Daten:
• Training abhängig vom Aufwand für
Datenbezug und Datenexploration
• Deployment "auf Knopfdruck"
Tech Stack für Modell Deployment
17
Delivery
Platform
Pythagoras
User
Photon
…
Integration im Geschäftsprozess
18
Benutzergruppe Integriert in
Verwendung der
Klassifizierung
Konsequenz bei falscher
Klassifizierung
Schadenexpert:in
(B2E)
Schadensystem MCS
Die Klassifizierung mit dem
höchsten Score ist
vorselektiert
Der korrekte Wert wird im
drop-down selektiert
Weitere interne MA
(B2E)
Dediziertes B2E-Tool
Die Top 3 Klassifizierungen
werden sequenziell
vorgeschlagen
Aussteuerung zu
Schadenexpert:in
Kund:innen
(B2C)
App und Webseite
Ergebnisse aus fachlicher Sicht
19
Die Sicht der Schadenexpert:innen
• Vereinfachte Erfassung von Schadenfällen
• Kleinere Schäden beinahe vollständig automatisiert
• Zeit, die für komplexere Fälle eingesetzt werden kann
Die Sicht der weiteren Mobiliar-Mitarbeiter:innen
• Fälle können selbständig ohne Medienbruch angemeldet werden
• Unterstützung bei Grossschäden massiv vereinfacht
• Erhöhte Auskunftsfähigkeit gegenüber den Kund:innen
Die Sicht der Kund:innen
• Stark vereinfachte online Erfassung von Schadenfällen
• Frühzeitige Information, ob der Schaden gedeckt ist
20
Enge interdisziplinäre Zusammenarbeit (Data Science, IT, Business, …)
ist unabdingbar und muss integraler Teil des MLOps-Prozesses sein.
Die Organisation nach SAFe trägt massgeblich dazu bei.
User verhalten sich unvorhergesehen.
Geschäftsprozesse und Modell-Inputs verändern sich.
ML Modell-Monitoring muss als Teil von MLOps sichergestellt werden.
Das MLOps-Setup der Mobiliar (Prozess und Infrastruktur)
• beschleunigt die nachhaltige Entwicklung von ML-Modellen signifikant
• vereinheitlicht die Arbeit
• stellt sicher, dass Qualitätsstandards eingehalten werden
Round up
Fragen?
Vielen Dank für die
Aufmerksamkeit.
Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
Appendix: Nächste Schritte
• Kontinuierliche Re-Trainings
• Weiterentwicklung des ML Modell Monitorings
• Vertiefte Analysen der Business-Resultate
• Mehr Arbeit investieren in die Verwendung weiterer grosse LMs
- domain adaptation mit mehr Epochen und / oder grösseren Datensätzen
- Verwendung von anderen vortrainierten Modellen
• Eine Vollautomatisierung kleinerer Schäden wird angestrebt (i.e. der grösseren Klassen mit
guten Resultaten der Modelle)
24
B2E:
Mobi employee
(experts / non-experts)
B2E (experts) in
production since
December 2019
B2E (non-experts)
in production since
November 2020
B2E (non-experts)
in production since
Mai 2022 2nd half of 2022
B2C in production
since
July 2021
2nd half of 2022 1st half of 2023
Roadmap automated minor claims
First
notification
of loss
Coverage
check
Payment
scheduling
Case closing
B2C:
Customer
Resultate für einzelne Klassen (Schadentyp)
26
Vorhergesagter Schadentyp (Top 1)
Beobachteter
Schadentyp
Klasse "Sonstiger Kaskoschaden an Motorfahrzeug":
• 27k korrekt klassifiziert (Top 1)
• 7'405 falsch klassifiziert "Haftpflicht, involviert sonst. Schaden an Motorfahrzeug"
• 1'740 falsch klassifiziert als "Kasko Parkschaden"
à Haftpflicht erfordert Kenntniss über die Situation
à Falschklassifizierungen sind oft in thematisch ähnlichen Klassen
Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert
Sicht auf Top 1 Resultate:
Appendix: Baseline models
27
SGDClassifier(loss='modified_huber',
penalty='l2',
alpha=0.000001,
random_state=42,
max_iter=93,
tol=0.000247,
n_jobs=-1)
Damage type
SGDClassifier(loss='log',
penalty='l2',
alpha=1.592997e-07,
random_state=42,
max_iter=51,
tol=0.000043,
n_jobs=-1)
Damage cause
SGDClassifier(loss='log',
penalty='l2',
alpha=1.422820e-07,
random_state=42,
max_iter=22,
tol=0.00001,
n_jobs=-1)
Compensation type
use_stemmer = trial.suggest_categorical('use_stemmer', [True, False])
use_stop_words = trial.suggest_categorical('use_stopwords', [True, False])
max_features = trial.suggest_categorical('max_features', [64_000, 128_000, 256_000, 512_000])
max_grams = trial.suggest_int('max_grams', 1, 5)
use_tfidf = trial.suggest_categorical('use_tfidf', [True, False])
loss = trial.suggest_categorical('loss', ['hinge', 'log', 'modified_huber', 'squared_hinge', 'perceptron'])
penalty = trial.suggest_categorical('penalty', ['l1', 'l2'])
alpha = trial.suggest_loguniform('alpha', 1e-8, 1)
seed = trial.suggest_int('seed', 0, 100)
max_iter = trial.suggest_int('max_iter', 1, 100)
tol = trial.suggest_loguniform('tol', 1e-5, 1)
Optuna search space
Appendix: AWD-LSTM
Language model:
• sequence length = 72
• batch size = 192
• LR = 0.002
• momentum = (0.8, 0.7, 0.8)
• weight decay = 0.1
• Accuracy: 0.42
• Perplexity: 22.02
Fine-tuned LM
• sequence length = 72
• batch size = 128
• LR = 0.01
• momentum = (0.8, 0.7, 0.8)
• weight decay = 0.1
• Accuracy: 0.54
• Perplexity: 8.52
Classifier:
• LR = 0.01
• momentum = (0.8, 0.7, 0.8)
• weight decay = 0.05
28
Appendix: Transformer
• Multihead classifier (one model for all three targets)
• Custom class based on XLMRobertaForSequenceClassification
29
args_clf = TrainingArguments(
...
num_train_epochs=3,
learning_rate=1e-5,
warmup_steps=32500,
per_device_train_batch_size=8,
per_device_eval_batch_size=8,
weight_decay=0.1,
evaluation_strategy="steps",
save_steps=100000000000,
logging_steps=60000,
eval_steps=60000,
)
Appendix: Confusion matrices
30
Cause of damage
k = 114
Compensation type
k = 89
Appendix: Recall@3 vs. class size
31
Cause of damage (k = 114) Compensation type (k = 89)

Weitere ähnliche Inhalte

Was ist angesagt?

Azure Migrate
Azure MigrateAzure Migrate
Azure Migrate
Mustafa
 
The Evolution of Self-Service Analytics
The Evolution of Self-Service AnalyticsThe Evolution of Self-Service Analytics
The Evolution of Self-Service Analytics
Eckerson Group
 
Managed Services Presentation
Managed Services PresentationManaged Services Presentation
Managed Services Presentation
IISGL
 
Enterprise Architecture Toolkit Scenarios
Enterprise Architecture Toolkit ScenariosEnterprise Architecture Toolkit Scenarios
Enterprise Architecture Toolkit Scenarios
Mike Walker
 
SAP on Azure - Deck
SAP on Azure - DeckSAP on Azure - Deck
SAP on Azure - Deck
Chris Genazzio
 
Enterprise Architecture Implementation And The Open Group Architecture Framew...
Enterprise Architecture Implementation And The Open Group Architecture Framew...Enterprise Architecture Implementation And The Open Group Architecture Framew...
Enterprise Architecture Implementation And The Open Group Architecture Framew...
Alan McSweeney
 
Manage services presentation
Manage services presentationManage services presentation
Manage services presentation
Len Moncrieffe
 
Build, train, and deploy ML models at scale.pdf
Build, train, and deploy ML models at scale.pdfBuild, train, and deploy ML models at scale.pdf
Build, train, and deploy ML models at scale.pdf
Amazon Web Services
 
Agile Solution Architecture and Design
Agile Solution Architecture and DesignAgile Solution Architecture and Design
Agile Solution Architecture and Design
Alan McSweeney
 
Managed IT Services: Overview, Importance, Business Benefits
Managed IT Services: Overview, Importance, Business BenefitsManaged IT Services: Overview, Importance, Business Benefits
Managed IT Services: Overview, Importance, Business Benefits
Veritis Group, Inc
 
Cloud Migration: A How-To Guide
Cloud Migration: A How-To GuideCloud Migration: A How-To Guide
Cloud Migration: A How-To Guide
Amazon Web Services
 
mlops.community meetup - ML Governance_ A Practical Guide.pptx
mlops.community meetup - ML Governance_ A Practical Guide.pptxmlops.community meetup - ML Governance_ A Practical Guide.pptx
mlops.community meetup - ML Governance_ A Practical Guide.pptx
Ryan Dawson
 
Cloud security comparisons between aws and azure
Cloud security comparisons between aws and azureCloud security comparisons between aws and azure
Cloud security comparisons between aws and azure
Abdul Khan
 
Managed Services
Managed ServicesManaged Services
Managed Services
Rishu Mehra
 
ITS Managed Services Introduction
ITS Managed Services IntroductionITS Managed Services Introduction
ITS Managed Services Introduction
Jorge Sebastiao
 
Using AIOps to reduce incidents volume
Using AIOps to reduce incidents volumeUsing AIOps to reduce incidents volume
Using AIOps to reduce incidents volume
Amazon Web Services
 
Forget Big Data. It's All About Smart Data
Forget Big Data. It's All About Smart DataForget Big Data. It's All About Smart Data
Forget Big Data. It's All About Smart Data
Alan McSweeney
 
Cloud Migration
Cloud MigrationCloud Migration
Structured Approach to Solution Architecture
Structured Approach to Solution ArchitectureStructured Approach to Solution Architecture
Structured Approach to Solution Architecture
Alan McSweeney
 
A framework for self-healing applications – the path to enable auto-remediation
A framework for self-healing applications – the path to enable auto-remediationA framework for self-healing applications – the path to enable auto-remediation
A framework for self-healing applications – the path to enable auto-remediation
Jürgen Etzlstorfer
 

Was ist angesagt? (20)

Azure Migrate
Azure MigrateAzure Migrate
Azure Migrate
 
The Evolution of Self-Service Analytics
The Evolution of Self-Service AnalyticsThe Evolution of Self-Service Analytics
The Evolution of Self-Service Analytics
 
Managed Services Presentation
Managed Services PresentationManaged Services Presentation
Managed Services Presentation
 
Enterprise Architecture Toolkit Scenarios
Enterprise Architecture Toolkit ScenariosEnterprise Architecture Toolkit Scenarios
Enterprise Architecture Toolkit Scenarios
 
SAP on Azure - Deck
SAP on Azure - DeckSAP on Azure - Deck
SAP on Azure - Deck
 
Enterprise Architecture Implementation And The Open Group Architecture Framew...
Enterprise Architecture Implementation And The Open Group Architecture Framew...Enterprise Architecture Implementation And The Open Group Architecture Framew...
Enterprise Architecture Implementation And The Open Group Architecture Framew...
 
Manage services presentation
Manage services presentationManage services presentation
Manage services presentation
 
Build, train, and deploy ML models at scale.pdf
Build, train, and deploy ML models at scale.pdfBuild, train, and deploy ML models at scale.pdf
Build, train, and deploy ML models at scale.pdf
 
Agile Solution Architecture and Design
Agile Solution Architecture and DesignAgile Solution Architecture and Design
Agile Solution Architecture and Design
 
Managed IT Services: Overview, Importance, Business Benefits
Managed IT Services: Overview, Importance, Business BenefitsManaged IT Services: Overview, Importance, Business Benefits
Managed IT Services: Overview, Importance, Business Benefits
 
Cloud Migration: A How-To Guide
Cloud Migration: A How-To GuideCloud Migration: A How-To Guide
Cloud Migration: A How-To Guide
 
mlops.community meetup - ML Governance_ A Practical Guide.pptx
mlops.community meetup - ML Governance_ A Practical Guide.pptxmlops.community meetup - ML Governance_ A Practical Guide.pptx
mlops.community meetup - ML Governance_ A Practical Guide.pptx
 
Cloud security comparisons between aws and azure
Cloud security comparisons between aws and azureCloud security comparisons between aws and azure
Cloud security comparisons between aws and azure
 
Managed Services
Managed ServicesManaged Services
Managed Services
 
ITS Managed Services Introduction
ITS Managed Services IntroductionITS Managed Services Introduction
ITS Managed Services Introduction
 
Using AIOps to reduce incidents volume
Using AIOps to reduce incidents volumeUsing AIOps to reduce incidents volume
Using AIOps to reduce incidents volume
 
Forget Big Data. It's All About Smart Data
Forget Big Data. It's All About Smart DataForget Big Data. It's All About Smart Data
Forget Big Data. It's All About Smart Data
 
Cloud Migration
Cloud MigrationCloud Migration
Cloud Migration
 
Structured Approach to Solution Architecture
Structured Approach to Solution ArchitectureStructured Approach to Solution Architecture
Structured Approach to Solution Architecture
 
A framework for self-healing applications – the path to enable auto-remediation
A framework for self-healing applications – the path to enable auto-remediationA framework for self-healing applications – the path to enable auto-remediation
A framework for self-healing applications – the path to enable auto-remediation
 

Ähnlich wie Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar

Webinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - AbwehrmöglichkeitenWebinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - Abwehrmöglichkeiten
A. Baggenstos & Co. AG
 
Webinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - AbwehrmöglichkeitenWebinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - Abwehrmöglichkeiten
A. Baggenstos & Co. AG
 
Azure Migration and Modernization Program (AMMP)
Azure Migration and Modernization Program (AMMP)Azure Migration and Modernization Program (AMMP)
Azure Migration and Modernization Program (AMMP)
A. Baggenstos & Co. AG
 
JavaFX Real-World Apps
JavaFX Real-World AppsJavaFX Real-World Apps
JavaFX Real-World Apps
Alexander Casall
 
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mayflower GmbH
 
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdfDACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DNUG e.V.
 
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Markus Unterauer
 
2011 07-13 collaboration solutions day - cedros
2011 07-13 collaboration solutions day - cedros2011 07-13 collaboration solutions day - cedros
2011 07-13 collaboration solutions day - cedros
Philipp_Koenigs
 
Webinar: Sicher mit dem SAP MES in die Cloud migrieren
Webinar: Sicher mit dem SAP MES in die Cloud migrierenWebinar: Sicher mit dem SAP MES in die Cloud migrieren
Webinar: Sicher mit dem SAP MES in die Cloud migrieren
Trebing & Himstedt Prozeßautomation GmbH & Co. KG
 
Dr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Dr. Ingo Laue - Microsoft Azure | Projekt-ErfahrungenDr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Dr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Symposia Media
 
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Gernot Sauerborn
 
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Stefan ROOCK
 
Raus aus den Silos - Datenmanagement im digitalen Zeitalter
Raus aus den Silos - Datenmanagement im digitalen ZeitalterRaus aus den Silos - Datenmanagement im digitalen Zeitalter
Raus aus den Silos - Datenmanagement im digitalen Zeitalter
Detlev Sandel
 
Survivalkit für Codehausmeister
Survivalkit für CodehausmeisterSurvivalkit für Codehausmeister
Survivalkit für Codehausmeister
Hendrik Lösch
 
SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?
IBsolution GmbH
 
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Trebing & Himstedt Prozeßautomation GmbH & Co. KG
 
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Virtual Forge
 
Cloud Computing
Cloud ComputingCloud Computing
Cloud Computing
Thomas Krampe
 
Congstar - die Erfolgsstory
Congstar - die ErfolgsstoryCongstar - die Erfolgsstory
Congstar - die Erfolgsstory
Telekom MMS
 
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Camptocamp
 

Ähnlich wie Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar (20)

Webinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - AbwehrmöglichkeitenWebinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - Abwehrmöglichkeiten
 
Webinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - AbwehrmöglichkeitenWebinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - Abwehrmöglichkeiten
 
Azure Migration and Modernization Program (AMMP)
Azure Migration and Modernization Program (AMMP)Azure Migration and Modernization Program (AMMP)
Azure Migration and Modernization Program (AMMP)
 
JavaFX Real-World Apps
JavaFX Real-World AppsJavaFX Real-World Apps
JavaFX Real-World Apps
 
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
 
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdfDACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
 
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
 
2011 07-13 collaboration solutions day - cedros
2011 07-13 collaboration solutions day - cedros2011 07-13 collaboration solutions day - cedros
2011 07-13 collaboration solutions day - cedros
 
Webinar: Sicher mit dem SAP MES in die Cloud migrieren
Webinar: Sicher mit dem SAP MES in die Cloud migrierenWebinar: Sicher mit dem SAP MES in die Cloud migrieren
Webinar: Sicher mit dem SAP MES in die Cloud migrieren
 
Dr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Dr. Ingo Laue - Microsoft Azure | Projekt-ErfahrungenDr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Dr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
 
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
 
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
 
Raus aus den Silos - Datenmanagement im digitalen Zeitalter
Raus aus den Silos - Datenmanagement im digitalen ZeitalterRaus aus den Silos - Datenmanagement im digitalen Zeitalter
Raus aus den Silos - Datenmanagement im digitalen Zeitalter
 
Survivalkit für Codehausmeister
Survivalkit für CodehausmeisterSurvivalkit für Codehausmeister
Survivalkit für Codehausmeister
 
SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?
 
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
 
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
 
Cloud Computing
Cloud ComputingCloud Computing
Cloud Computing
 
Congstar - die Erfolgsstory
Congstar - die ErfolgsstoryCongstar - die Erfolgsstory
Congstar - die Erfolgsstory
 
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
 

Mehr von BATbern

BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern53 Post Data persistence in the business-critical and event driven env...BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern
 
BATbern53 BKW Easy Migration through Clean Architecture
BATbern53 BKW Easy Migration through Clean ArchitectureBATbern53 BKW Easy Migration through Clean Architecture
BATbern53 BKW Easy Migration through Clean Architecture
BATbern
 
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern
 
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinstecktBATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern
 
BATBern53 - EPFL - Blue Brain and related technical challenges
BATBern53  - EPFL - Blue Brain and related technical challengesBATBern53  - EPFL - Blue Brain and related technical challenges
BATBern53 - EPFL - Blue Brain and related technical challenges
BATbern
 
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrtBATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern
 
BATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern53 ELCA Analyticsdatenhaltung in der CloudBATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern
 
BATber53 AWS Modernize your applications with purpose-built AWS databases
BATber53 AWS Modernize your applications with purpose-built AWS databasesBATber53 AWS Modernize your applications with purpose-built AWS databases
BATber53 AWS Modernize your applications with purpose-built AWS databases
BATbern
 
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data MeshBATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
BATbern
 
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data MeshBATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern
 
Embracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplaceEmbracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplace
BATbern
 
Serverless und Event-Driven Architecture
Serverless und Event-Driven ArchitectureServerless und Event-Driven Architecture
Serverless und Event-Driven Architecture
BATbern
 
Serverless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisServerless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der Praxis
BATbern
 
Serverless at Lifestage
Serverless at LifestageServerless at Lifestage
Serverless at Lifestage
BATbern
 
Keynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless ArchitecturesKeynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless Architectures
BATbern
 
BATbern51 Serverless?!
BATbern51 Serverless?!BATbern51 Serverless?!
BATbern51 Serverless?!
BATbern
 
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen PartnersEin Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
BATbern
 
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at RaiffeisenFrom Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
BATbern
 

Mehr von BATbern (20)

BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern53 Post Data persistence in the business-critical and event driven env...BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern53 Post Data persistence in the business-critical and event driven env...
 
BATbern53 BKW Easy Migration through Clean Architecture
BATbern53 BKW Easy Migration through Clean ArchitectureBATbern53 BKW Easy Migration through Clean Architecture
BATbern53 BKW Easy Migration through Clean Architecture
 
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
 
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinstecktBATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
 
BATBern53 - EPFL - Blue Brain and related technical challenges
BATBern53  - EPFL - Blue Brain and related technical challengesBATBern53  - EPFL - Blue Brain and related technical challenges
BATBern53 - EPFL - Blue Brain and related technical challenges
 
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrtBATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
 
BATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern53 ELCA Analyticsdatenhaltung in der CloudBATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern53 ELCA Analyticsdatenhaltung in der Cloud
 
BATber53 AWS Modernize your applications with purpose-built AWS databases
BATber53 AWS Modernize your applications with purpose-built AWS databasesBATber53 AWS Modernize your applications with purpose-built AWS databases
BATber53 AWS Modernize your applications with purpose-built AWS databases
 
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data MeshBATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
 
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data MeshBATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
 
Embracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplaceEmbracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplace
 
Serverless und Event-Driven Architecture
Serverless und Event-Driven ArchitectureServerless und Event-Driven Architecture
Serverless und Event-Driven Architecture
 
Serverless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisServerless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der Praxis
 
Serverless at Lifestage
Serverless at LifestageServerless at Lifestage
Serverless at Lifestage
 
Keynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless ArchitecturesKeynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless Architectures
 
BATbern51 Serverless?!
BATbern51 Serverless?!BATbern51 Serverless?!
BATbern51 Serverless?!
 
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen PartnersEin Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
 
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at RaiffeisenFrom Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
 

Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar

  • 1. Klassifizierung von Versicherungsschäden - AI und MLOps bei der Mobiliar Tobias Egli, PhD, Product Owner Thomas Baumann, Product Owner
  • 2. 2 Tobias Egli, PhD Data Scientist Product Owner Thomas Baumann Teamleiter Prozess Schaden Product Owner
  • 3. 3
  • 4. 4 BATbern40 im Juni 2018: "Wie AI-Services in der Mobiliar gebaut und eingesetzt werden"
  • 5. Create and publish the ML model Create and run the service Plan MLOps als Prozess Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Monitoring triggers re-training Plan Create the service Run the service
  • 7. Schadenprozess, die Benutzer:innen, ihre Bedürfnisse… und die Probleme Schaden- meldung Deckungs- prüfung Auszahlung Abschluss Ein Prozess für drei unterschiedliche Benutzergruppen Die Sicht der Schadenexpert:innen • Kleinere Schäden sollen so schnell wie möglich erledigt werden, damit mehr Zeit für die schwierigen Fälle bleibt Die Sicht der weiteren Mobiliar-Mitarbeiter:innen • Ein Schaden soll auch ohne Detailkenntnisse gemeldet werden können • Die Schadenexpert:innen bei Grossschäden unterstützen können Die Sicht der Kund:innen • Schnelle und einfache Meldung eines Schadens, 24/7 • Sofortige Gewissheit darüber, ob der Schaden gedeckt ist und wie hoch die Entschädigung ist 7
  • 8. Anforderungen und KPIs Die drei vorgeschlagenen Werte enthalten in 90% der Fälle den korrekten Wert Schaden- meldung Deckungs- prüfung Auszahlung Die drei vorgeschlagenen Werte enthalten in 80% der Fälle den korrekten Wert ML Modell KPIs mit Akzeptanz- kriterien • Schadenkategorie identifizieren • Top 3 Resultate vorschlagen • Schadenursache identifizieren • Top 3 Resultate vorschlagen • Entschädigungsart identifizieren • Top 3 Resultate vorschlagen Anforderungen 8
  • 9. Daten Zielvariablen: • Schadentyp (55 Klassen) à e.g. "Motorfahrzeug Kasko" • Schadenursache (114 Klassen) à e.g. "Hagel" • Entschädigungsart (89 Klassen) à e.g. "Reparatur" Prädiktoren: Schadenbeschreibungen in Textform • Geschrieben von Mitarbeiter:innen ODER Kund:innen • Deutsch > Franz. > Ital. > Engl. • Z.b. 9 Das Fahrzeug war parkiert and der Foobar-strasse in Bazhausen. Hagelschaden auf dem Dach und der Motorhaube. 2.8 Mio. Schadenfälle waren verfügbar für die ML Modellentwicklung Train-Validation-Test split: • 80% Trainings-Datensatz • 10% Validierungs-Datensatz • 10% Test-Datensatz
  • 10. Create and publish the ML model Create and run the service Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Modellentwicklung Plan Plan • Je nach Aufwand in der Modellentwicklung eine Frage von Stunden bis Tagen für eine Iteration • Im Happy Case: eine Frage von 1-2 Stunden
  • 11. Tech Stack für Modellentwicklung 11 Delivery Platform Pythagoras User DSW PyPi …
  • 12. Modellentwicklung 12 Infrastruktur: • Azure ML • V100 GPU (16 GB VRAM) • 6 CPU Cores (112 GB RAM) ULMFiT: • AWD-LSTM implementiert in fastai2 (neuronales Netz) • Vortrainieren eines Language Models (LM) auf Wikipedia-Texten (300 M Worte; DE, FR, IT, EN) • Fine-tuning des LMs basierend auf Schadenbeschreibungen in Textform • Training eines Classifiers basierend auf Schadenbeschreibungen in Textform Transformer: • xlm-roberta-base (neuronales Netz) • Bereits vortrainiertes multilinguales LM (bezogen von Hugging Face; inkl. DE, FR, IT, EN) • Training eines Classifiers basierend auf Schadenbeschreibungen in Textform Baseline Modell: • TF-IDF • SGD Classifier
  • 13. Resultate 13 Zielvariable Modell F1* Precision* Recall* Recall@3 Schadenkategorie (k = 55) SGD 0.76 0.76 0.77 0.95 AWD-LSTM 0.80 0.80 0.81 0.97 Transformer 0.73 0.75 0.74 0.96 Schadenursache (k = 114) SGD 0.71 0.71 0.73 0.93 AWD-LSTM 0.75 0.75 0.76 0.95 Transformer 0.70 0.73 0.73 0.94 Entschädigungsart (k = 89) SGD 0.67 0.68 0.70 0.90 AWD-LSTM 0.71 0.72 0.74 0.93 Transformer 0.64 0.68 0.67 0.90 *Gewichteter Mittelwert 80% der vorgeschlagenen Top 1 Klassifizierungen entsprechen der gesuchten Klasse In 81% der Fälle entspricht die gesuchte Klasse der vorgeschlagenen Top 1 Klassifizierung In 97% der Fälle ist die gesuchte Klasse unter den vor- geschlagenen Top 3 Klassifizierungen
  • 14. Resultate für einzelne Klassen (Schadenkategorie) 14 Beobachtete Schadenkategorie Vorhergesagte Schadenkategorie (Top 1) Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert Klasse "Haftpflicht, übriger Schaden / Verlust": • 25k korrekt klassifiziert (Top 1) • Fehler (falsch Positive & Negative) streuen über zahlreiche Klassen à Per se unspezifische Klassendefinition ("Sammelklasse") à Haftpflicht erfordert Kenntnis über Kontext der Situation Sicht auf Top 1 Resultate:
  • 15. Resultate für einzelne Klassen (Schadenkategorie recall@3) 15 • Sehr gute Resultate für grosse Klassen • Gute Resultate für die meisten kleineren Klassen • Schlechte Resultate für wenige kleine Klassen à Die Verwendung von Top 3 Predictions mitigiert Top 1 Fehlklassifizierungen in den meisten Fällen Klassengrösse Recall@3 Sicht auf Top 3 Resultate:
  • 16. Create and publish the ML model Create and run the service Plan Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Monitoring triggers re-training Plan Modell Deployment • Modell-Library publishen und Service erstellen: eine Frage von wenigen Stunden • Ein Re-Training und Re-Deployment ohne Veränderungen: "Auf Knopfdruck" • Neutraining und -Deployment mit neuen Daten: • Training abhängig vom Aufwand für Datenbezug und Datenexploration • Deployment "auf Knopfdruck"
  • 17. Tech Stack für Modell Deployment 17 Delivery Platform Pythagoras User Photon …
  • 18. Integration im Geschäftsprozess 18 Benutzergruppe Integriert in Verwendung der Klassifizierung Konsequenz bei falscher Klassifizierung Schadenexpert:in (B2E) Schadensystem MCS Die Klassifizierung mit dem höchsten Score ist vorselektiert Der korrekte Wert wird im drop-down selektiert Weitere interne MA (B2E) Dediziertes B2E-Tool Die Top 3 Klassifizierungen werden sequenziell vorgeschlagen Aussteuerung zu Schadenexpert:in Kund:innen (B2C) App und Webseite
  • 19. Ergebnisse aus fachlicher Sicht 19 Die Sicht der Schadenexpert:innen • Vereinfachte Erfassung von Schadenfällen • Kleinere Schäden beinahe vollständig automatisiert • Zeit, die für komplexere Fälle eingesetzt werden kann Die Sicht der weiteren Mobiliar-Mitarbeiter:innen • Fälle können selbständig ohne Medienbruch angemeldet werden • Unterstützung bei Grossschäden massiv vereinfacht • Erhöhte Auskunftsfähigkeit gegenüber den Kund:innen Die Sicht der Kund:innen • Stark vereinfachte online Erfassung von Schadenfällen • Frühzeitige Information, ob der Schaden gedeckt ist
  • 20. 20 Enge interdisziplinäre Zusammenarbeit (Data Science, IT, Business, …) ist unabdingbar und muss integraler Teil des MLOps-Prozesses sein. Die Organisation nach SAFe trägt massgeblich dazu bei. User verhalten sich unvorhergesehen. Geschäftsprozesse und Modell-Inputs verändern sich. ML Modell-Monitoring muss als Teil von MLOps sichergestellt werden. Das MLOps-Setup der Mobiliar (Prozess und Infrastruktur) • beschleunigt die nachhaltige Entwicklung von ML-Modellen signifikant • vereinheitlicht die Arbeit • stellt sicher, dass Qualitätsstandards eingehalten werden Round up
  • 22. Vielen Dank für die Aufmerksamkeit.
  • 24. Appendix: Nächste Schritte • Kontinuierliche Re-Trainings • Weiterentwicklung des ML Modell Monitorings • Vertiefte Analysen der Business-Resultate • Mehr Arbeit investieren in die Verwendung weiterer grosse LMs - domain adaptation mit mehr Epochen und / oder grösseren Datensätzen - Verwendung von anderen vortrainierten Modellen • Eine Vollautomatisierung kleinerer Schäden wird angestrebt (i.e. der grösseren Klassen mit guten Resultaten der Modelle) 24
  • 25. B2E: Mobi employee (experts / non-experts) B2E (experts) in production since December 2019 B2E (non-experts) in production since November 2020 B2E (non-experts) in production since Mai 2022 2nd half of 2022 B2C in production since July 2021 2nd half of 2022 1st half of 2023 Roadmap automated minor claims First notification of loss Coverage check Payment scheduling Case closing B2C: Customer
  • 26. Resultate für einzelne Klassen (Schadentyp) 26 Vorhergesagter Schadentyp (Top 1) Beobachteter Schadentyp Klasse "Sonstiger Kaskoschaden an Motorfahrzeug": • 27k korrekt klassifiziert (Top 1) • 7'405 falsch klassifiziert "Haftpflicht, involviert sonst. Schaden an Motorfahrzeug" • 1'740 falsch klassifiziert als "Kasko Parkschaden" à Haftpflicht erfordert Kenntniss über die Situation à Falschklassifizierungen sind oft in thematisch ähnlichen Klassen Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert Sicht auf Top 1 Resultate:
  • 27. Appendix: Baseline models 27 SGDClassifier(loss='modified_huber', penalty='l2', alpha=0.000001, random_state=42, max_iter=93, tol=0.000247, n_jobs=-1) Damage type SGDClassifier(loss='log', penalty='l2', alpha=1.592997e-07, random_state=42, max_iter=51, tol=0.000043, n_jobs=-1) Damage cause SGDClassifier(loss='log', penalty='l2', alpha=1.422820e-07, random_state=42, max_iter=22, tol=0.00001, n_jobs=-1) Compensation type use_stemmer = trial.suggest_categorical('use_stemmer', [True, False]) use_stop_words = trial.suggest_categorical('use_stopwords', [True, False]) max_features = trial.suggest_categorical('max_features', [64_000, 128_000, 256_000, 512_000]) max_grams = trial.suggest_int('max_grams', 1, 5) use_tfidf = trial.suggest_categorical('use_tfidf', [True, False]) loss = trial.suggest_categorical('loss', ['hinge', 'log', 'modified_huber', 'squared_hinge', 'perceptron']) penalty = trial.suggest_categorical('penalty', ['l1', 'l2']) alpha = trial.suggest_loguniform('alpha', 1e-8, 1) seed = trial.suggest_int('seed', 0, 100) max_iter = trial.suggest_int('max_iter', 1, 100) tol = trial.suggest_loguniform('tol', 1e-5, 1) Optuna search space
  • 28. Appendix: AWD-LSTM Language model: • sequence length = 72 • batch size = 192 • LR = 0.002 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.1 • Accuracy: 0.42 • Perplexity: 22.02 Fine-tuned LM • sequence length = 72 • batch size = 128 • LR = 0.01 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.1 • Accuracy: 0.54 • Perplexity: 8.52 Classifier: • LR = 0.01 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.05 28
  • 29. Appendix: Transformer • Multihead classifier (one model for all three targets) • Custom class based on XLMRobertaForSequenceClassification 29 args_clf = TrainingArguments( ... num_train_epochs=3, learning_rate=1e-5, warmup_steps=32500, per_device_train_batch_size=8, per_device_eval_batch_size=8, weight_decay=0.1, evaluation_strategy="steps", save_steps=100000000000, logging_steps=60000, eval_steps=60000, )
  • 30. Appendix: Confusion matrices 30 Cause of damage k = 114 Compensation type k = 89
  • 31. Appendix: Recall@3 vs. class size 31 Cause of damage (k = 114) Compensation type (k = 89)