SlideShare ist ein Scribd-Unternehmen logo
Klassifizierung von Versicherungsschäden -
AI und MLOps bei der Mobiliar
Tobias Egli, PhD, Product Owner
Thomas Baumann, Product Owner
2
Tobias Egli, PhD
Data Scientist
Product Owner
Thomas Baumann
Teamleiter Prozess Schaden
Product Owner
3
4
BATbern40 im Juni 2018:
"Wie AI-Services in der Mobiliar gebaut und eingesetzt werden"
Create and publish
the ML model
Create and run the
service
Plan
MLOps als Prozess
Develop
the ML model
Publish
the ML model
Gather
Train Evaluate Publish Test
Push
Code
Explore Build
Understand
Plan
Monitoring triggers re-training
Plan
Create the service Run the service
Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
Schadenprozess, die Benutzer:innen, ihre Bedürfnisse… und die Probleme
Schaden-
meldung
Deckungs-
prüfung
Auszahlung Abschluss
Ein Prozess für drei unterschiedliche Benutzergruppen
Die Sicht der Schadenexpert:innen
• Kleinere Schäden sollen so schnell wie möglich erledigt werden, damit mehr Zeit für die schwierigen Fälle bleibt
Die Sicht der weiteren Mobiliar-Mitarbeiter:innen
• Ein Schaden soll auch ohne Detailkenntnisse gemeldet werden können
• Die Schadenexpert:innen bei Grossschäden unterstützen können
Die Sicht der Kund:innen
• Schnelle und einfache Meldung eines Schadens, 24/7
• Sofortige Gewissheit darüber, ob der Schaden gedeckt ist und wie hoch die Entschädigung ist
7
Anforderungen und KPIs
Die drei vorgeschlagenen
Werte enthalten in 90%
der Fälle den korrekten
Wert
Schaden-
meldung
Deckungs-
prüfung
Auszahlung
Die drei vorgeschlagenen Werte enthalten in 80% der
Fälle den korrekten Wert
ML Modell KPIs
mit Akzeptanz-
kriterien
• Schadenkategorie
identifizieren
• Top 3 Resultate
vorschlagen
• Schadenursache
identifizieren
• Top 3 Resultate
vorschlagen
• Entschädigungsart
identifizieren
• Top 3 Resultate
vorschlagen
Anforderungen
8
Daten
Zielvariablen:
• Schadentyp (55 Klassen)
à e.g. "Motorfahrzeug Kasko"
• Schadenursache (114 Klassen)
à e.g. "Hagel"
• Entschädigungsart (89 Klassen)
à e.g. "Reparatur"
Prädiktoren:
Schadenbeschreibungen in Textform
• Geschrieben von Mitarbeiter:innen ODER Kund:innen
• Deutsch > Franz. > Ital. > Engl.
• Z.b.
9
Das Fahrzeug war parkiert and der
Foobar-strasse in Bazhausen.
Hagelschaden auf dem Dach und der
Motorhaube.
2.8 Mio. Schadenfälle waren verfügbar für die ML Modellentwicklung
Train-Validation-Test split:
• 80% Trainings-Datensatz
• 10% Validierungs-Datensatz
• 10% Test-Datensatz
Create and publish
the ML model
Create and run the
service
Develop
the ML model
Publish
the ML model
Gather
Train Evaluate Publish Test
Push
Code
Explore Build
Understand
Plan
Modellentwicklung
Plan
Plan
• Je nach Aufwand in der Modellentwicklung eine
Frage von Stunden bis Tagen für eine Iteration
• Im Happy Case: eine Frage von 1-2 Stunden
Tech Stack für Modellentwicklung
11
Delivery
Platform
Pythagoras
User
DSW
PyPi
…
Modellentwicklung
12
Infrastruktur: • Azure ML
• V100 GPU (16 GB VRAM)
• 6 CPU Cores (112 GB RAM)
ULMFiT: • AWD-LSTM implementiert in fastai2 (neuronales Netz)
• Vortrainieren eines Language Models (LM) auf Wikipedia-Texten (300 M Worte; DE, FR, IT, EN)
• Fine-tuning des LMs basierend auf Schadenbeschreibungen in Textform
• Training eines Classifiers basierend auf Schadenbeschreibungen in Textform
Transformer: • xlm-roberta-base (neuronales Netz)
• Bereits vortrainiertes multilinguales LM (bezogen von Hugging Face; inkl. DE, FR, IT, EN)
• Training eines Classifiers basierend auf Schadenbeschreibungen in Textform
Baseline Modell:
• TF-IDF
• SGD Classifier
Resultate
13
Zielvariable Modell F1* Precision* Recall* Recall@3
Schadenkategorie
(k = 55)
SGD 0.76 0.76 0.77 0.95
AWD-LSTM 0.80 0.80 0.81 0.97
Transformer 0.73 0.75 0.74 0.96
Schadenursache
(k = 114)
SGD 0.71 0.71 0.73 0.93
AWD-LSTM 0.75 0.75 0.76 0.95
Transformer 0.70 0.73 0.73 0.94
Entschädigungsart
(k = 89)
SGD 0.67 0.68 0.70 0.90
AWD-LSTM 0.71 0.72 0.74 0.93
Transformer 0.64 0.68 0.67 0.90
*Gewichteter Mittelwert
80% der vorgeschlagenen Top 1
Klassifizierungen entsprechen der
gesuchten Klasse
In 81% der Fälle entspricht die gesuchte
Klasse der vorgeschlagenen Top 1
Klassifizierung
In 97% der Fälle ist
die gesuchte Klasse
unter den vor-
geschlagenen Top 3
Klassifizierungen
Resultate für einzelne Klassen (Schadenkategorie)
14
Beobachtete
Schadenkategorie
Vorhergesagte Schadenkategorie (Top 1)
Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert
Klasse "Haftpflicht, übriger Schaden / Verlust":
• 25k korrekt klassifiziert (Top 1)
• Fehler (falsch Positive & Negative) streuen über zahlreiche Klassen
à Per se unspezifische Klassendefinition ("Sammelklasse")
à Haftpflicht erfordert Kenntnis über Kontext der Situation
Sicht auf Top 1 Resultate:
Resultate für einzelne Klassen (Schadenkategorie recall@3)
15
• Sehr gute Resultate für grosse
Klassen
• Gute Resultate für die meisten
kleineren Klassen
• Schlechte Resultate für wenige
kleine Klassen
à Die Verwendung von Top 3
Predictions mitigiert Top 1
Fehlklassifizierungen in den
meisten Fällen
Klassengrösse
Recall@3
Sicht auf Top 3 Resultate:
Create and publish
the ML model
Create and run the
service
Plan
Develop
the ML model
Publish
the ML model
Gather
Train Evaluate Publish Test
Push
Code
Explore Build
Understand
Plan
Monitoring triggers re-training
Plan
Modell Deployment
• Modell-Library publishen und Service erstellen:
eine Frage von wenigen Stunden
• Ein Re-Training und Re-Deployment ohne
Veränderungen: "Auf Knopfdruck"
• Neutraining und -Deployment mit neuen Daten:
• Training abhängig vom Aufwand für
Datenbezug und Datenexploration
• Deployment "auf Knopfdruck"
Tech Stack für Modell Deployment
17
Delivery
Platform
Pythagoras
User
Photon
…
Integration im Geschäftsprozess
18
Benutzergruppe Integriert in
Verwendung der
Klassifizierung
Konsequenz bei falscher
Klassifizierung
Schadenexpert:in
(B2E)
Schadensystem MCS
Die Klassifizierung mit dem
höchsten Score ist
vorselektiert
Der korrekte Wert wird im
drop-down selektiert
Weitere interne MA
(B2E)
Dediziertes B2E-Tool
Die Top 3 Klassifizierungen
werden sequenziell
vorgeschlagen
Aussteuerung zu
Schadenexpert:in
Kund:innen
(B2C)
App und Webseite
Ergebnisse aus fachlicher Sicht
19
Die Sicht der Schadenexpert:innen
• Vereinfachte Erfassung von Schadenfällen
• Kleinere Schäden beinahe vollständig automatisiert
• Zeit, die für komplexere Fälle eingesetzt werden kann
Die Sicht der weiteren Mobiliar-Mitarbeiter:innen
• Fälle können selbständig ohne Medienbruch angemeldet werden
• Unterstützung bei Grossschäden massiv vereinfacht
• Erhöhte Auskunftsfähigkeit gegenüber den Kund:innen
Die Sicht der Kund:innen
• Stark vereinfachte online Erfassung von Schadenfällen
• Frühzeitige Information, ob der Schaden gedeckt ist
20
Enge interdisziplinäre Zusammenarbeit (Data Science, IT, Business, …)
ist unabdingbar und muss integraler Teil des MLOps-Prozesses sein.
Die Organisation nach SAFe trägt massgeblich dazu bei.
User verhalten sich unvorhergesehen.
Geschäftsprozesse und Modell-Inputs verändern sich.
ML Modell-Monitoring muss als Teil von MLOps sichergestellt werden.
Das MLOps-Setup der Mobiliar (Prozess und Infrastruktur)
• beschleunigt die nachhaltige Entwicklung von ML-Modellen signifikant
• vereinheitlicht die Arbeit
• stellt sicher, dass Qualitätsstandards eingehalten werden
Round up
Fragen?
Vielen Dank für die
Aufmerksamkeit.
Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar
Appendix: Nächste Schritte
• Kontinuierliche Re-Trainings
• Weiterentwicklung des ML Modell Monitorings
• Vertiefte Analysen der Business-Resultate
• Mehr Arbeit investieren in die Verwendung weiterer grosse LMs
- domain adaptation mit mehr Epochen und / oder grösseren Datensätzen
- Verwendung von anderen vortrainierten Modellen
• Eine Vollautomatisierung kleinerer Schäden wird angestrebt (i.e. der grösseren Klassen mit
guten Resultaten der Modelle)
24
B2E:
Mobi employee
(experts / non-experts)
B2E (experts) in
production since
December 2019
B2E (non-experts)
in production since
November 2020
B2E (non-experts)
in production since
Mai 2022 2nd half of 2022
B2C in production
since
July 2021
2nd half of 2022 1st half of 2023
Roadmap automated minor claims
First
notification
of loss
Coverage
check
Payment
scheduling
Case closing
B2C:
Customer
Resultate für einzelne Klassen (Schadentyp)
26
Vorhergesagter Schadentyp (Top 1)
Beobachteter
Schadentyp
Klasse "Sonstiger Kaskoschaden an Motorfahrzeug":
• 27k korrekt klassifiziert (Top 1)
• 7'405 falsch klassifiziert "Haftpflicht, involviert sonst. Schaden an Motorfahrzeug"
• 1'740 falsch klassifiziert als "Kasko Parkschaden"
à Haftpflicht erfordert Kenntniss über die Situation
à Falschklassifizierungen sind oft in thematisch ähnlichen Klassen
Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert
Sicht auf Top 1 Resultate:
Appendix: Baseline models
27
SGDClassifier(loss='modified_huber',
penalty='l2',
alpha=0.000001,
random_state=42,
max_iter=93,
tol=0.000247,
n_jobs=-1)
Damage type
SGDClassifier(loss='log',
penalty='l2',
alpha=1.592997e-07,
random_state=42,
max_iter=51,
tol=0.000043,
n_jobs=-1)
Damage cause
SGDClassifier(loss='log',
penalty='l2',
alpha=1.422820e-07,
random_state=42,
max_iter=22,
tol=0.00001,
n_jobs=-1)
Compensation type
use_stemmer = trial.suggest_categorical('use_stemmer', [True, False])
use_stop_words = trial.suggest_categorical('use_stopwords', [True, False])
max_features = trial.suggest_categorical('max_features', [64_000, 128_000, 256_000, 512_000])
max_grams = trial.suggest_int('max_grams', 1, 5)
use_tfidf = trial.suggest_categorical('use_tfidf', [True, False])
loss = trial.suggest_categorical('loss', ['hinge', 'log', 'modified_huber', 'squared_hinge', 'perceptron'])
penalty = trial.suggest_categorical('penalty', ['l1', 'l2'])
alpha = trial.suggest_loguniform('alpha', 1e-8, 1)
seed = trial.suggest_int('seed', 0, 100)
max_iter = trial.suggest_int('max_iter', 1, 100)
tol = trial.suggest_loguniform('tol', 1e-5, 1)
Optuna search space
Appendix: AWD-LSTM
Language model:
• sequence length = 72
• batch size = 192
• LR = 0.002
• momentum = (0.8, 0.7, 0.8)
• weight decay = 0.1
• Accuracy: 0.42
• Perplexity: 22.02
Fine-tuned LM
• sequence length = 72
• batch size = 128
• LR = 0.01
• momentum = (0.8, 0.7, 0.8)
• weight decay = 0.1
• Accuracy: 0.54
• Perplexity: 8.52
Classifier:
• LR = 0.01
• momentum = (0.8, 0.7, 0.8)
• weight decay = 0.05
28
Appendix: Transformer
• Multihead classifier (one model for all three targets)
• Custom class based on XLMRobertaForSequenceClassification
29
args_clf = TrainingArguments(
...
num_train_epochs=3,
learning_rate=1e-5,
warmup_steps=32500,
per_device_train_batch_size=8,
per_device_eval_batch_size=8,
weight_decay=0.1,
evaluation_strategy="steps",
save_steps=100000000000,
logging_steps=60000,
eval_steps=60000,
)
Appendix: Confusion matrices
30
Cause of damage
k = 114
Compensation type
k = 89
Appendix: Recall@3 vs. class size
31
Cause of damage (k = 114) Compensation type (k = 89)

Weitere ähnliche Inhalte

Was ist angesagt?

The Ensemble Logical Model (by Remco Broekmans)
The Ensemble Logical Model (by Remco Broekmans)The Ensemble Logical Model (by Remco Broekmans)
The Ensemble Logical Model (by Remco Broekmans)
Patrick Van Renterghem
 
MLOps and Data Quality: Deploying Reliable ML Models in Production
MLOps and Data Quality: Deploying Reliable ML Models in ProductionMLOps and Data Quality: Deploying Reliable ML Models in Production
MLOps and Data Quality: Deploying Reliable ML Models in Production
Provectus
 
Building an AI organisation
Building an AI organisationBuilding an AI organisation
Building an AI organisation
Vikash Mishra
 
Productionalizing Machine Learning Solutions with Effective Tracking, Monitor...
Productionalizing Machine Learning Solutions with Effective Tracking, Monitor...Productionalizing Machine Learning Solutions with Effective Tracking, Monitor...
Productionalizing Machine Learning Solutions with Effective Tracking, Monitor...
Databricks
 
Webinar Data Mesh - Part 3
Webinar Data Mesh - Part 3Webinar Data Mesh - Part 3
Webinar Data Mesh - Part 3
Jeffrey T. Pollock
 
MLOps Virtual Event: Automating ML at Scale
MLOps Virtual Event: Automating ML at ScaleMLOps Virtual Event: Automating ML at Scale
MLOps Virtual Event: Automating ML at Scale
Databricks
 
Marketing Automation Center of Excellence (CoE): Governance Structure for Con...
Marketing Automation Center of Excellence (CoE): Governance Structure for Con...Marketing Automation Center of Excellence (CoE): Governance Structure for Con...
Marketing Automation Center of Excellence (CoE): Governance Structure for Con...
Guilda
 
Microsoft cloud big data strategy
Microsoft cloud big data strategyMicrosoft cloud big data strategy
Microsoft cloud big data strategy
James Serra
 
MLOps for production-level machine learning
MLOps for production-level machine learningMLOps for production-level machine learning
MLOps for production-level machine learning
cnvrg.io AI OS - Hands-on ML Workshops
 
MLOps and Reproducible ML on AWS with Kubeflow and SageMaker
MLOps and Reproducible ML on AWS with Kubeflow and SageMakerMLOps and Reproducible ML on AWS with Kubeflow and SageMaker
MLOps and Reproducible ML on AWS with Kubeflow and SageMaker
Provectus
 
AIOps, IT Analytics, and Business Performance: What’s Needed and What Works
AIOps, IT Analytics, and Business Performance: What’s Needed and What Works AIOps, IT Analytics, and Business Performance: What’s Needed and What Works
AIOps, IT Analytics, and Business Performance: What’s Needed and What Works
Enterprise Management Associates
 
How to identify the correct Master Data subject areas & tooling for your MDM...
How to identify the correct Master Data subject areas & tooling for your MDM...How to identify the correct Master Data subject areas & tooling for your MDM...
How to identify the correct Master Data subject areas & tooling for your MDM...
Christopher Bradley
 
Apply MLOps at Scale by H&M
Apply MLOps at Scale by H&MApply MLOps at Scale by H&M
Apply MLOps at Scale by H&M
Databricks
 
Data Mesh for Dinner
Data Mesh for DinnerData Mesh for Dinner
Data Mesh for Dinner
Kent Graziano
 
Ist Daten-Liberalismus der richtige Weg?
Ist Daten-Liberalismus der richtige Weg?Ist Daten-Liberalismus der richtige Weg?
Ist Daten-Liberalismus der richtige Weg?
confluent
 
Lakehouse in Azure
Lakehouse in AzureLakehouse in Azure
Lakehouse in Azure
Sergio Zenatti Filho
 
Data Architecture Best Practices for Advanced Analytics
Data Architecture Best Practices for Advanced AnalyticsData Architecture Best Practices for Advanced Analytics
Data Architecture Best Practices for Advanced Analytics
DATAVERSITY
 
MLOps.pptx
MLOps.pptxMLOps.pptx
MLOps.pptx
AllenPeter7
 
Introdution to Dataops and AIOps (or MLOps)
Introdution to Dataops and AIOps (or MLOps)Introdution to Dataops and AIOps (or MLOps)
Introdution to Dataops and AIOps (or MLOps)
Adrien Blind
 
Ml ops intro session
Ml ops   intro sessionMl ops   intro session
Ml ops intro session
Avinash Patil
 

Was ist angesagt? (20)

The Ensemble Logical Model (by Remco Broekmans)
The Ensemble Logical Model (by Remco Broekmans)The Ensemble Logical Model (by Remco Broekmans)
The Ensemble Logical Model (by Remco Broekmans)
 
MLOps and Data Quality: Deploying Reliable ML Models in Production
MLOps and Data Quality: Deploying Reliable ML Models in ProductionMLOps and Data Quality: Deploying Reliable ML Models in Production
MLOps and Data Quality: Deploying Reliable ML Models in Production
 
Building an AI organisation
Building an AI organisationBuilding an AI organisation
Building an AI organisation
 
Productionalizing Machine Learning Solutions with Effective Tracking, Monitor...
Productionalizing Machine Learning Solutions with Effective Tracking, Monitor...Productionalizing Machine Learning Solutions with Effective Tracking, Monitor...
Productionalizing Machine Learning Solutions with Effective Tracking, Monitor...
 
Webinar Data Mesh - Part 3
Webinar Data Mesh - Part 3Webinar Data Mesh - Part 3
Webinar Data Mesh - Part 3
 
MLOps Virtual Event: Automating ML at Scale
MLOps Virtual Event: Automating ML at ScaleMLOps Virtual Event: Automating ML at Scale
MLOps Virtual Event: Automating ML at Scale
 
Marketing Automation Center of Excellence (CoE): Governance Structure for Con...
Marketing Automation Center of Excellence (CoE): Governance Structure for Con...Marketing Automation Center of Excellence (CoE): Governance Structure for Con...
Marketing Automation Center of Excellence (CoE): Governance Structure for Con...
 
Microsoft cloud big data strategy
Microsoft cloud big data strategyMicrosoft cloud big data strategy
Microsoft cloud big data strategy
 
MLOps for production-level machine learning
MLOps for production-level machine learningMLOps for production-level machine learning
MLOps for production-level machine learning
 
MLOps and Reproducible ML on AWS with Kubeflow and SageMaker
MLOps and Reproducible ML on AWS with Kubeflow and SageMakerMLOps and Reproducible ML on AWS with Kubeflow and SageMaker
MLOps and Reproducible ML on AWS with Kubeflow and SageMaker
 
AIOps, IT Analytics, and Business Performance: What’s Needed and What Works
AIOps, IT Analytics, and Business Performance: What’s Needed and What Works AIOps, IT Analytics, and Business Performance: What’s Needed and What Works
AIOps, IT Analytics, and Business Performance: What’s Needed and What Works
 
How to identify the correct Master Data subject areas & tooling for your MDM...
How to identify the correct Master Data subject areas & tooling for your MDM...How to identify the correct Master Data subject areas & tooling for your MDM...
How to identify the correct Master Data subject areas & tooling for your MDM...
 
Apply MLOps at Scale by H&M
Apply MLOps at Scale by H&MApply MLOps at Scale by H&M
Apply MLOps at Scale by H&M
 
Data Mesh for Dinner
Data Mesh for DinnerData Mesh for Dinner
Data Mesh for Dinner
 
Ist Daten-Liberalismus der richtige Weg?
Ist Daten-Liberalismus der richtige Weg?Ist Daten-Liberalismus der richtige Weg?
Ist Daten-Liberalismus der richtige Weg?
 
Lakehouse in Azure
Lakehouse in AzureLakehouse in Azure
Lakehouse in Azure
 
Data Architecture Best Practices for Advanced Analytics
Data Architecture Best Practices for Advanced AnalyticsData Architecture Best Practices for Advanced Analytics
Data Architecture Best Practices for Advanced Analytics
 
MLOps.pptx
MLOps.pptxMLOps.pptx
MLOps.pptx
 
Introdution to Dataops and AIOps (or MLOps)
Introdution to Dataops and AIOps (or MLOps)Introdution to Dataops and AIOps (or MLOps)
Introdution to Dataops and AIOps (or MLOps)
 
Ml ops intro session
Ml ops   intro sessionMl ops   intro session
Ml ops intro session
 

Ähnlich wie Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar

Webinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - AbwehrmöglichkeitenWebinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - Abwehrmöglichkeiten
A. Baggenstos & Co. AG
 
Webinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - AbwehrmöglichkeitenWebinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - Abwehrmöglichkeiten
A. Baggenstos & Co. AG
 
Azure Migration and Modernization Program (AMMP)
Azure Migration and Modernization Program (AMMP)Azure Migration and Modernization Program (AMMP)
Azure Migration and Modernization Program (AMMP)
A. Baggenstos & Co. AG
 
JavaFX Real-World Apps
JavaFX Real-World AppsJavaFX Real-World Apps
JavaFX Real-World Apps
Alexander Casall
 
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mayflower GmbH
 
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdfDACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DNUG e.V.
 
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Markus Unterauer
 
2011 07-13 collaboration solutions day - cedros
2011 07-13 collaboration solutions day - cedros2011 07-13 collaboration solutions day - cedros
2011 07-13 collaboration solutions day - cedros
Philipp_Koenigs
 
Webinar: Sicher mit dem SAP MES in die Cloud migrieren
Webinar: Sicher mit dem SAP MES in die Cloud migrierenWebinar: Sicher mit dem SAP MES in die Cloud migrieren
Webinar: Sicher mit dem SAP MES in die Cloud migrieren
Trebing & Himstedt Prozeßautomation GmbH & Co. KG
 
Dr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Dr. Ingo Laue - Microsoft Azure | Projekt-ErfahrungenDr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Dr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Symposia Media
 
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Gernot Sauerborn
 
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Stefan ROOCK
 
Raus aus den Silos - Datenmanagement im digitalen Zeitalter
Raus aus den Silos - Datenmanagement im digitalen ZeitalterRaus aus den Silos - Datenmanagement im digitalen Zeitalter
Raus aus den Silos - Datenmanagement im digitalen Zeitalter
Detlev Sandel
 
Survivalkit für Codehausmeister
Survivalkit für CodehausmeisterSurvivalkit für Codehausmeister
Survivalkit für Codehausmeister
Hendrik Lösch
 
SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?
IBsolution GmbH
 
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Trebing & Himstedt Prozeßautomation GmbH & Co. KG
 
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Virtual Forge
 
Cloud Computing
Cloud ComputingCloud Computing
Cloud Computing
Thomas Krampe
 
Congstar - die Erfolgsstory
Congstar - die ErfolgsstoryCongstar - die Erfolgsstory
Congstar - die Erfolgsstory
Telekom MMS
 
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Camptocamp
 

Ähnlich wie Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar (20)

Webinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - AbwehrmöglichkeitenWebinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - Abwehrmöglichkeiten
 
Webinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - AbwehrmöglichkeitenWebinar Cyberangriff - Abwehrmöglichkeiten
Webinar Cyberangriff - Abwehrmöglichkeiten
 
Azure Migration and Modernization Program (AMMP)
Azure Migration and Modernization Program (AMMP)Azure Migration and Modernization Program (AMMP)
Azure Migration and Modernization Program (AMMP)
 
JavaFX Real-World Apps
JavaFX Real-World AppsJavaFX Real-World Apps
JavaFX Real-World Apps
 
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
Mit Maintenance umgehen können- Fixt du noch Bugs oder lieferst du schon neue...
 
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdfDACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
DACHNUG50 Event driven Architecture - Bernd Gewehr - Voessing de.pdf
 
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
Rückwärts denken vorwärts handeln - Requirements Reverse Engineering bei Syst...
 
2011 07-13 collaboration solutions day - cedros
2011 07-13 collaboration solutions day - cedros2011 07-13 collaboration solutions day - cedros
2011 07-13 collaboration solutions day - cedros
 
Webinar: Sicher mit dem SAP MES in die Cloud migrieren
Webinar: Sicher mit dem SAP MES in die Cloud migrierenWebinar: Sicher mit dem SAP MES in die Cloud migrieren
Webinar: Sicher mit dem SAP MES in die Cloud migrieren
 
Dr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Dr. Ingo Laue - Microsoft Azure | Projekt-ErfahrungenDr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
Dr. Ingo Laue - Microsoft Azure | Projekt-Erfahrungen
 
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
Priorisierung vor Detaillierung - zügig Klarheit in Projekten schaffen und Er...
 
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
Agile Planung (Vortrag beim QS-Tag 2014 in Nürnberg)
 
Raus aus den Silos - Datenmanagement im digitalen Zeitalter
Raus aus den Silos - Datenmanagement im digitalen ZeitalterRaus aus den Silos - Datenmanagement im digitalen Zeitalter
Raus aus den Silos - Datenmanagement im digitalen Zeitalter
 
Survivalkit für Codehausmeister
Survivalkit für CodehausmeisterSurvivalkit für Codehausmeister
Survivalkit für Codehausmeister
 
SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?SAP IdM Wartungsende 2027... und was nun?
SAP IdM Wartungsende 2027... und was nun?
 
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
Webinar: Diese 10 wichtigsten Fragen zur SAP DM Cloud-Migration sollten Sie k...
 
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
Case Study: Automatisierte Code Reviews in einer gewachsenen SAP-Applikations...
 
Cloud Computing
Cloud ComputingCloud Computing
Cloud Computing
 
Congstar - die Erfolgsstory
Congstar - die ErfolgsstoryCongstar - die Erfolgsstory
Congstar - die Erfolgsstory
 
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
Topsoft 2017: Praxisbericht: Welche Fehler bei der Implementierung eines ERP-...
 

Mehr von BATbern

BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern53 Post Data persistence in the business-critical and event driven env...BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern
 
BATbern53 BKW Easy Migration through Clean Architecture
BATbern53 BKW Easy Migration through Clean ArchitectureBATbern53 BKW Easy Migration through Clean Architecture
BATbern53 BKW Easy Migration through Clean Architecture
BATbern
 
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern
 
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinstecktBATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern
 
BATBern53 - EPFL - Blue Brain and related technical challenges
BATBern53  - EPFL - Blue Brain and related technical challengesBATBern53  - EPFL - Blue Brain and related technical challenges
BATBern53 - EPFL - Blue Brain and related technical challenges
BATbern
 
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrtBATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern
 
BATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern53 ELCA Analyticsdatenhaltung in der CloudBATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern
 
BATber53 AWS Modernize your applications with purpose-built AWS databases
BATber53 AWS Modernize your applications with purpose-built AWS databasesBATber53 AWS Modernize your applications with purpose-built AWS databases
BATber53 AWS Modernize your applications with purpose-built AWS databases
BATbern
 
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data MeshBATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
BATbern
 
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data MeshBATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern
 
Embracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplaceEmbracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplace
BATbern
 
Serverless und Event-Driven Architecture
Serverless und Event-Driven ArchitectureServerless und Event-Driven Architecture
Serverless und Event-Driven Architecture
BATbern
 
Serverless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisServerless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der Praxis
BATbern
 
Serverless at Lifestage
Serverless at LifestageServerless at Lifestage
Serverless at Lifestage
BATbern
 
Keynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless ArchitecturesKeynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless Architectures
BATbern
 
BATbern51 Serverless?!
BATbern51 Serverless?!BATbern51 Serverless?!
BATbern51 Serverless?!
BATbern
 
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen PartnersEin Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
BATbern
 
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at RaiffeisenFrom Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
BATbern
 

Mehr von BATbern (20)

BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern53 Post Data persistence in the business-critical and event driven env...BATbern53 Post Data persistence in the business-critical and event driven env...
BATbern53 Post Data persistence in the business-critical and event driven env...
 
BATbern53 BKW Easy Migration through Clean Architecture
BATbern53 BKW Easy Migration through Clean ArchitectureBATbern53 BKW Easy Migration through Clean Architecture
BATbern53 BKW Easy Migration through Clean Architecture
 
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
BATbern53 ETHZ Rethinking Cluster State Management for Lightweight Function a...
 
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinstecktBATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
BATbern53 SBB Wieso in jeder Zugfahrt der SBB ein Stück MongoDB drinsteckt
 
BATBern53 - EPFL - Blue Brain and related technical challenges
BATBern53  - EPFL - Blue Brain and related technical challengesBATBern53  - EPFL - Blue Brain and related technical challenges
BATBern53 - EPFL - Blue Brain and related technical challenges
 
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrtBATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
BATbern53 Die Mobiliar Bring die Algorithmen zu den Daten – nicht umgekehrt
 
BATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern53 ELCA Analyticsdatenhaltung in der CloudBATbern53 ELCA Analyticsdatenhaltung in der Cloud
BATbern53 ELCA Analyticsdatenhaltung in der Cloud
 
BATber53 AWS Modernize your applications with purpose-built AWS databases
BATber53 AWS Modernize your applications with purpose-built AWS databasesBATber53 AWS Modernize your applications with purpose-built AWS databases
BATber53 AWS Modernize your applications with purpose-built AWS databases
 
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data MeshBATbern52 Moderation Berner Architekten Treffen zu Data Mesh
BATbern52 Moderation Berner Architekten Treffen zu Data Mesh
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
 
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data MeshBATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
BATbern52 Mobiliar zu Skalierte Datenprodukte mit Data Mesh
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
 
Embracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplaceEmbracing Serverless: reengineering a real-estate digital marketplace
Embracing Serverless: reengineering a real-estate digital marketplace
 
Serverless und Event-Driven Architecture
Serverless und Event-Driven ArchitectureServerless und Event-Driven Architecture
Serverless und Event-Driven Architecture
 
Serverless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisServerless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der Praxis
 
Serverless at Lifestage
Serverless at LifestageServerless at Lifestage
Serverless at Lifestage
 
Keynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless ArchitecturesKeynote Gregor Hohpe - Serverless Architectures
Keynote Gregor Hohpe - Serverless Architectures
 
BATbern51 Serverless?!
BATbern51 Serverless?!BATbern51 Serverless?!
BATbern51 Serverless?!
 
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen PartnersEin Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
Ein Rückblick anlässlich des 50. BAT aus Sicht eines treuen Partners
 
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at RaiffeisenFrom Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
From Ideation to Production in 7 days: The Scoring Factory at Raiffeisen
 

Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar

  • 1. Klassifizierung von Versicherungsschäden - AI und MLOps bei der Mobiliar Tobias Egli, PhD, Product Owner Thomas Baumann, Product Owner
  • 2. 2 Tobias Egli, PhD Data Scientist Product Owner Thomas Baumann Teamleiter Prozess Schaden Product Owner
  • 3. 3
  • 4. 4 BATbern40 im Juni 2018: "Wie AI-Services in der Mobiliar gebaut und eingesetzt werden"
  • 5. Create and publish the ML model Create and run the service Plan MLOps als Prozess Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Monitoring triggers re-training Plan Create the service Run the service
  • 7. Schadenprozess, die Benutzer:innen, ihre Bedürfnisse… und die Probleme Schaden- meldung Deckungs- prüfung Auszahlung Abschluss Ein Prozess für drei unterschiedliche Benutzergruppen Die Sicht der Schadenexpert:innen • Kleinere Schäden sollen so schnell wie möglich erledigt werden, damit mehr Zeit für die schwierigen Fälle bleibt Die Sicht der weiteren Mobiliar-Mitarbeiter:innen • Ein Schaden soll auch ohne Detailkenntnisse gemeldet werden können • Die Schadenexpert:innen bei Grossschäden unterstützen können Die Sicht der Kund:innen • Schnelle und einfache Meldung eines Schadens, 24/7 • Sofortige Gewissheit darüber, ob der Schaden gedeckt ist und wie hoch die Entschädigung ist 7
  • 8. Anforderungen und KPIs Die drei vorgeschlagenen Werte enthalten in 90% der Fälle den korrekten Wert Schaden- meldung Deckungs- prüfung Auszahlung Die drei vorgeschlagenen Werte enthalten in 80% der Fälle den korrekten Wert ML Modell KPIs mit Akzeptanz- kriterien • Schadenkategorie identifizieren • Top 3 Resultate vorschlagen • Schadenursache identifizieren • Top 3 Resultate vorschlagen • Entschädigungsart identifizieren • Top 3 Resultate vorschlagen Anforderungen 8
  • 9. Daten Zielvariablen: • Schadentyp (55 Klassen) à e.g. "Motorfahrzeug Kasko" • Schadenursache (114 Klassen) à e.g. "Hagel" • Entschädigungsart (89 Klassen) à e.g. "Reparatur" Prädiktoren: Schadenbeschreibungen in Textform • Geschrieben von Mitarbeiter:innen ODER Kund:innen • Deutsch > Franz. > Ital. > Engl. • Z.b. 9 Das Fahrzeug war parkiert and der Foobar-strasse in Bazhausen. Hagelschaden auf dem Dach und der Motorhaube. 2.8 Mio. Schadenfälle waren verfügbar für die ML Modellentwicklung Train-Validation-Test split: • 80% Trainings-Datensatz • 10% Validierungs-Datensatz • 10% Test-Datensatz
  • 10. Create and publish the ML model Create and run the service Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Modellentwicklung Plan Plan • Je nach Aufwand in der Modellentwicklung eine Frage von Stunden bis Tagen für eine Iteration • Im Happy Case: eine Frage von 1-2 Stunden
  • 11. Tech Stack für Modellentwicklung 11 Delivery Platform Pythagoras User DSW PyPi …
  • 12. Modellentwicklung 12 Infrastruktur: • Azure ML • V100 GPU (16 GB VRAM) • 6 CPU Cores (112 GB RAM) ULMFiT: • AWD-LSTM implementiert in fastai2 (neuronales Netz) • Vortrainieren eines Language Models (LM) auf Wikipedia-Texten (300 M Worte; DE, FR, IT, EN) • Fine-tuning des LMs basierend auf Schadenbeschreibungen in Textform • Training eines Classifiers basierend auf Schadenbeschreibungen in Textform Transformer: • xlm-roberta-base (neuronales Netz) • Bereits vortrainiertes multilinguales LM (bezogen von Hugging Face; inkl. DE, FR, IT, EN) • Training eines Classifiers basierend auf Schadenbeschreibungen in Textform Baseline Modell: • TF-IDF • SGD Classifier
  • 13. Resultate 13 Zielvariable Modell F1* Precision* Recall* Recall@3 Schadenkategorie (k = 55) SGD 0.76 0.76 0.77 0.95 AWD-LSTM 0.80 0.80 0.81 0.97 Transformer 0.73 0.75 0.74 0.96 Schadenursache (k = 114) SGD 0.71 0.71 0.73 0.93 AWD-LSTM 0.75 0.75 0.76 0.95 Transformer 0.70 0.73 0.73 0.94 Entschädigungsart (k = 89) SGD 0.67 0.68 0.70 0.90 AWD-LSTM 0.71 0.72 0.74 0.93 Transformer 0.64 0.68 0.67 0.90 *Gewichteter Mittelwert 80% der vorgeschlagenen Top 1 Klassifizierungen entsprechen der gesuchten Klasse In 81% der Fälle entspricht die gesuchte Klasse der vorgeschlagenen Top 1 Klassifizierung In 97% der Fälle ist die gesuchte Klasse unter den vor- geschlagenen Top 3 Klassifizierungen
  • 14. Resultate für einzelne Klassen (Schadenkategorie) 14 Beobachtete Schadenkategorie Vorhergesagte Schadenkategorie (Top 1) Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert Klasse "Haftpflicht, übriger Schaden / Verlust": • 25k korrekt klassifiziert (Top 1) • Fehler (falsch Positive & Negative) streuen über zahlreiche Klassen à Per se unspezifische Klassendefinition ("Sammelklasse") à Haftpflicht erfordert Kenntnis über Kontext der Situation Sicht auf Top 1 Resultate:
  • 15. Resultate für einzelne Klassen (Schadenkategorie recall@3) 15 • Sehr gute Resultate für grosse Klassen • Gute Resultate für die meisten kleineren Klassen • Schlechte Resultate für wenige kleine Klassen à Die Verwendung von Top 3 Predictions mitigiert Top 1 Fehlklassifizierungen in den meisten Fällen Klassengrösse Recall@3 Sicht auf Top 3 Resultate:
  • 16. Create and publish the ML model Create and run the service Plan Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Monitoring triggers re-training Plan Modell Deployment • Modell-Library publishen und Service erstellen: eine Frage von wenigen Stunden • Ein Re-Training und Re-Deployment ohne Veränderungen: "Auf Knopfdruck" • Neutraining und -Deployment mit neuen Daten: • Training abhängig vom Aufwand für Datenbezug und Datenexploration • Deployment "auf Knopfdruck"
  • 17. Tech Stack für Modell Deployment 17 Delivery Platform Pythagoras User Photon …
  • 18. Integration im Geschäftsprozess 18 Benutzergruppe Integriert in Verwendung der Klassifizierung Konsequenz bei falscher Klassifizierung Schadenexpert:in (B2E) Schadensystem MCS Die Klassifizierung mit dem höchsten Score ist vorselektiert Der korrekte Wert wird im drop-down selektiert Weitere interne MA (B2E) Dediziertes B2E-Tool Die Top 3 Klassifizierungen werden sequenziell vorgeschlagen Aussteuerung zu Schadenexpert:in Kund:innen (B2C) App und Webseite
  • 19. Ergebnisse aus fachlicher Sicht 19 Die Sicht der Schadenexpert:innen • Vereinfachte Erfassung von Schadenfällen • Kleinere Schäden beinahe vollständig automatisiert • Zeit, die für komplexere Fälle eingesetzt werden kann Die Sicht der weiteren Mobiliar-Mitarbeiter:innen • Fälle können selbständig ohne Medienbruch angemeldet werden • Unterstützung bei Grossschäden massiv vereinfacht • Erhöhte Auskunftsfähigkeit gegenüber den Kund:innen Die Sicht der Kund:innen • Stark vereinfachte online Erfassung von Schadenfällen • Frühzeitige Information, ob der Schaden gedeckt ist
  • 20. 20 Enge interdisziplinäre Zusammenarbeit (Data Science, IT, Business, …) ist unabdingbar und muss integraler Teil des MLOps-Prozesses sein. Die Organisation nach SAFe trägt massgeblich dazu bei. User verhalten sich unvorhergesehen. Geschäftsprozesse und Modell-Inputs verändern sich. ML Modell-Monitoring muss als Teil von MLOps sichergestellt werden. Das MLOps-Setup der Mobiliar (Prozess und Infrastruktur) • beschleunigt die nachhaltige Entwicklung von ML-Modellen signifikant • vereinheitlicht die Arbeit • stellt sicher, dass Qualitätsstandards eingehalten werden Round up
  • 22. Vielen Dank für die Aufmerksamkeit.
  • 24. Appendix: Nächste Schritte • Kontinuierliche Re-Trainings • Weiterentwicklung des ML Modell Monitorings • Vertiefte Analysen der Business-Resultate • Mehr Arbeit investieren in die Verwendung weiterer grosse LMs - domain adaptation mit mehr Epochen und / oder grösseren Datensätzen - Verwendung von anderen vortrainierten Modellen • Eine Vollautomatisierung kleinerer Schäden wird angestrebt (i.e. der grösseren Klassen mit guten Resultaten der Modelle) 24
  • 25. B2E: Mobi employee (experts / non-experts) B2E (experts) in production since December 2019 B2E (non-experts) in production since November 2020 B2E (non-experts) in production since Mai 2022 2nd half of 2022 B2C in production since July 2021 2nd half of 2022 1st half of 2023 Roadmap automated minor claims First notification of loss Coverage check Payment scheduling Case closing B2C: Customer
  • 26. Resultate für einzelne Klassen (Schadentyp) 26 Vorhergesagter Schadentyp (Top 1) Beobachteter Schadentyp Klasse "Sonstiger Kaskoschaden an Motorfahrzeug": • 27k korrekt klassifiziert (Top 1) • 7'405 falsch klassifiziert "Haftpflicht, involviert sonst. Schaden an Motorfahrzeug" • 1'740 falsch klassifiziert als "Kasko Parkschaden" à Haftpflicht erfordert Kenntniss über die Situation à Falschklassifizierungen sind oft in thematisch ähnlichen Klassen Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert Sicht auf Top 1 Resultate:
  • 27. Appendix: Baseline models 27 SGDClassifier(loss='modified_huber', penalty='l2', alpha=0.000001, random_state=42, max_iter=93, tol=0.000247, n_jobs=-1) Damage type SGDClassifier(loss='log', penalty='l2', alpha=1.592997e-07, random_state=42, max_iter=51, tol=0.000043, n_jobs=-1) Damage cause SGDClassifier(loss='log', penalty='l2', alpha=1.422820e-07, random_state=42, max_iter=22, tol=0.00001, n_jobs=-1) Compensation type use_stemmer = trial.suggest_categorical('use_stemmer', [True, False]) use_stop_words = trial.suggest_categorical('use_stopwords', [True, False]) max_features = trial.suggest_categorical('max_features', [64_000, 128_000, 256_000, 512_000]) max_grams = trial.suggest_int('max_grams', 1, 5) use_tfidf = trial.suggest_categorical('use_tfidf', [True, False]) loss = trial.suggest_categorical('loss', ['hinge', 'log', 'modified_huber', 'squared_hinge', 'perceptron']) penalty = trial.suggest_categorical('penalty', ['l1', 'l2']) alpha = trial.suggest_loguniform('alpha', 1e-8, 1) seed = trial.suggest_int('seed', 0, 100) max_iter = trial.suggest_int('max_iter', 1, 100) tol = trial.suggest_loguniform('tol', 1e-5, 1) Optuna search space
  • 28. Appendix: AWD-LSTM Language model: • sequence length = 72 • batch size = 192 • LR = 0.002 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.1 • Accuracy: 0.42 • Perplexity: 22.02 Fine-tuned LM • sequence length = 72 • batch size = 128 • LR = 0.01 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.1 • Accuracy: 0.54 • Perplexity: 8.52 Classifier: • LR = 0.01 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.05 28
  • 29. Appendix: Transformer • Multihead classifier (one model for all three targets) • Custom class based on XLMRobertaForSequenceClassification 29 args_clf = TrainingArguments( ... num_train_epochs=3, learning_rate=1e-5, warmup_steps=32500, per_device_train_batch_size=8, per_device_eval_batch_size=8, weight_decay=0.1, evaluation_strategy="steps", save_steps=100000000000, logging_steps=60000, eval_steps=60000, )
  • 30. Appendix: Confusion matrices 30 Cause of damage k = 114 Compensation type k = 89
  • 31. Appendix: Recall@3 vs. class size 31 Cause of damage (k = 114) Compensation type (k = 89)