Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar

1. Klassifizierung von Versicherungsschäden - AI und MLOps bei der Mobiliar Tobias Egli, PhD, Product Owner Thomas Baumann, Product Owner

2. 2 Tobias Egli, PhD Data Scientist Product Owner Thomas Baumann Teamleiter Prozess Schaden Product Owner

4. 4 BATbern40 im Juni 2018: "Wie AI-Services in der Mobiliar gebaut und eingesetzt werden"

5. Create and publish the ML model Create and run the service Plan MLOps als Prozess Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Monitoring triggers re-training Plan Create the service Run the service

7. Schadenprozess, die Benutzer:innen, ihre Bedürfnisse… und die Probleme Schaden- meldung Deckungs- prüfung Auszahlung Abschluss Ein Prozess für drei unterschiedliche Benutzergruppen Die Sicht der Schadenexpert:innen • Kleinere Schäden sollen so schnell wie möglich erledigt werden, damit mehr Zeit für die schwierigen Fälle bleibt Die Sicht der weiteren Mobiliar-Mitarbeiter:innen • Ein Schaden soll auch ohne Detailkenntnisse gemeldet werden können • Die Schadenexpert:innen bei Grossschäden unterstützen können Die Sicht der Kund:innen • Schnelle und einfache Meldung eines Schadens, 24/7 • Sofortige Gewissheit darüber, ob der Schaden gedeckt ist und wie hoch die Entschädigung ist 7

8. Anforderungen und KPIs Die drei vorgeschlagenen Werte enthalten in 90% der Fälle den korrekten Wert Schaden- meldung Deckungs- prüfung Auszahlung Die drei vorgeschlagenen Werte enthalten in 80% der Fälle den korrekten Wert ML Modell KPIs mit Akzeptanz- kriterien • Schadenkategorie identifizieren • Top 3 Resultate vorschlagen • Schadenursache identifizieren • Top 3 Resultate vorschlagen • Entschädigungsart identifizieren • Top 3 Resultate vorschlagen Anforderungen 8

9. Daten Zielvariablen: • Schadentyp (55 Klassen) à e.g. "Motorfahrzeug Kasko" • Schadenursache (114 Klassen) à e.g. "Hagel" • Entschädigungsart (89 Klassen) à e.g. "Reparatur" Prädiktoren: Schadenbeschreibungen in Textform • Geschrieben von Mitarbeiter:innen ODER Kund:innen • Deutsch > Franz. > Ital. > Engl. • Z.b. 9 Das Fahrzeug war parkiert and der Foobar-strasse in Bazhausen. Hagelschaden auf dem Dach und der Motorhaube. 2.8 Mio. Schadenfälle waren verfügbar für die ML Modellentwicklung Train-Validation-Test split: • 80% Trainings-Datensatz • 10% Validierungs-Datensatz • 10% Test-Datensatz

10. Create and publish the ML model Create and run the service Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Modellentwicklung Plan Plan • Je nach Aufwand in der Modellentwicklung eine Frage von Stunden bis Tagen für eine Iteration • Im Happy Case: eine Frage von 1-2 Stunden

11. Tech Stack für Modellentwicklung 11 Delivery Platform Pythagoras User DSW PyPi …

12. Modellentwicklung 12 Infrastruktur: • Azure ML • V100 GPU (16 GB VRAM) • 6 CPU Cores (112 GB RAM) ULMFiT: • AWD-LSTM implementiert in fastai2 (neuronales Netz) • Vortrainieren eines Language Models (LM) auf Wikipedia-Texten (300 M Worte; DE, FR, IT, EN) • Fine-tuning des LMs basierend auf Schadenbeschreibungen in Textform • Training eines Classifiers basierend auf Schadenbeschreibungen in Textform Transformer: • xlm-roberta-base (neuronales Netz) • Bereits vortrainiertes multilinguales LM (bezogen von Hugging Face; inkl. DE, FR, IT, EN) • Training eines Classifiers basierend auf Schadenbeschreibungen in Textform Baseline Modell: • TF-IDF • SGD Classifier

13. Resultate 13 Zielvariable Modell F1* Precision* Recall* Recall@3 Schadenkategorie (k = 55) SGD 0.76 0.76 0.77 0.95 AWD-LSTM 0.80 0.80 0.81 0.97 Transformer 0.73 0.75 0.74 0.96 Schadenursache (k = 114) SGD 0.71 0.71 0.73 0.93 AWD-LSTM 0.75 0.75 0.76 0.95 Transformer 0.70 0.73 0.73 0.94 Entschädigungsart (k = 89) SGD 0.67 0.68 0.70 0.90 AWD-LSTM 0.71 0.72 0.74 0.93 Transformer 0.64 0.68 0.67 0.90 *Gewichteter Mittelwert 80% der vorgeschlagenen Top 1 Klassifizierungen entsprechen der gesuchten Klasse In 81% der Fälle entspricht die gesuchte Klasse der vorgeschlagenen Top 1 Klassifizierung In 97% der Fälle ist die gesuchte Klasse unter den vorgeschlagenen Top 3 Klassifizierungen

14. Resultate für einzelne Klassen (Schadenkategorie) 14 Beobachtete Schadenkategorie Vorhergesagte Schadenkategorie (Top 1) Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert Klasse "Haftpflicht, übriger Schaden / Verlust": • 25k korrekt klassifiziert (Top 1) • Fehler (falsch Positive & Negative) streuen über zahlreiche Klassen à Per se unspezifische Klassendefinition ("Sammelklasse") à Haftpflicht erfordert Kenntnis über Kontext der Situation Sicht auf Top 1 Resultate:

15. Resultate für einzelne Klassen (Schadenkategorie recall@3) 15 • Sehr gute Resultate für grosse Klassen • Gute Resultate für die meisten kleineren Klassen • Schlechte Resultate für wenige kleine Klassen à Die Verwendung von Top 3 Predictions mitigiert Top 1 Fehlklassifizierungen in den meisten Fällen Klassengrösse Recall@3 Sicht auf Top 3 Resultate:

16. Create and publish the ML model Create and run the service Plan Develop the ML model Publish the ML model Gather Train Evaluate Publish Test Push Code Explore Build Understand Plan Monitoring triggers re-training Plan Modell Deployment • Modell-Library publishen und Service erstellen: eine Frage von wenigen Stunden • Ein Re-Training und Re-Deployment ohne Veränderungen: "Auf Knopfdruck" • Neutraining und -Deployment mit neuen Daten: • Training abhängig vom Aufwand für Datenbezug und Datenexploration • Deployment "auf Knopfdruck"

17. Tech Stack für Modell Deployment 17 Delivery Platform Pythagoras User Photon …

18. Integration im Geschäftsprozess 18 Benutzergruppe Integriert in Verwendung der Klassifizierung Konsequenz bei falscher Klassifizierung Schadenexpert:in (B2E) Schadensystem MCS Die Klassifizierung mit dem höchsten Score ist vorselektiert Der korrekte Wert wird im drop-down selektiert Weitere interne MA (B2E) Dediziertes B2E-Tool Die Top 3 Klassifizierungen werden sequenziell vorgeschlagen Aussteuerung zu Schadenexpert:in Kund:innen (B2C) App und Webseite

19. Ergebnisse aus fachlicher Sicht 19 Die Sicht der Schadenexpert:innen • Vereinfachte Erfassung von Schadenfällen • Kleinere Schäden beinahe vollständig automatisiert • Zeit, die für komplexere Fälle eingesetzt werden kann Die Sicht der weiteren Mobiliar-Mitarbeiter:innen • Fälle können selbständig ohne Medienbruch angemeldet werden • Unterstützung bei Grossschäden massiv vereinfacht • Erhöhte Auskunftsfähigkeit gegenüber den Kund:innen Die Sicht der Kund:innen • Stark vereinfachte online Erfassung von Schadenfällen • Frühzeitige Information, ob der Schaden gedeckt ist

20. 20 Enge interdisziplinäre Zusammenarbeit (Data Science, IT, Business, …) ist unabdingbar und muss integraler Teil des MLOps-Prozesses sein. Die Organisation nach SAFe trägt massgeblich dazu bei. User verhalten sich unvorhergesehen. Geschäftsprozesse und Modell-Inputs verändern sich. ML Modell-Monitoring muss als Teil von MLOps sichergestellt werden. Das MLOps-Setup der Mobiliar (Prozess und Infrastruktur) • beschleunigt die nachhaltige Entwicklung von ML-Modellen signifikant • vereinheitlicht die Arbeit • stellt sicher, dass Qualitätsstandards eingehalten werden Round up

21. Fragen?

22. Vielen Dank für die Aufmerksamkeit.

24. Appendix: Nächste Schritte • Kontinuierliche Re-Trainings • Weiterentwicklung des ML Modell Monitorings • Vertiefte Analysen der Business-Resultate • Mehr Arbeit investieren in die Verwendung weiterer grosse LMs - domain adaptation mit mehr Epochen und / oder grösseren Datensätzen - Verwendung von anderen vortrainierten Modellen • Eine Vollautomatisierung kleinerer Schäden wird angestrebt (i.e. der grösseren Klassen mit guten Resultaten der Modelle) 24

25. B2E: Mobi employee (experts / non-experts) B2E (experts) in production since December 2019 B2E (non-experts) in production since November 2020 B2E (non-experts) in production since Mai 2022 2nd half of 2022 B2C in production since July 2021 2nd half of 2022 1st half of 2023 Roadmap automated minor claims First notification of loss Coverage check Payment scheduling Case closing B2C: Customer

26. Resultate für einzelne Klassen (Schadentyp) 26 Vorhergesagter Schadentyp (Top 1) Beobachteter Schadentyp Klasse "Sonstiger Kaskoschaden an Motorfahrzeug": • 27k korrekt klassifiziert (Top 1) • 7'405 falsch klassifiziert "Haftpflicht, involviert sonst. Schaden an Motorfahrzeug" • 1'740 falsch klassifiziert als "Kasko Parkschaden" à Haftpflicht erfordert Kenntniss über die Situation à Falschklassifizierungen sind oft in thematisch ähnlichen Klassen Bemerkung: Nur Zellen mit > 5 Fällen sind annotiert Sicht auf Top 1 Resultate:

27. Appendix: Baseline models 27 SGDClassifier(loss='modified_huber', penalty='l2', alpha=0.000001, random_state=42, max_iter=93, tol=0.000247, n_jobs=-1) Damage type SGDClassifier(loss='log', penalty='l2', alpha=1.592997e-07, random_state=42, max_iter=51, tol=0.000043, n_jobs=-1) Damage cause SGDClassifier(loss='log', penalty='l2', alpha=1.422820e-07, random_state=42, max_iter=22, tol=0.00001, n_jobs=-1) Compensation type use_stemmer = trial.suggest_categorical('use_stemmer', [True, False]) use_stop_words = trial.suggest_categorical('use_stopwords', [True, False]) max_features = trial.suggest_categorical('max_features', [64_000, 128_000, 256_000, 512_000]) max_grams = trial.suggest_int('max_grams', 1, 5) use_tfidf = trial.suggest_categorical('use_tfidf', [True, False]) loss = trial.suggest_categorical('loss', ['hinge', 'log', 'modified_huber', 'squared_hinge', 'perceptron']) penalty = trial.suggest_categorical('penalty', ['l1', 'l2']) alpha = trial.suggest_loguniform('alpha', 1e-8, 1) seed = trial.suggest_int('seed', 0, 100) max_iter = trial.suggest_int('max_iter', 1, 100) tol = trial.suggest_loguniform('tol', 1e-5, 1) Optuna search space

28. Appendix: AWD-LSTM Language model: • sequence length = 72 • batch size = 192 • LR = 0.002 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.1 • Accuracy: 0.42 • Perplexity: 22.02 Fine-tuned LM • sequence length = 72 • batch size = 128 • LR = 0.01 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.1 • Accuracy: 0.54 • Perplexity: 8.52 Classifier: • LR = 0.01 • momentum = (0.8, 0.7, 0.8) • weight decay = 0.05 28

29. Appendix: Transformer • Multihead classifier (one model for all three targets) • Custom class based on XLMRobertaForSequenceClassification 29 args_clf = TrainingArguments( ... num_train_epochs=3, learning_rate=1e-5, warmup_steps=32500, per_device_train_batch_size=8, per_device_eval_batch_size=8, weight_decay=0.1, evaluation_strategy="steps", save_steps=100000000000, logging_steps=60000, eval_steps=60000, )

30. Appendix: Confusion matrices 30 Cause of damage k = 114 Compensation type k = 89

31. Appendix: Recall@3 vs. class size 31 Cause of damage (k = 114) Compensation type (k = 89)

Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar

Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar

Recomendados

Más contenido relacionado

Similar a Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar

Similar a Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar(20)

Más de BATbern

Más de BATbern(20)

Klassifizierung von Versicherungsschäden – AI und MLOps bei der Mobiliar