Information Systems
University of Innsbruck




                   Metriken für ein ROI-basiertes
                     Dat...
Agenda


  • Motivation und praktische Problemstellung

  • Anforderungen an Datenqualitätsmetriken

  • Entwicklung einer...
Projekt bei einem Mobilfunkanbieter

  Projektfokus
  Untersuchung der Kosten-Nutzen-Wirkung von Datenqualitäts-
  maßnahm...
Fokussierte Datenqualitätsaspekte

                                                               Benötigte Datenmenge
   ...
Motivation: Datenqualitätsmessung

  Um     Datenqualitätsmaßnahmen     hinsichtlich  Kosten-Nutzen-
  Aspekten bewerten z...
Anforderungen an Datenqualitätsmetriken


  A1        Normierung
  A2        Kardinalskalierung
  A3        Interpretierba...
Fokus: Datenqualitätsdimension Aktualität

  Definition/Verständnis von Aktualität
  Unter Aktualität ist die Eigenschaft ...
Entwicklung der Metrik für Aktualität (I)

  Grundlegende Idee
  Entwicklung einer Metrik auf Basis von wahrscheinlichkeit...
Entwicklung der Metrik für Aktualität (II)

  Formalisierung (Attributwertebene)
  Sei A ein Attribut, w ein Attributwert ...
Entwicklung der Metrik für Aktualität (III)

  Beispiel (Tupelebene/Vermarktung einer Tarifoption)
  1. Bestimmung der rel...
Anwendung der Metrik für Aktualität (I.I)

  Angebot einer Tarifoption für PrePaid-Kunden                             *)

...
Anwendung der Metrik für Aktualität (I.II)

  2. Prognose der Profitabilität der neuen, aktuellen Kampagne
        Erwarte...
Anwendung der Metrik für Aktualität (I.III)

  3. Analyse einer potentiellen Datenqualitätsmaßnahme
        Adresskauf zu ...
Anwendung der Metrik für Aktualität (I.IV)

  4. Ex post Analyse der Kampagne
        • Für ca. 20.000 Kunden des Interval...
Aber: Metrik nicht für alle Attribute geeignet

  Die Exponentialverteilung, die bei der bisherigen Definition
  der Metri...
Anwendung der Metrik für Aktualität (II.I)

  Grundproblematik
  Oftmals keine qualitätsgesicherten Daten über den Kunden,...
Anwendung der Metrik für Aktualität (II.II)

  1. Bisheriges Vorgehen bei solchen Produktkampagnen                        ...
Anwendung der Metrik für Aktualität (II.III)

  3. Neues Vorgehen auf Basis der Metrik für Aktualität
        a. Für alle ...
Anwendung der Metrik für Aktualität (II.IV)

  4. Ergebnisse der durchgeführten Kampagne
        Der Mobilfunkanbieter ent...
Vielen Dank für Ihre Aufmerksamkeit!




                                   Kontakt
                                   Dr....
Nächste SlideShare
Wird geladen in …5
×

‘Metriken für ein ROI-basiertes Datenqualitätsmanagement’ Dr. Mathias Klier

1.399 Aufrufe

Veröffentlicht am

‘Metriken für ein ROI-basiertes Datenqualitätsmanagement’

Dr. Mathias Klier, Leopold-Franzens-University of Innsbruck/School of Management Information Systems

0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.399
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
20
Aktionen
Geteilt
0
Downloads
23
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

‘Metriken für ein ROI-basiertes Datenqualitätsmanagement’ Dr. Mathias Klier

  1. 1. Information Systems University of Innsbruck Metriken für ein ROI-basiertes Datenqualitätsmanagement Dr. Mathias Klier Institut für Wirtschaftsinformatik, Produktionswirtschaft und Logistik Bereich Wirtschaftsinformatik II Universitätsstrasse 15 A-6020 Innsbruck Mathias.Klier@uibk.ac.at
  2. 2. Agenda • Motivation und praktische Problemstellung • Anforderungen an Datenqualitätsmetriken • Entwicklung einer Metrik für das Datenqualitätsmerkmal Aktualität • Anwendung der Metrik bei einem Mobilfunkanbieter • Zusammenfassung und Diskussion Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 2
  3. 3. Projekt bei einem Mobilfunkanbieter Projektfokus Untersuchung der Kosten-Nutzen-Wirkung von Datenqualitäts- maßnahmen am Beispiel des Kampagnenmanagementprozesses Relevante Fragestellungen • Wie kann man Datenqualität mittels Metriken messen? • Wie verbessern sich die Metrikergebnisse durch die Anwendung von Datenqualitätsmaßnahmen? • Welche Datenqualitätsmaßnahmen sollen unter Kosten-Nutzen- Aspekten durchgeführt werden? • Wie kann man durch ein effizientes Datenqualitätsmanagement den Nutzen für das Unternehmen verbessern? Allgemeine Ergebnisse des Projekts • Metriken zur Messung der Datenqualität • Erfolgreiche Anwendung der Metriken im Kampagnen- management Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 3
  4. 4. Fokussierte Datenqualitätsaspekte Benötigte Datenmenge z. B. tatsächlich in einer Kampagne benötigte Daten Spezifizierte Datenmenge z. B. (Kunden)Attribute eines Datenschemas Datenqualitätsdimension Fokus hier: Aktualität Vorhandene Datenmenge z. B. gespeicherte Attribut- werte für jeden Kunden Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 4
  5. 5. Motivation: Datenqualitätsmessung Um Datenqualitätsmaßnahmen hinsichtlich Kosten-Nutzen- Aspekten bewerten zu können, ist ein Regelkreis mit integriertem Messverfahren für die Datenqualität notwendig, denn „What doesn't get measured doesn't get managed”. Datenqualitätsregelkreis Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 5
  6. 6. Anforderungen an Datenqualitätsmetriken A1 Normierung A2 Kardinalskalierung A3 Interpretierbarkeit A4 Aggregierbarkeit A5 Konfigurierbarkeit A6 Operationalisierbarkeit Heinrich, B.; Kaiser M.; Klier M.: A Procedure To Develop Metrics For Currency And Its Application In CRM , erscheint in: ACM Journal of Data and Information Quality, 2009. Heinrich, B.; Klier M.: Datenqualitätsmetriken für ein ökonomisch orientiertes Qualitätsmanagement, in: K. Hildebrand, M. Gebauer, H. Hinrichs, M. Mielke, Hrsg., Daten- und Informationsqualität – Auf dem Weg zur Information Excellence, Vieweg+Teubner, 2008. Heinrich, B.; Kaiser M.; Klier M.: How to measure data quality? – a metric based approach, Proceedings of the 28th International Conference on Information Systems (ICIS), Montreal 2007. Heinrich, B.; Kaiser M.; Klier M.: DQ metrics: a novel approach to quantify timeliness and its application in CRM, Proceedings of the 12th International Conference on Information Quality (ICIQ), Boston 2007. Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 6
  7. 7. Fokus: Datenqualitätsdimension Aktualität Definition/Verständnis von Aktualität Unter Aktualität ist die Eigenschaft der Gegenwartsbezogenheit des Datenbestandes zu verstehen, d.h. inwiefern die im Informations- system erfassten Werte den aktuellen Gegebenheiten in der Realwelt entsprechen und nicht veraltet sind. Beispielhafte praktische Fragestellungen • Inwiefern sind die im Informationssystem vorgehaltenen Kundenkontaktdaten (z.B. Adresse) überhaupt noch aktuell? • Inwiefern stimmt der erfasste Berufsstatus eines Kunden (z.B. „Student“) noch mit den realen Gegebenheiten überein? Problem Bisher haben sich in Wissenschaft und Praxis keine Metriken durchgesetzt, die eine Quantifizierung der Aktualität erlauben und den Anforderungen A1 bis A6 genügen. Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 7
  8. 8. Entwicklung der Metrik für Aktualität (I) Grundlegende Idee Entwicklung einer Metrik auf Basis von wahrscheinlichkeits- theoretischen Überlegungen, um einen automatisierten Ablauf der Messung zu ermöglichen. • Aktualität wird interpretiert als Wahrscheinlichkeit dafür, dass ein Attributwert immer noch den aktuellen, realen Gegebenheiten entspricht. • Betrachtete Attributwerte werden „älter“ und besitzen eine unbekannte Gültigkeitsdauer. • Die Wahrscheinlichkeit, mit welcher der Wert im Datenbestand zum Analysezeitpunkt noch aktuell ist, nimmt (für die meisten Attribute) mit zunehmendem Alter des Attributwerts ab. Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 8
  9. 9. Entwicklung der Metrik für Aktualität (II) Formalisierung (Attributwertebene) Sei A ein Attribut, w ein Attributwert und Alter(w,A) das Alter des Attributwertes. Sei zudem Verfall(A) die Verfallsrate von Werten des Attributes A. Dann ergibt sich die Metrik bspw. bei einer Exponentialverteilung zu Verfall ( A ) Alter ( w , A ) Q Akt . ( w , A ) : e Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 9
  10. 10. Entwicklung der Metrik für Aktualität (III) Beispiel (Tupelebene/Vermarktung einer Tarifoption) 1. Bestimmung der relevanten Attribute und deren relativer Wichtigkeit hinsichtlich Aktualität 2. Berechnung von Alter(T.Ai,Ai) aus dem gegenwärtigen Zeitpunkt und dem Zeitpunkt der Datenerfassung für die betrachteten Attributwerte 3. Bestimmung von Verfall(Ai) mit Hilfe von empirischen Daten oder Stichprobentests 4. Berechnung der Aktualitätsbewertungen auf Attributwertebene: 5. Bewertung der Aktualität des Tupels: 0 ,99 0 ,9 1, 00 0 , 2 0 ,82 0 ,9 0 ,82 1 Q Akt . (T , A1 ,..., A 4 ) 0 ,882 0 ,9 0,2 0 ,9 1, 0 Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 10
  11. 11. Anwendung der Metrik für Aktualität (I.I) Angebot einer Tarifoption für PrePaid-Kunden *) 1. Analyse einer früheren, vergleichbaren Kampagne Erfolgsquote der früheren Kampagne in Abhängigkeit von den Metrikergebnissen für Aktualität (ex post) *) Das folgende Beispiel wurde anonymisiert und vereinfacht Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 11
  12. 12. Anwendung der Metrik für Aktualität (I.II) 2. Prognose der Profitabilität der neuen, aktuellen Kampagne Erwarteter Erlös abzüglich Kosten bei: 1,25 Euro Kosten/Mailing; 20 Euro Durchschnittserlös/Neuvertrag • Intervall [0; 0,4]: Mailingkosten erwartete Erlöse abzüglich Kosten • Intervall ]0,4; 1]: Mailingkosten erwartete Erlöse abzüglich Kosten Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 12
  13. 13. Anwendung der Metrik für Aktualität (I.III) 3. Analyse einer potentiellen Datenqualitätsmaßnahme Adresskauf zu 0,40 Euro/Adresse (z.B. Post Direkt GmbH) • Im Intervall ]0,4; 1,0]: Adresskauf nicht rentabel • Im Intervall ]0,0; 0,4]: Adresskauf rentabel • Jedoch nur im Intervall ]0,2; 0,4] gilt: Gesamterlöse (Summe Mailingkosten Kosten Adresskauf) Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 13
  14. 14. Anwendung der Metrik für Aktualität (I.IV) 4. Ex post Analyse der Kampagne • Für ca. 20.000 Kunden des Intervalls ]0,2; 0,4] wurden die Adressen bei einem externen Provider erworben und mit den gespeicherten Adressen verglichen. Auszug: ex ante und ex post Aktualität der Adressdaten Intervall ]0,2; 0,3] Intervall ]0,3; 0,4] Anzahl ca. 6.700 ca. 7.100 „ex post- ca. 1.880 Adressen ca. 2.270 Adressen Aktualität“ aktuell (~0,28) aktuell (~0,32) • Die ex ante prognostizierten Erfolgsquoten stellten sich mit Abweichungen von ca. 0,6% ein. • Datenqualitätsmaßnahmen konnten mit Hilfe der Metrik besser dosiert und zielgerichteter eingesetzt werden. • Die Profitabilität der Kampagnen konnte durch Berücksichtigung der Datenqualität deutlich verbessert werden. Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 14
  15. 15. Aber: Metrik nicht für alle Attribute geeignet Die Exponentialverteilung, die bei der bisherigen Definition der Metrik zu Grunde liegt und bei Adressdaten gerechtfertigt werden kann, ist gedächtnislos – d.h. die relative Verfallsrate ist konstant und unabhängig vom Alter des Attributwertes.  Diese Annahme trifft natürlich nicht für alle Attribute zu.  Aber: Die Metrik 0,15 [Quelle: Statistisches Bundesamt 2007] kann für andere Relative Häufigkeit Attribute und Verfallsraten 0,1 angepasst und entsprechend 0,05 verallgemeinert werden (auf Basis verschiedener 0 7 9 11 13 15 17 19 21 23 25 Verteilungen): Dauer des Studiums (Semesteranzahl) Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 15
  16. 16. Anwendung der Metrik für Aktualität (II.I) Grundproblematik Oftmals keine qualitätsgesicherten Daten über den Kunden, dessen Transaktionen, Produkte etc.  Eine adäquate Ansprache des Kunden ist schwierig (bspw. Fehler bei den Kundenstamm- und Vertragsdaten).  Eine Unterbreitung individueller, integrierter Kundenangebote ist nur bedingt möglich.  Die Erfolgsquoten bei (ausgewählten) Kundenkampagnen sind zum Teil mäßig. Fokussierte Problemstellung Durchführung einer „Studentenkampagne“ in der ein neues, spezielles Produktangebot für Studenten (postalisch) unterbreitet werden soll. Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 16
  17. 17. Anwendung der Metrik für Aktualität (II.II) 1. Bisheriges Vorgehen bei solchen Produktkampagnen *) Schreibe die Top-30%-Kunden nach Umsatz an, bei denen der Berufsstatus “Student” in der Datenbank hinterlegt ist.  Bisherige Erfolgsquote: ca. 9% 2. Kalkulation bei Anwendung dieses Vorgehens a. Wenn die Top-30%-Kunden der im System gespeicherten 156.000 Studenten angeschrieben werden, liegt der bisherige -Umsatz dieser 46.800 Kunden bei 1.340 €. b. Bei einer Erfolgsquote von 9% würden ca. 4.200 Kunden das Angebot annehmen. Bei diesen Kunden würde sich der bisherige Ertrag um 5% erhöhen. c. Geschätzter Mehrertrag: 4.200 * 1.340 € * 0,05 = 281.400 € *) Das folgende Beispiel wurde anonymisiert und vereinfacht Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 17
  18. 18. Anwendung der Metrik für Aktualität (II.III) 3. Neues Vorgehen auf Basis der Metrik für Aktualität a. Für alle Kunden mit dem Status „Student“ werden die Metrik- ergebnisse für Aktualität berechnet. 7,000 Anzahl der Kunden 6,000 Number of customers (top 30% sales) 5,000 4,000 3,000 2,000 1,000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Metrikergebnisse (Wahrscheinlichkeiten) Intervals of probabilities (metric for timeliness) b. Danach wird für jeden Kunden der erwartete Umsatz als Student ermittelt (Metrikergebnis*Umsatz). c. Diese Kennzahl wird nunmehr als Selektionskriterium für die TOP-30%-Kunden verwendet.  Von den 46.800 selektierten Kunden wurden ca. 28.100 Kunden beim bisherigen Vorgehen nicht berücksichtigt. Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 18
  19. 19. Anwendung der Metrik für Aktualität (II.IV) 4. Ergebnisse der durchgeführten Kampagne Der Mobilfunkanbieter entschied sich allen 75.500 Kunden (d.h. nach beiden Selektionskriterien) ein Angebot zu unterbreiten. # Kunden = 18.100 Erfolgsquote = 10,4% Umsatz = 1.210 EUR KDQ KDQ,U KU # Kunden = 28.700 # Kunden = 28.700 Erfolgsquote = 12,2% Erfolgsquote = 2,7% Umsatz = 1.110 EUR Umsatz = 1.420 EUR  Bei bisherigem Vorgehen:  Bei Einsatz der Metrik: • Erfolgsquote: 5,7% • Erfolgsquote: 11,5% • -Umsatz: 1.340 € • - Umsatz: 1.150 € • Zus. Ertrag: 178.700 € • Zus. Ertrag: 309.200 € Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 19
  20. 20. Vielen Dank für Ihre Aufmerksamkeit! Kontakt Dr. Mathias Klier Leopold-Franzens-University of Innsbruck School of Management Information Systems Universitätsstraße 15 A-6020 Innsbruck Austria Phone: +43 (0) 512 507 7685 Fax: +43 (0) 512 507 9809 Email: mathias.klier@uibk.ac.at WWW: http://www.uibk.ac.at/iwi2 Dr. Mathias Klier - University of Innsbruck – Information Systems Seite 20

×