“ Fehler vorprogrammiert?!” Breakfast Session,  26.05.2009 – Hotel im Wasserturm/Köln
Customer Data Integration (CDI) Projekte sind oftmals mit viel Zeit, Resourcen und hohen Budget verbunden.   <ul><li>Worum...
Schwierigkeiten bei der Datensemantik <ul><li>Abkürzungen & Akronyme: </li></ul><ul><ul><li>Bayerische Motorenwerke = BMW ...
Die Ursachen mangelnder Datenqualität sind vielfältig Dubletten Groß/Kleinschreibung Inkonsistenzen Mißbrauch von Feldern ...
Risiken <ul><li>Imageschaden </li></ul><ul><li>Glaubwürdigkeit </li></ul><ul><li>Finanzielle Strafen (z.B. mangelnde Compl...
ETL: Traditionelle Methodik Im Hinblick auf die Datenqualität ist ETL zwar ein sinnvolles Tool für die Konvertierung oder ...
<ul><li>Data Quality Audit:  </li></ul><ul><li>   Analyse der zu migrierenden Daten </li></ul><ul><li>Konzeption :   Gro...
ETL mit Move & Improve DB 1 DB 2 DB n extract extract extract Storage of  Original  records Uniform Parse & Format Storage...
DB 1 DB 2 DB n extract extract extract Storage of  Original  records Uniform Parse & Format Storage of  All Uniformed reco...
Data Quality Audit Vorgehensweise: - Durchführung eines Workshop in Zusammenarbeit mit dem Projektteam und Vertretern der ...
Ergebnis Feldprüfung
Adressprüfung 18,00% 528 Manuelle Korrektor notwendig 10,00% 292 Nicht eindeutig Korrigiert 72,00% 2.107 Automatisch Korri...
Ergebnis Data Quality Audit
DB 1 DB 2 DB n extract extract extract Storage of  Original  records Uniform Parse & Format Storage of  All Uniformed reco...
Projektkonzeption „Move & Improve“ Analyse Grobkonzept Feinkonzept Umsetzung der Migrationsplanung Initialer  Migrationsla...
DB 1 DB 2 DB n extract extract extract Storage of  Original  records Uniform Parse & Format Storage of  All Uniformed reco...
Transformieren und Standardisieren: <ul><li>unstrukturierte Kundendaten interpretieren und korrekt kennzeichnen </li></ul>...
DB 1 DB 2 DB n extract extract extract Storage of  Original  records Uniform Parse & Format Storage of  All Uniformed reco...
HI Data Improver (aka Waschstrasse )
DB 1 DB 2 DB n extract extract extract Storage of  Original  records Uniform Parse & Format Storage of  All Uniformed reco...
Merge – Datenvermischung <ul><li>Golden Record - Generierung eines einzigen Datensatzes  </li></ul><ul><li>=  Beste Inform...
Automatische Datenvermischung <ul><li>Beispiele für Business Rules: </li></ul><ul><li>Automatisches Zusammenführen nur bei...
Manuelle Datenvermischung
Ein Mass für den Erfolg  des Projektes sind die Ergebnisse aus den Audits! Führt man nach Abschluss der Datenmigration den...
Warum sind dann in reinen Datenmigrationsprojekten Fehler vorprogrammiert? <ul><li>Keine DQ Analyse der Ursprungsdaten. </...
Fragen?
Vielen Dank für Ihre Aufmerksamkeit Kontakt: Paul Tours Senior Consultant Human Inference Hammfelddamm 4a 41460 Neuss Tel:...
Nächste SlideShare
Wird geladen in …5
×

‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference

1.087 Aufrufe

Veröffentlicht am

‘Fehler vorprogrammiert’

Paul Tours, Senior Consultant/Human Inference

Veröffentlicht in: Technologie, Business
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.087
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
10
Aktionen
Geteilt
0
Downloads
14
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • ‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference

    1. 1. “ Fehler vorprogrammiert?!” Breakfast Session, 26.05.2009 – Hotel im Wasserturm/Köln
    2. 2. Customer Data Integration (CDI) Projekte sind oftmals mit viel Zeit, Resourcen und hohen Budget verbunden. <ul><li>Worum geht es genau? </li></ul><ul><ul><li>Daten von einem Altsystem in ein Neusystem überführen </li></ul></ul><ul><ul><li>Transformation der Datenmodelle </li></ul></ul><ul><ul><li>Definiertes Ende, gehört nicht zum Betrieb </li></ul></ul><ul><li>Wann ist das notwendig? </li></ul><ul><ul><li>Einführung eines neuen Systems, das existierende Aufgaben eines oder meherer anderer Systeme übernimmt </li></ul></ul><ul><ul><li>Ablösung eines Altsystems durch ein bereits produktives System </li></ul></ul><ul><li>Was ist daran so schwierig? </li></ul><ul><ul><li>Datensemantik </li></ul></ul><ul><ul><li>Datenkonsistenz und Datenqualität </li></ul></ul><ul><ul><li>Risikoeinschätzung </li></ul></ul>
    3. 3. Schwierigkeiten bei der Datensemantik <ul><li>Abkürzungen & Akronyme: </li></ul><ul><ul><li>Bayerische Motorenwerke = BMW </li></ul></ul><ul><li>Context </li></ul><ul><ul><li>Art Gallery Jones ist nicht Art G. Jones </li></ul></ul><ul><li>Standardisierung </li></ul><ul><ul><li>Müller, Markus = M. Müller = männlich </li></ul></ul><ul><li>Gilt das? </li></ul><ul><ul><li>Le Galloudec ist richtig, aber Galloudec ohne ‘Le’ existiert als Nachname nicht </li></ul></ul><ul><li>Transcription und Transliteration </li></ul><ul><ul><li>ڦکێگڝڗ , Mohammad, Moehammet, Muhamet; </li></ul></ul><ul><li>Kulturelle Aspekte </li></ul><ul><ul><li>Kasparov / Kasparova </li></ul></ul><ul><li>Sonderzeichen: </li></ul><ul><ul><li>Güçlütürk = Goekloetoerk </li></ul></ul>
    4. 4. Die Ursachen mangelnder Datenqualität sind vielfältig Dubletten Groß/Kleinschreibung Inkonsistenzen Mißbrauch von Feldern Fehlerhafte Adressen
    5. 5. Risiken <ul><li>Imageschaden </li></ul><ul><li>Glaubwürdigkeit </li></ul><ul><li>Finanzielle Strafen (z.B. mangelnde Compliance) </li></ul>
    6. 6. ETL: Traditionelle Methodik Im Hinblick auf die Datenqualität ist ETL zwar ein sinnvolles Tool für die Konvertierung oder Standardisierung, jedoch nicht für die Korrektur oder Verbesserung von Daten . Daneben ist ETL mit einer Konvertierung von Daten vor ihrer Speicherung in einem Data Warehouse, Datamart oder einer neuen Zieldatenbank eher auf den Datenfluss fokussiert. Subjektspezifische Daten wie Kunden- oder Produktdaten stehen nicht im Mittelpunkt.“ Data based Advisor “Data Quality: A Problem and an Approach” DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records load Target System
    7. 7. <ul><li>Data Quality Audit: </li></ul><ul><li> Analyse der zu migrierenden Daten </li></ul><ul><li>Konzeption :  Grob- und Detailkonzept </li></ul><ul><li>Umsetzung (Installation, Konfiguration, Scripte, ...) </li></ul><ul><li>Testphase </li></ul><ul><li>Abnahme und Inbetriebnahme </li></ul>Vorgehensweise bei Move & Improve
    8. 8. ETL mit Move & Improve DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting 4. Data Improver 5. Merge & Enrich „Golden Record“
    9. 9. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit ETL mit Move & Improve
    10. 10. Data Quality Audit Vorgehensweise: - Durchführung eines Workshop in Zusammenarbeit mit dem Projektteam und Vertretern der IT- und Fachabteilungen. - Analyse der Datenstruktur und der Feldinhalte hinsichtlich Vollständigkeit, Konsistenz und fehlerhaften Störelementen (Erika Mustermann, Test-Test, asdfg, qwertz, etc.). - Analyse der Bestandsliste hinsichtlich Crossreferenzen durch Einsatz der im Workshop abgestimmten Regeln. - Auswertung und Dokumentation der Ergebnisse. - Präsentation der Ergebnisse
    11. 11. Ergebnis Feldprüfung
    12. 12. Adressprüfung 18,00% 528 Manuelle Korrektor notwendig 10,00% 292 Nicht eindeutig Korrigiert 72,00% 2.107 Automatisch Korrigiert 12,32% 2.927 Verschmutze Adressen 77,68% 33.130 Saubere Adressen 100,00% 36.057 Addressen Gesamt
    13. 13. Ergebnis Data Quality Audit
    14. 14. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption ETL mit Move & Improve
    15. 15. Projektkonzeption „Move & Improve“ Analyse Grobkonzept Feinkonzept Umsetzung der Migrationsplanung Initialer Migrationslauf Inkrementeller Migrationslauf <ul><li>Migrationskonzept </li></ul><ul><li>Ergebnisse des DQA </li></ul><ul><li>Design und Architektur des Zielsystems </li></ul><ul><ul><li>Ablaufplanung </li></ul></ul><ul><ul><li>Detailplanung Architektur Zielsystem </li></ul></ul><ul><ul><li>Festlegung der Definitionen zu Datenkonvertierung, Datenmigration, Data Mapping </li></ul></ul><ul><ul><li>Regeln zur Datenbereinigung und Dublettensuche </li></ul></ul><ul><ul><li>Data Quality Prozess Definition </li></ul></ul><ul><ul><li>Fallback-Lösung </li></ul></ul><ul><ul><li>Regeln des “Golden Records” </li></ul></ul><ul><ul><li>Import ins Zielsystem </li></ul></ul><ul><ul><li>Behandlung der Deltadaten </li></ul></ul><ul><ul><li>Testkonzept </li></ul></ul>
    16. 16. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Human Inference: Move & Improve
    17. 17. Transformieren und Standardisieren: <ul><li>unstrukturierte Kundendaten interpretieren und korrekt kennzeichnen </li></ul><ul><li>Ursprungsdaten genau analysieren und korrekt in das System eingliedern </li></ul><ul><li>höchste Qualitätsniveau durch Zurückgreifen auf länder- und kulturspezifisches Wissen. </li></ul><ul><li>Kein aufwändiges Schreiben von Hunderten von Zerlegungs- und Transformationsskripts zum Laden der Daten in richtiger Weise </li></ul><ul><li>Human Inference ist eines der ersten Unternehmen, das die internationalen Standards im Bereich der Datenqualitätsformate (wie CEN/UPU) unterstützt. </li></ul>
    18. 18. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Move and Improve 4. Data Improver
    19. 19. HI Data Improver (aka Waschstrasse )
    20. 20. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Move & Improve 4. Data Improver 5. Merge & Enrich „Golden Record“
    21. 21. Merge – Datenvermischung <ul><li>Golden Record - Generierung eines einzigen Datensatzes </li></ul><ul><li>= Beste Informationen aus mehreren ähnlichen Datensätzen (Dubletten) </li></ul><ul><li>schnelle Bewertung und Zusammenführung von Daten aus Gruppen potentiell doppelter Datensätze </li></ul><ul><li>Zwei Standard-Methoden der Zusammenführung: </li></ul><ul><ul><li>Automatisch : Auf Basis vordefinierter Business Rules können Datensätze automatisch zusammengeführt werden. Effekt: Reduzierung der Verarbeitungszeit und Fehlerhäufigkeit in der Beurteilung durch den Menschen </li></ul></ul><ul><ul><li>Manuell : Intuitive Schnittstelle lässt die Datensätze, die nicht automatisch zusammen geführt wurden, rasch bewerten und Werte, die bestehen bleiben sollen, auswählen. </li></ul></ul>
    22. 22. Automatische Datenvermischung <ul><li>Beispiele für Business Rules: </li></ul><ul><li>Automatisches Zusammenführen nur bei Datensätzen mit ausreichender Übereinstimmung (Scorewert). </li></ul><ul><li>Attributwert(e) des „besten“ Datensatzes als Referenzwert (Eyecatcher Datensatz) </li></ul><ul><li>Attributwert(e) des aktuellsten Datensatzes als Referenzwert. </li></ul><ul><li>Attributwert(e) des vollständigsten Datensatzes als Referenzwert. </li></ul>
    23. 23. Manuelle Datenvermischung
    24. 24. Ein Mass für den Erfolg des Projektes sind die Ergebnisse aus den Audits! Führt man nach Abschluss der Datenmigration den gleichen Audit nochmal durch und vergleicht ihn mit den Ergebnissen des ersten Audits, hat man hier einen wesentlichen Indikator für den Erfolg des Projektes .
    25. 25. Warum sind dann in reinen Datenmigrationsprojekten Fehler vorprogrammiert? <ul><li>Keine DQ Analyse der Ursprungsdaten. </li></ul><ul><li>Länder- und kulturspezifische Eigenarten werden nicht berücksichtigt </li></ul><ul><li>Keine Verbesserung der Datenqualität </li></ul><ul><li>Erhöhung der Projektrisiken </li></ul><ul><li>Schleichende Projektfolgekosten </li></ul><ul><li>ROI? </li></ul>
    26. 26. Fragen?
    27. 27. Vielen Dank für Ihre Aufmerksamkeit Kontakt: Paul Tours Senior Consultant Human Inference Hammfelddamm 4a 41460 Neuss Tel: +49 2131 403170 Fax: +49 21314031770 Mobile: +49 171 3811709 Internet: www.humaninference.com Email: [email_address]

    ×