Das Dokument präsentiert eine Zusammenfassung einer Veranstaltung zur Integration von Data Quality Services (DQS), geleitet von Oliver Engels und Tillmann Eitelberg, die die Bedeutung der Datenqualität im Unternehmenskontext hervorhebt. Es werden verschiedene Aspekte der DQS, darunter Datenbereinigung, Matching-Algorithmen und Referenzdatenservices, vorgestellt und wie diese in Verbindung mit Microsoft SQL Server verwendet werden können. Zudem werden Features und Anwendungsbeispiele diskutiert, um die Effizienz und Benutzerfreundlichkeit in der Datenverwaltung zu verbessern.

1. Advanced DQS Integration
Oliver Engels & Tillmann Eitelberg
13.07.2013

2. Vielen Dank an die Volunteers!
13.07.2013 |

3. Große Verlosung!
 Am Ende der Veranstaltung (ca. 18:00 Uhr)
 Gewinnt viele Preise!
 Deshalb:
Besucht unsere Sponsoren!
13.07.2013 |

4. Wir sind…
 Oliver Engels
 CEO of oh22data AG, German MS Gold Partner
 Tillmann Eitelberg
 CTP of oh22information services GmbH
 Wir beide sind:




SQL Server MVP
PASS Vorstand
Regional Mentors for Germany
SQL Information Services Advisory Board Members
 Data Quality Maniacs
13.07.2013 |

5. Agenda







Data Quality Services und EIM?
Domain Values
Reference Data Services
SSIS DQS Cleansing
MDS DQS Integration
SSIS DQS Matching
Domain Values – Part II
13.07.2013 |

6. DQS – Data Quality Management für alle
 Verbessern der Datenqualität mit DQS
 Daten bereinigen und “sauber” halten
 Vertrauen in Unternehmensdaten aufbauen
 Verteilen der Verantwortung für DQ
 Beseitigen von Hindernissen für DQ
 Konzipiert für einfache Bedienung
 Werkzeuge für Business User
 Ergebnisse in Minuten statt
Monaten sehen

7. DQS – the MS approach
Data Quality Services (DQS) is a
Knowledge-Driven
data quality solution enabling data
stewards to easily improve the
quality of their data.

8. DQS – Wie funktionierts?

9. DQS im EIM Kontext
 Generieren von präzisen und
zuverlässigen Daten
 Bereitstellen von glaubwürdigen und
konsistenten Daten mit einer End-to-End
Datenintegration, Datenbereinigung und Data
Management
 Verwenden von SQL Server für alle EIM
Umgebungen
13.07.2013 |

10. SQL Information Services Portfolio
 Building the tools for Enterprise Information
Management
Integration
Services
BizTalk
Master
Data Services
Data
Quality Services
Data Explorer
Big Data
Azure
Data Market
Stream
Insight
Other
IS Tools

11. DQS und Microsoft (SQL Server 2012)
MASTER DATA
SERVICES
DATA QUALITY
SERVICES
Knowledge-based Data
Cleansing & Matching
Standalone & SSIS Integrated
Cleanse
Manage
Excel UI to
Manage Data & Dimensions
Rapid, Easy Data Loading
Integrate
INTEGRATION SERVICES
Integrated Deployment & Management
Improved Productivity & User Experience

12. Und nu?
13.07.2013 |

13. Domain Values
 Ein „Regelwerk“ innerhalb einer Domain
 Möglicher Status eines Wertes
 Correct
 Invalid
 Error
 Domainwerte werden manuell in DQS erfasst
 Re-Import aus durchgeführten Projekten
 Import aus Excel
13.07.2013 |

14. Domain Values
DEMO
13.07.2013 |

15. Reference Data Service
 Anbindung von DQ Services aus dem Azure
Marketplace
 Bisher (leider nur) 13 Services
 die meisten davon stehen in unserem „Markt“
nicht zur Verfügung
 Anbieter u.a. MelissaData, Loqate oder D&B
 Trial-Version von MelissaData mit USA und
Canada-Daten
 Data Quality Services-API kann auch in eigene
Anwendungen implementiert werden
13.07.2013 |

16. Reference Data Service
DEMO
13.07.2013 |

17. Reference Data Service
 Entwicklung von Custom RDS
 REST Service
 Ermöglicht u.a. Anbindung
 eigener komplexer Prozesse
 interne nicht öffentliche Daten
 Prüfung gegen MDS
 Schnittstelle leider nicht öffentlich
13.07.2013 |

18. Reference Data Service
13.07.2013 |

19. Reference Data Service
DEMO
13.07.2013 |

20. SSIS DQS Cleansing
 Datenbereinigung innerhalb von SSIS
 Regelwerke
 Values
 Rules
 Reference Data Service
 Detaillierte Ausgabe eines Status-Wertes pro
Spalte/Domain
 Status-Wert für einen gesamten Record
 Anreicherung mit externen Daten
13.07.2013 |

21. SSIS DQS Cleansing
13.07.2013 |

22. SSIS DQS Cleansing
DEMO
13.07.2013 |

23. DQS Matching
 Verschiedene Matching Regeln pro Matching
Policy
 DQS verwendet den Trigram Algorithm
 Algorithmus ist Sprachunabhängig
 Spracheinstellungen innerhalb der Domain
beziehen nur auf die Rechtschreibkorrektur
13.07.2013 |

24. DQS Matching
 Eine Regel alleine für nicht zum Ziel
 Aufbau der Matching Policies über Beispiel
Daten
 klassische Fehler
 Sonderfälle/„fehlerhafte“ Dubletten
 100% Trefferquote ist kaum möglich
 Aber: Overkill und Underkill sollte vermieden
werden
13.07.2013 |

25. DQS Matching
13.07.2013 |

26. DQS Matching
13.07.2013 |

27. DQS Matching
13.07.2013 |

28. DQS Matching
DEMO
13.07.2013 |

29. MDS DQS Integration
 DQS Matching kann in das MDS Excel Addin
integriert werden
 Aktivierung über den Master Data Services
Configuration Manager
 Matching kann auf bestehende Matching
Policies aufsetzen
 Einfache Matching Policies können direkt
über MDS erstellt werden
13.07.2013 |

30. MDS DQS Integration
DEMO
13.07.2013 |

31. SSIS DQS Matching
 #1 Anfrage der MS DQS Kunden
 Open Source Projekt auf Codeplex
 Greift auf die bisher unveröffentlichte DQS
API zu
 Dublettensuche mit DQS Matching Policies
direkt im Datenfluss
 Ausgabe der Matched und Unmatched Daten
13.07.2013 |

32. Reference Data Service
DEMO
13.07.2013 |

33. Domain Values Part II
 Import über Excel schnell und einfach
 Aber bisher kein wirklicher Closed Loop
 EIM
 Häufige Anfrage: Wie kann ich MDS Entitäten
in DQS verwenden
 Neues Projekt bei Codeplex:
 DQS Domain Value Destination
 Publish DQS Knowledge Base Task
13.07.2013 |

34. Domain Values Part II
DEMO
13.07.2013 |

35. Unsere „You Rock! “ Sponsoren
13.07.2013 |

36. Vielen Dank an all unsere Sponsoren!
Gold
Silber
Bronze
13.07.2013 |

37. Media Sponsoren:
13.07.2013 |

38. Hands-on event: PASS Camp 2013!
13.07.2013 |