Advanced DQS Integration

1. Advanced DQS Integration Oliver Engels & Tillmann Eitelberg 13.07.2013

2. Vielen Dank an die Volunteers! 13.07.2013 |

3. Große Verlosung!  Am Ende der Veranstaltung (ca. 18:00 Uhr)  Gewinnt viele Preise!  Deshalb: Besucht unsere Sponsoren! 13.07.2013 |

4. Wir sind…  Oliver Engels  CEO of oh22data AG, German MS Gold Partner  Tillmann Eitelberg  CTP of oh22information services GmbH  Wir beide sind:     SQL Server MVP PASS Vorstand Regional Mentors for Germany SQL Information Services Advisory Board Members  Data Quality Maniacs 13.07.2013 |

5. Agenda        Data Quality Services und EIM? Domain Values Reference Data Services SSIS DQS Cleansing MDS DQS Integration SSIS DQS Matching Domain Values – Part II 13.07.2013 |

6. DQS – Data Quality Management für alle  Verbessern der Datenqualität mit DQS  Daten bereinigen und “sauber” halten  Vertrauen in Unternehmensdaten aufbauen  Verteilen der Verantwortung für DQ  Beseitigen von Hindernissen für DQ  Konzipiert für einfache Bedienung  Werkzeuge für Business User  Ergebnisse in Minuten statt Monaten sehen

7. DQS – the MS approach Data Quality Services (DQS) is a Knowledge-Driven data quality solution enabling data stewards to easily improve the quality of their data.

8. DQS – Wie funktionierts?

9. DQS im EIM Kontext  Generieren von präzisen und zuverlässigen Daten  Bereitstellen von glaubwürdigen und konsistenten Daten mit einer End-to-End Datenintegration, Datenbereinigung und Data Management  Verwenden von SQL Server für alle EIM Umgebungen 13.07.2013 |

10. SQL Information Services Portfolio  Building the tools for Enterprise Information Management Integration Services BizTalk Master Data Services Data Quality Services Data Explorer Big Data Azure Data Market Stream Insight Other IS Tools

11. DQS und Microsoft (SQL Server 2012) MASTER DATA SERVICES DATA QUALITY SERVICES Knowledge-based Data Cleansing & Matching Standalone & SSIS Integrated Cleanse Manage Excel UI to Manage Data & Dimensions Rapid, Easy Data Loading Integrate INTEGRATION SERVICES Integrated Deployment & Management Improved Productivity & User Experience

12. Und nu? 13.07.2013 |

13. Domain Values  Ein „Regelwerk“ innerhalb einer Domain  Möglicher Status eines Wertes  Correct  Invalid  Error  Domainwerte werden manuell in DQS erfasst  Re-Import aus durchgeführten Projekten  Import aus Excel 13.07.2013 |

14. Domain Values DEMO 13.07.2013 |

15. Reference Data Service  Anbindung von DQ Services aus dem Azure Marketplace  Bisher (leider nur) 13 Services  die meisten davon stehen in unserem „Markt“ nicht zur Verfügung  Anbieter u.a. MelissaData, Loqate oder D&B  Trial-Version von MelissaData mit USA und Canada-Daten  Data Quality Services-API kann auch in eigene Anwendungen implementiert werden 13.07.2013 |

16. Reference Data Service DEMO 13.07.2013 |

17. Reference Data Service  Entwicklung von Custom RDS  REST Service  Ermöglicht u.a. Anbindung  eigener komplexer Prozesse  interne nicht öffentliche Daten  Prüfung gegen MDS  Schnittstelle leider nicht öffentlich 13.07.2013 |

18. Reference Data Service 13.07.2013 |

20. SSIS DQS Cleansing  Datenbereinigung innerhalb von SSIS  Regelwerke  Values  Rules  Reference Data Service  Detaillierte Ausgabe eines Status-Wertes pro Spalte/Domain  Status-Wert für einen gesamten Record  Anreicherung mit externen Daten 13.07.2013 |

21. SSIS DQS Cleansing 13.07.2013 |

22. SSIS DQS Cleansing DEMO 13.07.2013 |

23. DQS Matching  Verschiedene Matching Regeln pro Matching Policy  DQS verwendet den Trigram Algorithm  Algorithmus ist Sprachunabhängig  Spracheinstellungen innerhalb der Domain beziehen nur auf die Rechtschreibkorrektur 13.07.2013 |

24. DQS Matching  Eine Regel alleine für nicht zum Ziel  Aufbau der Matching Policies über Beispiel Daten  klassische Fehler  Sonderfälle/„fehlerhafte“ Dubletten  100% Trefferquote ist kaum möglich  Aber: Overkill und Underkill sollte vermieden werden 13.07.2013 |

25. DQS Matching 13.07.2013 |

26. DQS Matching 13.07.2013 |

27. DQS Matching 13.07.2013 |

28. DQS Matching DEMO 13.07.2013 |

29. MDS DQS Integration  DQS Matching kann in das MDS Excel Addin integriert werden  Aktivierung über den Master Data Services Configuration Manager  Matching kann auf bestehende Matching Policies aufsetzen  Einfache Matching Policies können direkt über MDS erstellt werden 13.07.2013 |

30. MDS DQS Integration DEMO 13.07.2013 |

31. SSIS DQS Matching  #1 Anfrage der MS DQS Kunden  Open Source Projekt auf Codeplex  Greift auf die bisher unveröffentlichte DQS API zu  Dublettensuche mit DQS Matching Policies direkt im Datenfluss  Ausgabe der Matched und Unmatched Daten 13.07.2013 |

33. Domain Values Part II  Import über Excel schnell und einfach  Aber bisher kein wirklicher Closed Loop  EIM  Häufige Anfrage: Wie kann ich MDS Entitäten in DQS verwenden  Neues Projekt bei Codeplex:  DQS Domain Value Destination  Publish DQS Knowledge Base Task 13.07.2013 |

34. Domain Values Part II DEMO 13.07.2013 |

35. Unsere „You Rock! “ Sponsoren 13.07.2013 |

36. Vielen Dank an all unsere Sponsoren! Gold Silber Bronze 13.07.2013 |

37. Media Sponsoren: 13.07.2013 |

38. Hands-on event: PASS Camp 2013! 13.07.2013 |