Advanced DQS Integration
Oliver Engels & Tillmann Eitelberg

13.07.2013
Vielen Dank an die Volunteers!

13.07.2013 |
Große Verlosung!
 Am Ende der Veranstaltung (ca. 18:00 Uhr)
 Gewinnt viele Preise!
 Deshalb:

Besucht unsere Sponsoren!...
Wir sind…
 Oliver Engels
 CEO of oh22data AG, German MS Gold Partner

 Tillmann Eitelberg
 CTP of oh22information serv...
Agenda








Data Quality Services und EIM?
Domain Values
Reference Data Services
SSIS DQS Cleansing
MDS DQS Inte...
DQS – Data Quality Management für alle
 Verbessern der Datenqualität mit DQS
 Daten bereinigen und “sauber” halten
 Ver...
DQS – the MS approach

Data Quality Services (DQS) is a
Knowledge-Driven
data quality solution enabling data
stewards to e...
DQS – Wie funktionierts?
DQS im EIM Kontext
 Generieren von präzisen und
zuverlässigen Daten
 Bereitstellen von glaubwürdigen und
konsistenten Da...
SQL Information Services Portfolio
 Building the tools for Enterprise Information
Management
Integration
Services

BizTal...
DQS und Microsoft (SQL Server 2012)
MASTER DATA
SERVICES

DATA QUALITY
SERVICES
Knowledge-based Data
Cleansing & Matching
...
Und nu?

13.07.2013 |
Domain Values
 Ein „Regelwerk“ innerhalb einer Domain
 Möglicher Status eines Wertes
 Correct
 Invalid
 Error

 Doma...
Domain Values

DEMO
13.07.2013 |
Reference Data Service
 Anbindung von DQ Services aus dem Azure
Marketplace
 Bisher (leider nur) 13 Services
 die meist...
Reference Data Service

DEMO
13.07.2013 |
Reference Data Service
 Entwicklung von Custom RDS
 REST Service
 Ermöglicht u.a. Anbindung
 eigener komplexer Prozess...
Reference Data Service

13.07.2013 |
Reference Data Service

DEMO
13.07.2013 |
SSIS DQS Cleansing
 Datenbereinigung innerhalb von SSIS
 Regelwerke
 Values
 Rules
 Reference Data Service

 Detaill...
SSIS DQS Cleansing

13.07.2013 |
SSIS DQS Cleansing

DEMO
13.07.2013 |
DQS Matching
 Verschiedene Matching Regeln pro Matching
Policy
 DQS verwendet den Trigram Algorithm
 Algorithmus ist Sp...
DQS Matching
 Eine Regel alleine für nicht zum Ziel
 Aufbau der Matching Policies über Beispiel
Daten
 klassische Fehle...
DQS Matching

13.07.2013 |
DQS Matching

13.07.2013 |
DQS Matching

13.07.2013 |
DQS Matching

DEMO
13.07.2013 |
MDS DQS Integration
 DQS Matching kann in das MDS Excel Addin
integriert werden
 Aktivierung über den Master Data Servic...
MDS DQS Integration

DEMO
13.07.2013 |
SSIS DQS Matching
 #1 Anfrage der MS DQS Kunden
 Open Source Projekt auf Codeplex
 Greift auf die bisher unveröffentlic...
Reference Data Service

DEMO
13.07.2013 |
Domain Values Part II
 Import über Excel schnell und einfach
 Aber bisher kein wirklicher Closed Loop
 EIM
 Häufige An...
Domain Values Part II

DEMO
13.07.2013 |
Unsere „You Rock! “ Sponsoren

13.07.2013 |
Vielen Dank an all unsere Sponsoren!
Gold

Silber

Bronze

13.07.2013 |
Media Sponsoren:

13.07.2013 |
Hands-on event: PASS Camp 2013!

13.07.2013 |
Nächste SlideShare
Wird geladen in …5
×

Advanced DQS Integration

679 Aufrufe

Veröffentlicht am

Mit dem Data Quality Client steht dem Data Steward ein Endbenutzer konformes Produkt zur Verfügung, mit dem er schnell und einfach Daten bereinigen, standardisieren und mit zusätzlichen Informationen anreichern kann. Aber auch mit Excel oder den SQL Server Integration Services kann auf die Data Quality Services zugegriffen werden. In dieser Session zeigen wir, wie DQS in andere Umgebungen integriert werden kann, welche Möglichkeiten sich daraus ergeben und was dabei zu beachten ist.

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
679
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
14
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Advanced DQS Integration

  1. 1. Advanced DQS Integration Oliver Engels & Tillmann Eitelberg 13.07.2013
  2. 2. Vielen Dank an die Volunteers! 13.07.2013 |
  3. 3. Große Verlosung!  Am Ende der Veranstaltung (ca. 18:00 Uhr)  Gewinnt viele Preise!  Deshalb: Besucht unsere Sponsoren! 13.07.2013 |
  4. 4. Wir sind…  Oliver Engels  CEO of oh22data AG, German MS Gold Partner  Tillmann Eitelberg  CTP of oh22information services GmbH  Wir beide sind:     SQL Server MVP PASS Vorstand Regional Mentors for Germany SQL Information Services Advisory Board Members  Data Quality Maniacs 13.07.2013 |
  5. 5. Agenda        Data Quality Services und EIM? Domain Values Reference Data Services SSIS DQS Cleansing MDS DQS Integration SSIS DQS Matching Domain Values – Part II 13.07.2013 |
  6. 6. DQS – Data Quality Management für alle  Verbessern der Datenqualität mit DQS  Daten bereinigen und “sauber” halten  Vertrauen in Unternehmensdaten aufbauen  Verteilen der Verantwortung für DQ  Beseitigen von Hindernissen für DQ  Konzipiert für einfache Bedienung  Werkzeuge für Business User  Ergebnisse in Minuten statt Monaten sehen
  7. 7. DQS – the MS approach Data Quality Services (DQS) is a Knowledge-Driven data quality solution enabling data stewards to easily improve the quality of their data.
  8. 8. DQS – Wie funktionierts?
  9. 9. DQS im EIM Kontext  Generieren von präzisen und zuverlässigen Daten  Bereitstellen von glaubwürdigen und konsistenten Daten mit einer End-to-End Datenintegration, Datenbereinigung und Data Management  Verwenden von SQL Server für alle EIM Umgebungen 13.07.2013 |
  10. 10. SQL Information Services Portfolio  Building the tools for Enterprise Information Management Integration Services BizTalk Master Data Services Data Quality Services Data Explorer Big Data Azure Data Market Stream Insight Other IS Tools
  11. 11. DQS und Microsoft (SQL Server 2012) MASTER DATA SERVICES DATA QUALITY SERVICES Knowledge-based Data Cleansing & Matching Standalone & SSIS Integrated Cleanse Manage Excel UI to Manage Data & Dimensions Rapid, Easy Data Loading Integrate INTEGRATION SERVICES Integrated Deployment & Management Improved Productivity & User Experience
  12. 12. Und nu? 13.07.2013 |
  13. 13. Domain Values  Ein „Regelwerk“ innerhalb einer Domain  Möglicher Status eines Wertes  Correct  Invalid  Error  Domainwerte werden manuell in DQS erfasst  Re-Import aus durchgeführten Projekten  Import aus Excel 13.07.2013 |
  14. 14. Domain Values DEMO 13.07.2013 |
  15. 15. Reference Data Service  Anbindung von DQ Services aus dem Azure Marketplace  Bisher (leider nur) 13 Services  die meisten davon stehen in unserem „Markt“ nicht zur Verfügung  Anbieter u.a. MelissaData, Loqate oder D&B  Trial-Version von MelissaData mit USA und Canada-Daten  Data Quality Services-API kann auch in eigene Anwendungen implementiert werden 13.07.2013 |
  16. 16. Reference Data Service DEMO 13.07.2013 |
  17. 17. Reference Data Service  Entwicklung von Custom RDS  REST Service  Ermöglicht u.a. Anbindung  eigener komplexer Prozesse  interne nicht öffentliche Daten  Prüfung gegen MDS  Schnittstelle leider nicht öffentlich 13.07.2013 |
  18. 18. Reference Data Service 13.07.2013 |
  19. 19. Reference Data Service DEMO 13.07.2013 |
  20. 20. SSIS DQS Cleansing  Datenbereinigung innerhalb von SSIS  Regelwerke  Values  Rules  Reference Data Service  Detaillierte Ausgabe eines Status-Wertes pro Spalte/Domain  Status-Wert für einen gesamten Record  Anreicherung mit externen Daten 13.07.2013 |
  21. 21. SSIS DQS Cleansing 13.07.2013 |
  22. 22. SSIS DQS Cleansing DEMO 13.07.2013 |
  23. 23. DQS Matching  Verschiedene Matching Regeln pro Matching Policy  DQS verwendet den Trigram Algorithm  Algorithmus ist Sprachunabhängig  Spracheinstellungen innerhalb der Domain beziehen nur auf die Rechtschreibkorrektur 13.07.2013 |
  24. 24. DQS Matching  Eine Regel alleine für nicht zum Ziel  Aufbau der Matching Policies über Beispiel Daten  klassische Fehler  Sonderfälle/„fehlerhafte“ Dubletten  100% Trefferquote ist kaum möglich  Aber: Overkill und Underkill sollte vermieden werden 13.07.2013 |
  25. 25. DQS Matching 13.07.2013 |
  26. 26. DQS Matching 13.07.2013 |
  27. 27. DQS Matching 13.07.2013 |
  28. 28. DQS Matching DEMO 13.07.2013 |
  29. 29. MDS DQS Integration  DQS Matching kann in das MDS Excel Addin integriert werden  Aktivierung über den Master Data Services Configuration Manager  Matching kann auf bestehende Matching Policies aufsetzen  Einfache Matching Policies können direkt über MDS erstellt werden 13.07.2013 |
  30. 30. MDS DQS Integration DEMO 13.07.2013 |
  31. 31. SSIS DQS Matching  #1 Anfrage der MS DQS Kunden  Open Source Projekt auf Codeplex  Greift auf die bisher unveröffentlichte DQS API zu  Dublettensuche mit DQS Matching Policies direkt im Datenfluss  Ausgabe der Matched und Unmatched Daten 13.07.2013 |
  32. 32. Reference Data Service DEMO 13.07.2013 |
  33. 33. Domain Values Part II  Import über Excel schnell und einfach  Aber bisher kein wirklicher Closed Loop  EIM  Häufige Anfrage: Wie kann ich MDS Entitäten in DQS verwenden  Neues Projekt bei Codeplex:  DQS Domain Value Destination  Publish DQS Knowledge Base Task 13.07.2013 |
  34. 34. Domain Values Part II DEMO 13.07.2013 |
  35. 35. Unsere „You Rock! “ Sponsoren 13.07.2013 |
  36. 36. Vielen Dank an all unsere Sponsoren! Gold Silber Bronze 13.07.2013 |
  37. 37. Media Sponsoren: 13.07.2013 |
  38. 38. Hands-on event: PASS Camp 2013! 13.07.2013 |

×