Mit dem Data Quality Client steht dem Data Steward ein Endbenutzer konformes Produkt zur Verfügung, mit dem er schnell und einfach Daten bereinigen, standardisieren und mit zusätzlichen Informationen anreichern kann. Aber auch mit Excel oder den SQL Server Integration Services kann auf die Data Quality Services zugegriffen werden. In dieser Session zeigen wir, wie DQS in andere Umgebungen integriert werden kann, welche Möglichkeiten sich daraus ergeben und was dabei zu beachten ist.
3. Große Verlosung!
Am Ende der Veranstaltung (ca. 18:00 Uhr)
Gewinnt viele Preise!
Deshalb:
Besucht unsere Sponsoren!
13.07.2013 |
4. Wir sind…
Oliver Engels
CEO of oh22data AG, German MS Gold Partner
Tillmann Eitelberg
CTP of oh22information services GmbH
Wir beide sind:
SQL Server MVP
PASS Vorstand
Regional Mentors for Germany
SQL Information Services Advisory Board Members
Data Quality Maniacs
13.07.2013 |
5. Agenda
Data Quality Services und EIM?
Domain Values
Reference Data Services
SSIS DQS Cleansing
MDS DQS Integration
SSIS DQS Matching
Domain Values – Part II
13.07.2013 |
6. DQS – Data Quality Management für alle
Verbessern der Datenqualität mit DQS
Daten bereinigen und “sauber” halten
Vertrauen in Unternehmensdaten aufbauen
Verteilen der Verantwortung für DQ
Beseitigen von Hindernissen für DQ
Konzipiert für einfache Bedienung
Werkzeuge für Business User
Ergebnisse in Minuten statt
Monaten sehen
7. DQS – the MS approach
Data Quality Services (DQS) is a
Knowledge-Driven
data quality solution enabling data
stewards to easily improve the
quality of their data.
9. DQS im EIM Kontext
Generieren von präzisen und
zuverlässigen Daten
Bereitstellen von glaubwürdigen und
konsistenten Daten mit einer End-to-End
Datenintegration, Datenbereinigung und Data
Management
Verwenden von SQL Server für alle EIM
Umgebungen
13.07.2013 |
10. SQL Information Services Portfolio
Building the tools for Enterprise Information
Management
Integration
Services
BizTalk
Master
Data Services
Data
Quality Services
Data Explorer
Big Data
Azure
Data Market
Stream
Insight
Other
IS Tools
11. DQS und Microsoft (SQL Server 2012)
MASTER DATA
SERVICES
DATA QUALITY
SERVICES
Knowledge-based Data
Cleansing & Matching
Standalone & SSIS Integrated
Cleanse
Manage
Excel UI to
Manage Data & Dimensions
Rapid, Easy Data Loading
Integrate
INTEGRATION SERVICES
Integrated Deployment & Management
Improved Productivity & User Experience
13. Domain Values
Ein „Regelwerk“ innerhalb einer Domain
Möglicher Status eines Wertes
Correct
Invalid
Error
Domainwerte werden manuell in DQS erfasst
Re-Import aus durchgeführten Projekten
Import aus Excel
13.07.2013 |
15. Reference Data Service
Anbindung von DQ Services aus dem Azure
Marketplace
Bisher (leider nur) 13 Services
die meisten davon stehen in unserem „Markt“
nicht zur Verfügung
Anbieter u.a. MelissaData, Loqate oder D&B
Trial-Version von MelissaData mit USA und
Canada-Daten
Data Quality Services-API kann auch in eigene
Anwendungen implementiert werden
13.07.2013 |
17. Reference Data Service
Entwicklung von Custom RDS
REST Service
Ermöglicht u.a. Anbindung
eigener komplexer Prozesse
interne nicht öffentliche Daten
Prüfung gegen MDS
Schnittstelle leider nicht öffentlich
13.07.2013 |
20. SSIS DQS Cleansing
Datenbereinigung innerhalb von SSIS
Regelwerke
Values
Rules
Reference Data Service
Detaillierte Ausgabe eines Status-Wertes pro
Spalte/Domain
Status-Wert für einen gesamten Record
Anreicherung mit externen Daten
13.07.2013 |
23. DQS Matching
Verschiedene Matching Regeln pro Matching
Policy
DQS verwendet den Trigram Algorithm
Algorithmus ist Sprachunabhängig
Spracheinstellungen innerhalb der Domain
beziehen nur auf die Rechtschreibkorrektur
13.07.2013 |
24. DQS Matching
Eine Regel alleine für nicht zum Ziel
Aufbau der Matching Policies über Beispiel
Daten
klassische Fehler
Sonderfälle/„fehlerhafte“ Dubletten
100% Trefferquote ist kaum möglich
Aber: Overkill und Underkill sollte vermieden
werden
13.07.2013 |
29. MDS DQS Integration
DQS Matching kann in das MDS Excel Addin
integriert werden
Aktivierung über den Master Data Services
Configuration Manager
Matching kann auf bestehende Matching
Policies aufsetzen
Einfache Matching Policies können direkt
über MDS erstellt werden
13.07.2013 |
31. SSIS DQS Matching
#1 Anfrage der MS DQS Kunden
Open Source Projekt auf Codeplex
Greift auf die bisher unveröffentlichte DQS
API zu
Dublettensuche mit DQS Matching Policies
direkt im Datenfluss
Ausgabe der Matched und Unmatched Daten
13.07.2013 |
33. Domain Values Part II
Import über Excel schnell und einfach
Aber bisher kein wirklicher Closed Loop
EIM
Häufige Anfrage: Wie kann ich MDS Entitäten
in DQS verwenden
Neues Projekt bei Codeplex:
DQS Domain Value Destination
Publish DQS Knowledge Base Task
13.07.2013 |