SlideShare ist ein Scribd-Unternehmen logo
Advanced DQS Integration
Oliver Engels & Tillmann Eitelberg

13.07.2013
Vielen Dank an die Volunteers!

13.07.2013 |
Große Verlosung!
 Am Ende der Veranstaltung (ca. 18:00 Uhr)
 Gewinnt viele Preise!
 Deshalb:

Besucht unsere Sponsoren!
13.07.2013 |
Wir sind…
 Oliver Engels
 CEO of oh22data AG, German MS Gold Partner

 Tillmann Eitelberg
 CTP of oh22information services GmbH

 Wir beide sind:





SQL Server MVP
PASS Vorstand
Regional Mentors for Germany
SQL Information Services Advisory Board Members

 Data Quality Maniacs
13.07.2013 |
Agenda








Data Quality Services und EIM?
Domain Values
Reference Data Services
SSIS DQS Cleansing
MDS DQS Integration
SSIS DQS Matching
Domain Values – Part II

13.07.2013 |
DQS – Data Quality Management für alle
 Verbessern der Datenqualität mit DQS
 Daten bereinigen und “sauber” halten
 Vertrauen in Unternehmensdaten aufbauen
 Verteilen der Verantwortung für DQ

 Beseitigen von Hindernissen für DQ
 Konzipiert für einfache Bedienung
 Werkzeuge für Business User
 Ergebnisse in Minuten statt
Monaten sehen
DQS – the MS approach

Data Quality Services (DQS) is a
Knowledge-Driven
data quality solution enabling data
stewards to easily improve the
quality of their data.
DQS – Wie funktionierts?
DQS im EIM Kontext
 Generieren von präzisen und
zuverlässigen Daten
 Bereitstellen von glaubwürdigen und
konsistenten Daten mit einer End-to-End
Datenintegration, Datenbereinigung und Data
Management
 Verwenden von SQL Server für alle EIM
Umgebungen
13.07.2013 |
SQL Information Services Portfolio
 Building the tools for Enterprise Information
Management
Integration
Services

BizTalk

Master
Data Services

Data
Quality Services

Data Explorer

Big Data

Azure
Data Market

Stream
Insight

Other
IS Tools
DQS und Microsoft (SQL Server 2012)
MASTER DATA
SERVICES

DATA QUALITY
SERVICES
Knowledge-based Data
Cleansing & Matching
Standalone & SSIS Integrated

Cleanse

Manage

Excel UI to
Manage Data & Dimensions
Rapid, Easy Data Loading

Integrate

INTEGRATION SERVICES
Integrated Deployment & Management
Improved Productivity & User Experience
Und nu?

13.07.2013 |
Domain Values
 Ein „Regelwerk“ innerhalb einer Domain
 Möglicher Status eines Wertes
 Correct
 Invalid
 Error

 Domainwerte werden manuell in DQS erfasst
 Re-Import aus durchgeführten Projekten
 Import aus Excel
13.07.2013 |
Domain Values

DEMO
13.07.2013 |
Reference Data Service
 Anbindung von DQ Services aus dem Azure
Marketplace
 Bisher (leider nur) 13 Services
 die meisten davon stehen in unserem „Markt“
nicht zur Verfügung
 Anbieter u.a. MelissaData, Loqate oder D&B
 Trial-Version von MelissaData mit USA und
Canada-Daten
 Data Quality Services-API kann auch in eigene
Anwendungen implementiert werden
13.07.2013 |
Reference Data Service

DEMO
13.07.2013 |
Reference Data Service
 Entwicklung von Custom RDS
 REST Service
 Ermöglicht u.a. Anbindung
 eigener komplexer Prozesse
 interne nicht öffentliche Daten
 Prüfung gegen MDS

 Schnittstelle leider nicht öffentlich

13.07.2013 |
Reference Data Service

13.07.2013 |
Reference Data Service

DEMO
13.07.2013 |
SSIS DQS Cleansing
 Datenbereinigung innerhalb von SSIS
 Regelwerke
 Values
 Rules
 Reference Data Service

 Detaillierte Ausgabe eines Status-Wertes pro
Spalte/Domain
 Status-Wert für einen gesamten Record
 Anreicherung mit externen Daten
13.07.2013 |
SSIS DQS Cleansing

13.07.2013 |
SSIS DQS Cleansing

DEMO
13.07.2013 |
DQS Matching
 Verschiedene Matching Regeln pro Matching
Policy
 DQS verwendet den Trigram Algorithm
 Algorithmus ist Sprachunabhängig
 Spracheinstellungen innerhalb der Domain
beziehen nur auf die Rechtschreibkorrektur

13.07.2013 |
DQS Matching
 Eine Regel alleine für nicht zum Ziel
 Aufbau der Matching Policies über Beispiel
Daten
 klassische Fehler
 Sonderfälle/„fehlerhafte“ Dubletten

 100% Trefferquote ist kaum möglich
 Aber: Overkill und Underkill sollte vermieden
werden
13.07.2013 |
DQS Matching

13.07.2013 |
DQS Matching

13.07.2013 |
DQS Matching

13.07.2013 |
DQS Matching

DEMO
13.07.2013 |
MDS DQS Integration
 DQS Matching kann in das MDS Excel Addin
integriert werden
 Aktivierung über den Master Data Services
Configuration Manager
 Matching kann auf bestehende Matching
Policies aufsetzen
 Einfache Matching Policies können direkt
über MDS erstellt werden
13.07.2013 |
MDS DQS Integration

DEMO
13.07.2013 |
SSIS DQS Matching
 #1 Anfrage der MS DQS Kunden
 Open Source Projekt auf Codeplex
 Greift auf die bisher unveröffentlichte DQS
API zu
 Dublettensuche mit DQS Matching Policies
direkt im Datenfluss
 Ausgabe der Matched und Unmatched Daten

13.07.2013 |
Reference Data Service

DEMO
13.07.2013 |
Domain Values Part II
 Import über Excel schnell und einfach
 Aber bisher kein wirklicher Closed Loop
 EIM
 Häufige Anfrage: Wie kann ich MDS Entitäten
in DQS verwenden
 Neues Projekt bei Codeplex:
 DQS Domain Value Destination
 Publish DQS Knowledge Base Task
13.07.2013 |
Domain Values Part II

DEMO
13.07.2013 |
Unsere „You Rock! “ Sponsoren

13.07.2013 |
Vielen Dank an all unsere Sponsoren!
Gold

Silber

Bronze

13.07.2013 |
Media Sponsoren:

13.07.2013 |
Hands-on event: PASS Camp 2013!

13.07.2013 |

Weitere ähnliche Inhalte

Andere mochten auch

Madeleine
MadeleineMadeleine
Madeleine
val08
 
TECNOLOGÍAS DE ELECTRONICA
TECNOLOGÍAS DE ELECTRONICATECNOLOGÍAS DE ELECTRONICA
TECNOLOGÍAS DE ELECTRONICA
Danny Galarza
 
03 Weblogs in der Schule
03 Weblogs in der Schule 03 Weblogs in der Schule
03 Weblogs in der Schule
joness6
 
Musica Y Fotos Buenas De Usa
Musica Y Fotos Buenas De UsaMusica Y Fotos Buenas De Usa
Musica Y Fotos Buenas De Usa
fer arco
 
GEOcaching - Madeira
GEOcaching - MadeiraGEOcaching - Madeira
GEOcaching - Madeira
Juli Burger
 

Andere mochten auch (17)

E-Reader in bibliotheken
E-Reader in bibliothekenE-Reader in bibliotheken
E-Reader in bibliotheken
 
Tècnicas de estudio
Tècnicas de estudioTècnicas de estudio
Tècnicas de estudio
 
schau.gmuend Nr.13
schau.gmuend Nr.13schau.gmuend Nr.13
schau.gmuend Nr.13
 
Madeleine
MadeleineMadeleine
Madeleine
 
Webbibliothekar 2013
Webbibliothekar 2013Webbibliothekar 2013
Webbibliothekar 2013
 
TECNOLOGÍAS DE ELECTRONICA
TECNOLOGÍAS DE ELECTRONICATECNOLOGÍAS DE ELECTRONICA
TECNOLOGÍAS DE ELECTRONICA
 
Emex 11: Google Shopping Search in der Schweiz
Emex 11: Google Shopping Search in der SchweizEmex 11: Google Shopping Search in der Schweiz
Emex 11: Google Shopping Search in der Schweiz
 
03 Weblogs in der Schule
03 Weblogs in der Schule 03 Weblogs in der Schule
03 Weblogs in der Schule
 
Surat berbahasa Jerman
Surat berbahasa JermanSurat berbahasa Jerman
Surat berbahasa Jerman
 
Angriffsvektor Datenkommunikation in der Sicherheitstechnik
Angriffsvektor Datenkommunikation in der SicherheitstechnikAngriffsvektor Datenkommunikation in der Sicherheitstechnik
Angriffsvektor Datenkommunikation in der Sicherheitstechnik
 
Emex 11: Die neuesten Funktionen von Google AdWords
Emex 11: Die neuesten Funktionen von Google AdWordsEmex 11: Die neuesten Funktionen von Google AdWords
Emex 11: Die neuesten Funktionen von Google AdWords
 
Finanzkrise - Chance oder Bedrohung fuer Kunst & Kultur?
Finanzkrise - Chance oder Bedrohung fuer Kunst & Kultur?Finanzkrise - Chance oder Bedrohung fuer Kunst & Kultur?
Finanzkrise - Chance oder Bedrohung fuer Kunst & Kultur?
 
Musica Y Fotos Buenas De Usa
Musica Y Fotos Buenas De UsaMusica Y Fotos Buenas De Usa
Musica Y Fotos Buenas De Usa
 
GEOcaching - Madeira
GEOcaching - MadeiraGEOcaching - Madeira
GEOcaching - Madeira
 
Calculo
CalculoCalculo
Calculo
 
Digitale Medien – Nutzen für KMU
Digitale Medien – Nutzen für KMUDigitale Medien – Nutzen für KMU
Digitale Medien – Nutzen für KMU
 
Clil
ClilClil
Clil
 

Ähnlich wie Advanced DQS Integration

Data Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtData Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedacht
IBsolution GmbH
 
Denodo: Die Lösung für harmonisierte ESG-Informationsquellen
Denodo: Die Lösung für harmonisierte ESG-InformationsquellenDenodo: Die Lösung für harmonisierte ESG-Informationsquellen
Denodo: Die Lösung für harmonisierte ESG-Informationsquellen
IBsolution GmbH
 
Aras Reporting PLM Software
Aras Reporting PLM SoftwareAras Reporting PLM Software
Aras Reporting PLM Software
Aras
 

Ähnlich wie Advanced DQS Integration (20)

TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
 
AWS Roadshow Herbst 2013 Partnervortrag Hamburg: Direktgruppe - Data Center o...
AWS Roadshow Herbst 2013 Partnervortrag Hamburg: Direktgruppe - Data Center o...AWS Roadshow Herbst 2013 Partnervortrag Hamburg: Direktgruppe - Data Center o...
AWS Roadshow Herbst 2013 Partnervortrag Hamburg: Direktgruppe - Data Center o...
 
CLOUDSERVICES FÜR ISVs
CLOUDSERVICES FÜR ISVsCLOUDSERVICES FÜR ISVs
CLOUDSERVICES FÜR ISVs
 
Data Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtData Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedacht
 
Data Governance Journey from UM to VF
Data Governance Journey from UM to VFData Governance Journey from UM to VF
Data Governance Journey from UM to VF
 
Windows 365 oder Azure Virtual Desktop?
Windows 365 oder Azure Virtual Desktop?Windows 365 oder Azure Virtual Desktop?
Windows 365 oder Azure Virtual Desktop?
 
Cloud Connectivity - Herausforderungen und Loesungen
Cloud Connectivity - Herausforderungen und LoesungenCloud Connectivity - Herausforderungen und Loesungen
Cloud Connectivity - Herausforderungen und Loesungen
 
Codd & ACID - ein Ausflug in die Datenbank-Theorie und Geschichte
Codd & ACID - ein Ausflug in die Datenbank-Theorie und GeschichteCodd & ACID - ein Ausflug in die Datenbank-Theorie und Geschichte
Codd & ACID - ein Ausflug in die Datenbank-Theorie und Geschichte
 
Denodo: Die Lösung für harmonisierte ESG-Informationsquellen
Denodo: Die Lösung für harmonisierte ESG-InformationsquellenDenodo: Die Lösung für harmonisierte ESG-Informationsquellen
Denodo: Die Lösung für harmonisierte ESG-Informationsquellen
 
SQLTXPLAIN - Oder: Warum performt mein SQL nicht?
SQLTXPLAIN - Oder: Warum performt mein SQL nicht?SQLTXPLAIN - Oder: Warum performt mein SQL nicht?
SQLTXPLAIN - Oder: Warum performt mein SQL nicht?
 
5 Gründe für Oracle Spatial Technologies
5 Gründe für Oracle Spatial Technologies5 Gründe für Oracle Spatial Technologies
5 Gründe für Oracle Spatial Technologies
 
Migration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformMigration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud Plattform
 
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data Konnektivität
 
Multi-Cloud eGov Webinar 20220322
Multi-Cloud eGov Webinar 20220322Multi-Cloud eGov Webinar 20220322
Multi-Cloud eGov Webinar 20220322
 
IRF Solutions - Data Focus for Financial Systems
IRF Solutions - Data Focus for Financial SystemsIRF Solutions - Data Focus for Financial Systems
IRF Solutions - Data Focus for Financial Systems
 
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...
 
Stammdatenmanagement in der Cloud - Features der SAP MDG, cloud edition
Stammdatenmanagement in der Cloud - Features der SAP MDG, cloud editionStammdatenmanagement in der Cloud - Features der SAP MDG, cloud edition
Stammdatenmanagement in der Cloud - Features der SAP MDG, cloud edition
 
Aras Reporting PLM Software
Aras Reporting PLM SoftwareAras Reporting PLM Software
Aras Reporting PLM Software
 
Dv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automationDv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automation
 

Mehr von Tillmann Eitelberg

SQL Server Konferenz 2014 - SSIS & HDInsight
SQL Server Konferenz 2014 - SSIS & HDInsightSQL Server Konferenz 2014 - SSIS & HDInsight
SQL Server Konferenz 2014 - SSIS & HDInsight
Tillmann Eitelberg
 

Mehr von Tillmann Eitelberg (8)

Data lake analytics for the admin
Data lake analytics for the adminData lake analytics for the admin
Data lake analytics for the admin
 
Embrace and extend first-class activity and 3rd party ecosystem for ssis in adf
Embrace and extend first-class activity and 3rd party ecosystem for ssis in adfEmbrace and extend first-class activity and 3rd party ecosystem for ssis in adf
Embrace and extend first-class activity and 3rd party ecosystem for ssis in adf
 
Industry 4.0 in a box
Industry 4.0 in a boxIndustry 4.0 in a box
Industry 4.0 in a box
 
Bioinformatics on Azure
Bioinformatics on AzureBioinformatics on Azure
Bioinformatics on Azure
 
Webanalytics with Microsoft BI
Webanalytics with Microsoft BIWebanalytics with Microsoft BI
Webanalytics with Microsoft BI
 
Power BI - The self service BI Lifecycle in the cloud
Power BI - The self service BI Lifecycle in the cloudPower BI - The self service BI Lifecycle in the cloud
Power BI - The self service BI Lifecycle in the cloud
 
SQL Server Konferenz 2014 - SSIS & HDInsight
SQL Server Konferenz 2014 - SSIS & HDInsightSQL Server Konferenz 2014 - SSIS & HDInsight
SQL Server Konferenz 2014 - SSIS & HDInsight
 
SQLSaturday #188 - Enterprise Information Management
SQLSaturday #188  - Enterprise Information ManagementSQLSaturday #188  - Enterprise Information Management
SQLSaturday #188 - Enterprise Information Management
 

Advanced DQS Integration

  • 1. Advanced DQS Integration Oliver Engels & Tillmann Eitelberg 13.07.2013
  • 2. Vielen Dank an die Volunteers! 13.07.2013 |
  • 3. Große Verlosung!  Am Ende der Veranstaltung (ca. 18:00 Uhr)  Gewinnt viele Preise!  Deshalb: Besucht unsere Sponsoren! 13.07.2013 |
  • 4. Wir sind…  Oliver Engels  CEO of oh22data AG, German MS Gold Partner  Tillmann Eitelberg  CTP of oh22information services GmbH  Wir beide sind:     SQL Server MVP PASS Vorstand Regional Mentors for Germany SQL Information Services Advisory Board Members  Data Quality Maniacs 13.07.2013 |
  • 5. Agenda        Data Quality Services und EIM? Domain Values Reference Data Services SSIS DQS Cleansing MDS DQS Integration SSIS DQS Matching Domain Values – Part II 13.07.2013 |
  • 6. DQS – Data Quality Management für alle  Verbessern der Datenqualität mit DQS  Daten bereinigen und “sauber” halten  Vertrauen in Unternehmensdaten aufbauen  Verteilen der Verantwortung für DQ  Beseitigen von Hindernissen für DQ  Konzipiert für einfache Bedienung  Werkzeuge für Business User  Ergebnisse in Minuten statt Monaten sehen
  • 7. DQS – the MS approach Data Quality Services (DQS) is a Knowledge-Driven data quality solution enabling data stewards to easily improve the quality of their data.
  • 8. DQS – Wie funktionierts?
  • 9. DQS im EIM Kontext  Generieren von präzisen und zuverlässigen Daten  Bereitstellen von glaubwürdigen und konsistenten Daten mit einer End-to-End Datenintegration, Datenbereinigung und Data Management  Verwenden von SQL Server für alle EIM Umgebungen 13.07.2013 |
  • 10. SQL Information Services Portfolio  Building the tools for Enterprise Information Management Integration Services BizTalk Master Data Services Data Quality Services Data Explorer Big Data Azure Data Market Stream Insight Other IS Tools
  • 11. DQS und Microsoft (SQL Server 2012) MASTER DATA SERVICES DATA QUALITY SERVICES Knowledge-based Data Cleansing & Matching Standalone & SSIS Integrated Cleanse Manage Excel UI to Manage Data & Dimensions Rapid, Easy Data Loading Integrate INTEGRATION SERVICES Integrated Deployment & Management Improved Productivity & User Experience
  • 13. Domain Values  Ein „Regelwerk“ innerhalb einer Domain  Möglicher Status eines Wertes  Correct  Invalid  Error  Domainwerte werden manuell in DQS erfasst  Re-Import aus durchgeführten Projekten  Import aus Excel 13.07.2013 |
  • 15. Reference Data Service  Anbindung von DQ Services aus dem Azure Marketplace  Bisher (leider nur) 13 Services  die meisten davon stehen in unserem „Markt“ nicht zur Verfügung  Anbieter u.a. MelissaData, Loqate oder D&B  Trial-Version von MelissaData mit USA und Canada-Daten  Data Quality Services-API kann auch in eigene Anwendungen implementiert werden 13.07.2013 |
  • 17. Reference Data Service  Entwicklung von Custom RDS  REST Service  Ermöglicht u.a. Anbindung  eigener komplexer Prozesse  interne nicht öffentliche Daten  Prüfung gegen MDS  Schnittstelle leider nicht öffentlich 13.07.2013 |
  • 20. SSIS DQS Cleansing  Datenbereinigung innerhalb von SSIS  Regelwerke  Values  Rules  Reference Data Service  Detaillierte Ausgabe eines Status-Wertes pro Spalte/Domain  Status-Wert für einen gesamten Record  Anreicherung mit externen Daten 13.07.2013 |
  • 23. DQS Matching  Verschiedene Matching Regeln pro Matching Policy  DQS verwendet den Trigram Algorithm  Algorithmus ist Sprachunabhängig  Spracheinstellungen innerhalb der Domain beziehen nur auf die Rechtschreibkorrektur 13.07.2013 |
  • 24. DQS Matching  Eine Regel alleine für nicht zum Ziel  Aufbau der Matching Policies über Beispiel Daten  klassische Fehler  Sonderfälle/„fehlerhafte“ Dubletten  100% Trefferquote ist kaum möglich  Aber: Overkill und Underkill sollte vermieden werden 13.07.2013 |
  • 29. MDS DQS Integration  DQS Matching kann in das MDS Excel Addin integriert werden  Aktivierung über den Master Data Services Configuration Manager  Matching kann auf bestehende Matching Policies aufsetzen  Einfache Matching Policies können direkt über MDS erstellt werden 13.07.2013 |
  • 31. SSIS DQS Matching  #1 Anfrage der MS DQS Kunden  Open Source Projekt auf Codeplex  Greift auf die bisher unveröffentlichte DQS API zu  Dublettensuche mit DQS Matching Policies direkt im Datenfluss  Ausgabe der Matched und Unmatched Daten 13.07.2013 |
  • 33. Domain Values Part II  Import über Excel schnell und einfach  Aber bisher kein wirklicher Closed Loop  EIM  Häufige Anfrage: Wie kann ich MDS Entitäten in DQS verwenden  Neues Projekt bei Codeplex:  DQS Domain Value Destination  Publish DQS Knowledge Base Task 13.07.2013 |
  • 34. Domain Values Part II DEMO 13.07.2013 |
  • 35. Unsere „You Rock! “ Sponsoren 13.07.2013 |
  • 36. Vielen Dank an all unsere Sponsoren! Gold Silber Bronze 13.07.2013 |
  • 38. Hands-on event: PASS Camp 2013! 13.07.2013 |