12-mal heruntergeladen
Hochgeladen vonMT AG
MT AG Data Vault Generator
Die MT AG präsentiert ihren Data Vault Generator auf der 3. Tagung der DDVUG, um die Aufwandsreduzierung und die Steigerung der Umsetzungsgeschwindigkeit in der Datenintegration zu zeigen. Der Generator ermöglicht eine flexible, plattformunabhängige und anpassbare Generierung von Datenmodellen sowie ETL-Prozessen und ist für verschiedene Branchen geeignet. Das Dokument enthält auch Informationen über die Architektur, zukünftige Erweiterungen und eine Live-Demo des Generators.
MT AG Data Vault Generator
- 1. MT AG Data Vault Generator 3.Tagung der DDVUG Lutz Bauer, Jürgen Günter Hamburg, 30.09.2015
- 2. Vorstellung MTAG Motivation für den MT AG Data Vault Generator Architektur Live Demo Erweiterung des Generators 2 Agenda MT AG Data Vault Generator@DDVUG
- 3. Im Überblick Technologie-orientiert Branchen-unabhängig Hauptsitz Ratingen 240 Beschäftigte Gründungsjahr 1994 Niederlassung Frankfurt amMain Ausbildungs- betrieb Inhabergeführte Aktiengesellschaft Zertifizierter Partner von Oracle Microsoft und SAP MT AG Data Vault Generator@DDVUG 3
- 4. BUSINESS INTELLIGENCE SOLUTIONS SOCIAL BUSINESS SOLUTIONS MOBILE SOLUTIONS APPLICATION DEVELOPMENT INTEGRATION SERVICES ITSYSTEM SERVICES DATA INTEGRATION SELF SERVICE BI MOBILE BI COLLABORATION SEARCH SOCIAL APPS ABLÄUFE LOKALISIERUNG APEX / ADF JAVA .NET STRATEGIE ARCHITEKTUR SAP HANA MANAGED SERVICES BETRIEB MIGRATION 4 UNSER PORTFOLIO MT AG Data Vault Generator@DDVUG
- 5. 5 Themenschwerpunkte / Technologien BI/ DWH @ MT AG Agile BI MT AG Data Vault Generator@DDVUG
- 6.
- 7. Aufwandsreduzierung Entwicklung Steigerung Umsetzungsgeschwindigkeit (-> Agile BI) Standardisierung -> Qualität / Aufwand Testing Raw Vault legt Generierung Data Model & ETL nahe MT AG Data Vault Generator@DDVUG 7 Motivation für den MT AG Generator für Raw Vault
- 8. MT AG DataVault Generator@DDVUG 8 Designziele für den DV Generator Flexibilität Anpassbare Generierungsregeln Raw Vault Individualisierung Raw Vault Datenmodell Flexible Code-Generierung ETL Plattform- Unabhängigkeit Multi-DB Multi-ETL/ELT Java GUI Ermöglicht durch Metadaten-getriebene Architektur
- 9.
- 10. Data Vault Generator– Referenzarchitektur
- 11.
- 12. MT AG DataVault Generator@DDVUG 12 Festlegung Namenskonventionen. Generierung Data Vault Datenmodell. Start Wizards. Demo
- 13. MT AG DataVault Generator@DDVUG 13 Individualisierung Hubs Demo
- 14. MT AG DataVault Generator@DDVUG 14 Individualisierung Satelites Demo
- 15. MT AG DataVault Generator@DDVUG 15 Überblick der erzeugten Raw Vault Objekte Demo
- 16.
- 17. MT AG DataVault Generator@DDVUG 17 Data Vault Generator – Zukünftige Architektur
- 18. Metadaten-Anreicherung perSQL: PK/FK per SQL in das MDM einfügen PK/FK in Excel & Import vom Generator MT AG Data Vault Generator@DDVUG 18 Drei Alternativen für fehlende Metadaten Metadatenschnittstelle Metadaten-Funktion im DV-Generator PKs/FKs einpflegen Tabelle u. Spaltenauswahl per Drop-Down Auswahl PowerDesigner Metadaten-Export: Einlesen vom Generator Befüllung des MDM
- 19. MT AG DataVault Generator@DDVUG 19 Synchronisierung von Quellsystemänderungen Inkrementelle Erweiterbarkeit Raw Vault
- 20. Lutz Bauer Leiter Fachbereich DataIntegration & DWH +49 (0) 2102 – 30961 - 521 lutz.bauer@mt-ag.com Jürgen Günter DWH Consultant +49 (0) 2102 – 30961 - 0 juergen.guenter@mt-ag.com MT AG Data Vault Generator@DDVUG 20
Hinweis der Redaktion
- #3 Passender Name für den 5ten Punkt?
- #5 Zu Presales-offensiv – hat bei Otto recht viel Zeit eingenommen. Hohe Deckung mit der nachfolgenden Folie. Ggf. für eine der beiden Folien entscheiden.
- #6 Zu Presales-offensiv – hat bei Otto recht viel Zeit eingenommen. Hohe Deckung mit der vorherigen Folie. Ggf. für eine der beiden Folien entscheiden.
- #8 Raw Vault : eher mechanisiertes DM -> Durch Einsparung bei Raw Vault Erstellung, mehr Zeit übrig für händisches Anlegen der Business Vault
- #9 Multi-ETL: ETL Werkzeuge (XML Instanziierung, API Calls, Parametrisierung) Skript-Verfahren (BTEQ Skript Instanziierung) Existierende Kunden-Frameworks (zB Metadatengetrieben) Generierungsregeln anpassbar: Krit Bildung Hub/Link/Satellite. Ausgestaltung: DTS, TS, Valid_from, valid_to
- #11 Oracle reingenommen – ok? Regeln erklären Wonach erzeugen wir es denn, Linstedt/Hultgren? Regeln zur Ableitung zur Raw Vault in SQL implementiert und dadurch flexibel. Reeingeneren Von Metadaten aus quelle. Regeln an Ihre Situation anpassbar. Generietes Modell kann individuell angepasst werdne. - Wichtig: dies ist unsere Ist-Implementierung. Diese kann flexibel auf a) andere Technologien b) Metadatenumgebungen & Frameworks angepasst werden Aktuell ETL – Wir können aber beides. ETL und ELT.
- #17 Hier betonen dass die nachfolgenden Punkte umgesetzt werden KÖNNEN. Nicht dass der Eindruck erwähnt wird, dass es diese Sachen bereits gibt.
- #18 ToDO: Metadatenschnittstelle in Grafik optimaler aufnehmen Zweiter Pfad bei ETL-Mappings Neben Talend Mappings auch noch ein Zweig zu BTEQ SQL / Otto Framework. Schnittstelle zu Otto-Framework Wir kennen es nicht, haben verstanden dass es metadtengesteuert ist. Würden das meta format aufgreifen und befüllen. Für Talend anderes Vorgehen Erste Schritte in Talend unternommen. Ein Beispiel was wir gemacht haben als Screenshot. Erfahrungen mit Talend gesammelt, aber aus lizenzgründen gegen Talend und für Pentaho. Wie wir das mit Tlaend machen wissen wir aber. Was ist denn wenn die Metadaten fehlen – ähnlich wie es teilweise bei den Quellsystemen der Otto Group der Fall ist. Mal da, mal nicht. Denkbar ist der Einsatz einer Metadatenschnittstelle, wo händisch eingepflegt werden können. Näheres auf der nächsten Folie Metadatenschnittstelle soll am Ende kommen., Statt Meta in Framework-Tabelle Schreiben -> Framework ansprechen
- #19 Metadaten wie Tab/Atr Definitionen und PKs/FKs absolut obligatorisch. Was wenn nicht vorhanden? PowerDesigner: Modell Metadaten exportieren und vom Data Vault Generator einlesen und in das eigene Metadatenmodell aufnehmen lassen. Valider Ansatz, PKs einzufügen? Meta-Änderungen = Anpassung PK/FK bestehender Metadaten (wenn aus Quelle ausgelesen) um das Modell zu ändern bei der Generierung => Hub ja/nein
- #20 Im MDM sind die Metadaten der initialen Generierung Generator zieht Metadaten der Quelle ab Änderung wird erkannt: Drei neue Spalten an Tabelle hinzugekommen Generator schlägt vor: Neuen Satellite mit diesen Spalten anlegen SQL ausgeben für manuelles Deployment Änderungen direkt vom Generator ausführen und das MDM aktualisieren Neue Mappings entsprechend der Änderung anlegen Vorausgesetzt man hat Metadaten in der Quelle. Aber natürlich auch händisches Einfügen möglich.