MT AG Data Vault Generator

500 Aufrufe

Veröffentlicht am

The use of Data Vault Generator. Why and how?

Veröffentlicht in: Daten & Analysen
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
500
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
20
Aktionen
Geteilt
0
Downloads
3
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • Passender Name für den 5ten Punkt?
  • Zu Presales-offensiv – hat bei Otto recht viel Zeit eingenommen. Hohe Deckung mit der nachfolgenden Folie. Ggf. für eine der beiden Folien entscheiden.
  • Zu Presales-offensiv – hat bei Otto recht viel Zeit eingenommen. Hohe Deckung mit der vorherigen Folie. Ggf. für eine der beiden Folien entscheiden.
  • Raw Vault : eher mechanisiertes DM ->

    Durch Einsparung bei Raw Vault Erstellung, mehr Zeit übrig für händisches Anlegen der Business Vault
  • Multi-ETL:
    ETL Werkzeuge (XML Instanziierung, API Calls, Parametrisierung)
    Skript-Verfahren (BTEQ Skript Instanziierung)
    Existierende Kunden-Frameworks (zB Metadatengetrieben)
    Generierungsregeln anpassbar: Krit Bildung Hub/Link/Satellite. Ausgestaltung: DTS, TS, Valid_from, valid_to
  • Oracle reingenommen – ok?
    Regeln erklären
    Wonach erzeugen wir es denn, Linstedt/Hultgren?
    Regeln zur Ableitung zur Raw Vault in SQL implementiert und dadurch flexibel.
    Reeingeneren Von Metadaten aus quelle.
    Regeln an Ihre Situation anpassbar.
    Generietes Modell kann individuell angepasst werdne.
    - Wichtig: dies ist unsere Ist-Implementierung. Diese kann flexibel auf a) andere Technologien b) Metadatenumgebungen & Frameworks angepasst werden
    Aktuell ETL – Wir können aber beides. ETL und ELT.
  • Hier betonen dass die nachfolgenden Punkte umgesetzt werden KÖNNEN. Nicht dass der Eindruck erwähnt wird, dass es diese Sachen bereits gibt.
  • ToDO: Metadatenschnittstelle in Grafik optimaler aufnehmen

    Zweiter Pfad bei ETL-Mappings
    Neben Talend Mappings auch noch ein Zweig zu BTEQ SQL / Otto Framework.

    Schnittstelle zu Otto-Framework
    Wir kennen es nicht, haben verstanden dass es metadtengesteuert ist. Würden das meta format aufgreifen und befüllen.

    Für Talend anderes Vorgehen
    Erste Schritte in Talend unternommen. Ein Beispiel was wir gemacht haben als Screenshot. Erfahrungen mit Talend gesammelt, aber aus lizenzgründen gegen Talend und für Pentaho.
    Wie wir das mit Tlaend machen wissen wir aber.

    Was ist denn wenn die Metadaten fehlen – ähnlich wie es teilweise bei den Quellsystemen der Otto Group der Fall ist. Mal da, mal nicht.
    Denkbar ist der Einsatz einer Metadatenschnittstelle, wo händisch eingepflegt werden können. Näheres auf der nächsten Folie
    Metadatenschnittstelle soll am Ende kommen.,

    Statt Meta in Framework-Tabelle
    Schreiben -> Framework ansprechen
  • Metadaten wie Tab/Atr Definitionen und PKs/FKs absolut obligatorisch.
    Was wenn nicht vorhanden?

    PowerDesigner: Modell Metadaten exportieren und vom Data Vault Generator einlesen und in das eigene Metadatenmodell aufnehmen lassen.

    Valider Ansatz, PKs einzufügen?
    Meta-Änderungen = Anpassung PK/FK bestehender Metadaten (wenn aus Quelle ausgelesen) um das Modell zu ändern bei der Generierung => Hub ja/nein
  • Im MDM sind die Metadaten der initialen Generierung
    Generator zieht Metadaten der Quelle ab
    Änderung wird erkannt: Drei neue Spalten an Tabelle hinzugekommen
    Generator schlägt vor: Neuen Satellite mit diesen Spalten anlegen
    SQL ausgeben für manuelles Deployment
    Änderungen direkt vom Generator ausführen und das MDM aktualisieren
    Neue Mappings entsprechend der Änderung anlegen

    Vorausgesetzt man hat Metadaten in der Quelle. Aber natürlich auch händisches Einfügen möglich.
  • MT AG Data Vault Generator

    1. 1. MT AG Data Vault Generator 3. Tagung der DDVUG Lutz Bauer, Jürgen Günter Hamburg, 30.09.2015
    2. 2.  Vorstellung MT AG  Motivation für den MT AG Data Vault Generator  Architektur  Live Demo  Erweiterung des Generators 2 Agenda MT AG Data Vault Generator@DDVUG
    3. 3. Im Überblick Technologie-orientiert Branchen-unabhängig Hauptsitz Ratingen 240 Beschäftigte Gründungsjahr 1994 Niederlassung Frankfurt am Main Ausbildungs- betrieb Inhabergeführte Aktiengesellschaft Zertifizierter Partner von Oracle Microsoft und SAP MT AG Data Vault Generator@DDVUG 3
    4. 4. BUSINESS INTELLIGENCE SOLUTIONS SOCIAL BUSINESS SOLUTIONS MOBILE SOLUTIONS APPLICATION DEVELOPMENT INTEGRATION SERVICES IT SYSTEM SERVICES DATA INTEGRATION SELF SERVICE BI MOBILE BI COLLABORATION SEARCH SOCIAL APPS ABLÄUFE LOKALISIERUNG APEX / ADF JAVA .NET STRATEGIE ARCHITEKTUR SAP HANA MANAGED SERVICES BETRIEB MIGRATION 4 UNSER PORTFOLIO MT AG Data Vault Generator@DDVUG
    5. 5. 5 Themenschwerpunkte / Technologien BI / DWH @ MT AG Agile BI MT AG Data Vault Generator@DDVUG
    6. 6. Data Vault Generator Motivation
    7. 7.  Aufwandsreduzierung Entwicklung  Steigerung Umsetzungsgeschwindigkeit (-> Agile BI)  Standardisierung -> Qualität / Aufwand Testing  Raw Vault legt Generierung Data Model & ETL nahe MT AG Data Vault Generator@DDVUG 7 Motivation für den MT AG Generator für Raw Vault
    8. 8. MT AG Data Vault Generator@DDVUG 8 Designziele für den DV Generator Flexibilität Anpassbare Generierungsregeln Raw Vault Individualisierung Raw Vault Datenmodell Flexible Code-Generierung ETL Plattform- Unabhängigkeit Multi-DB Multi-ETL/ELT Java GUI Ermöglicht durch Metadaten-getriebene Architektur
    9. 9. Data Vault Generator Architektur
    10. 10. Data Vault Generator – Referenzarchitektur
    11. 11. Data Vault Generator LIVE DEMO
    12. 12. MT AG Data Vault Generator@DDVUG 12 Festlegung Namenskonventionen. Generierung Data Vault Datenmodell. Start Wizards. Demo
    13. 13. MT AG Data Vault Generator@DDVUG 13 Individualisierung Hubs Demo
    14. 14. MT AG Data Vault Generator@DDVUG 14 Individualisierung Satelites Demo
    15. 15. MT AG Data Vault Generator@DDVUG 15 Überblick der erzeugten Raw Vault Objekte Demo
    16. 16. Data Vault Generator Erweiterung 16
    17. 17. MT AG Data Vault Generator@DDVUG 17 Data Vault Generator – Zukünftige Architektur
    18. 18.  Metadaten-Anreicherung per SQL:  PK/FK per SQL in das MDM einfügen  PK/FK in Excel & Import vom Generator MT AG Data Vault Generator@DDVUG 18 Drei Alternativen für fehlende Metadaten Metadatenschnittstelle  Metadaten-Funktion im DV-Generator  PKs/FKs einpflegen  Tabelle u. Spaltenauswahl per Drop-Down Auswahl  PowerDesigner Metadaten-Export:  Einlesen vom Generator  Befüllung des MDM
    19. 19. MT AG Data Vault Generator@DDVUG 19 Synchronisierung von Quellsystemänderungen Inkrementelle Erweiterbarkeit Raw Vault
    20. 20. Lutz Bauer Leiter Fachbereich Data Integration & DWH +49 (0) 2102 – 30961 - 521 lutz.bauer@mt-ag.com Jürgen Günter DWH Consultant +49 (0) 2102 – 30961 - 0 juergen.guenter@mt-ag.com MT AG Data Vault Generator@DDVUG 20

    ×