Data Analytics im Mittelstand - Enterprise-Technologie zum leistbaren Preis. Mag. Dr. Thomas Petrik, Martin Grund (Sphinx IT Consulting GmbH)

1. Dr. Thomas Petrik, Martin Grund
Data Analytics im Mittelstand
Enterprise-Technologie zum leistbaren Preis
Praxistage 2024

2. 2
Dr. Thomas Petrik
Sphinx IT Consulting GmbH
Head of Technology Consulting
High Performance Analytics
Database Architectures
Database Security

3. 3
Data Analytics – was ist das?

4. 4
Data Analytics
Daten sammeln
Daten speichern
Daten organisieren
Daten auswerten

5. 5
Genauer hingeschaut:
Die Säulen des Data Management

6. 6
Data Management / Analytics
Data
Architecture
Data
Security
Data
Governance
IKS
Systemarchitektur
Bereitstellung und
Datenflüsse
Historisierung und
Datenhaltung
Reporting Architektur
Organisation
(Data Governance
Board)
Business Glossar
Data Quality
Management
Berechtigungskonzept
physische und operative
Sicherheit
DSGVO Konformität
Kontrollprozesse
Technologie Organisation

7. 7
Was muss so ein System nun wirklich
können?

8. 8
Anforderungen von KMUs
Controlling
Vertrieb
Marketing
GF
Datascientists
Prozesse
Maschinen
Wer
ERP
Buchhaltung
Kassensysteme
SAP BW
Excel
externe Partner
IoT
Maschinendaten
Kundenströme
Saalbelegung
…
Was
Dashboards
Reports
Self Service BI
Datascience
Python, R
Machine Learning
AI
Wie
monatlich
täglich
ad hoc
7 x 24
Batch
Event getriggert
Wann
monatlich
täglich
ad hoc
7 x 24
Batch
Event getriggert

9. 9
Anforderungen an die Architektur
Near Realtime
hochperformant
ohne Tuning
7 x 24 tauglich
wartungsarm
skalierbar
Datenmenge & Kosten
Enterprise-Technologie
mit skalierbaren Kosten ohne Einbuße der Funktionalität

10. 10
Welche Technologie darf es sein?

11. 11
Bright Data Stack @Sphinx IT
Smarter Technologie-Stack
SQL >
R & Python
im Backend der DB
Auto-ELT Framework
Auto Documenter
Data + Security Governance
Glossary
MPP Technologie
Commodity HW
extrem wartungsarm

12. 12
Exasol: Hochperformant ohne Tuning
Minimaler Betriebsaufwand – linear skalierbar
Indizierung
Statistiken
Compression
Reorganisation
Partitionierung
Row-/Column format
Buffer Cache Tuning
Materialized Views
Datenverteilung
Backup
Workload
Management
Monitoring
SW-Appliance
einfaches Patching

13. 13
RED Framework: Metadata-driven
Auto-ELT – Low Code
Pipelines
Scheduler Jobs
Transformationsstrecken
Core Layer
Materialisierungen
Batch Windows
Historisierung
out of the box
Auto Tuning
maximale Parallelität
maximale Asynchronität
feingranulierte
Security
out of the box

14. 14
Schichtenmodell
TSA (Transient Staging Area)
PSA (Persistant Staging Area)
PSB (Persistant Stage Base)
APB1
(Application
Base)
APB2
SBX1
(Sandbox)
temporäre Durchgangsschicht
Load "as is"
"Daten Safe"
durchgängige Historisierung
volle Datenbreite
weitgehende Quellstruktur
technische Konsolidierungen (z.B. Datentypen)
relationaler "Datalake"
Basis für Data Science
einzige Schicht mit permanenter Persistierung
Quellen (DB, File, REST, …)
insert/select
only
ELT
via
Views
only
Metadata
Sandbox
"Spielwiese" für den Fachbereich
Adhoc Load
Entwicklung neuer Strukturen
Application Marts
"Die Sicht des Fachbereichs"
Views only
Star, 3NF, Flat, …
Compatibility Layer (Views)
einfache fachliche Konsolidierungen
stabiles Interface f. FB und APBs
Zugriff für den Fachbereich
KPIs ist unmittelbar nach
Beladung der PSA abfragbar
Near Realtime Architektur
kein Core Modell

15. Dr. Thomas Petrik
E thomas.petrik@sphinx.at
M +43 664 155 8304
T +43 1 599 31- 0
Sphinx IT Consulting GmbH
Aspernbrückengasse 2
1020 Wien
www.sphinx.at