SlideShare ist ein Scribd-Unternehmen logo
Für Mensch& Umwelt
Projekt Data Cube
Neue Perspektiven auf unsere Umweltdaten
Peak of Data Integration am 06.09.2023
Michel Frerk
Fachgebiet I 1.5
Nationale und internationale Umweltberichterstattung
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 2
1. Vorstellung „Daten zur Umwelt“und
Kontext des Projektes
2. Vorstellung des Data Explorers und
des Zusammenspielsmit der UBA-
Webseite
3. Projektaufbauund Phasen
4. Datenintegrationmit FME
5. Ausblick
Gliederung
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 3
1. Hintergrund – Wo kommt das Projekt her
Daten zur Umwelt
www.umweltbundesamt.de/daten
> 300
Daten-Artikel
und Indikatoren
> 50
Fachgebiete aus
dem UBA liefern
Daten und Texte
Die Daten zur Umwelt
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 4
2. Vorstellung des Projektes „Data Cube – Daten zur Umwelt“
• Mit dem Data Cube wollen
wir mehr Daten an die
Oberfläche bringen.
• Dafür fehlte bisher eine
Infrastruktur
• Es geht nicht darum interne
Fachverfahren abzulösen
Die Spitze des Eisberges
Abbildung: Eigene Darstellung auf Basis von "iceberg icons Iceberg icons created by
Nueng_wana - Flaticon
Excel, CSV auf Server-
Laufwerken
Fachverfahren ohne
Schnittstelle nach
außen
Datenbanken die von
Forschungsnehmern für
das UBA betrieben
werden
Daten zur Umwelt /Daten auf
UBA Webseite
Fachspezifische Portale
und Angebote des UBA
Geodaten
Datenbanken
Sonstige Fachdaten
Zielsetzungund Vision
06.09.2023 5
Ziel
Ein leistungsfähiges Systems schaffen, um Umweltdaten effizient und flexibel zu verwalten, zu
analysieren und Open Data konform zur Verfügung zu stellen.
Teil- und vollautomatisierte Datenimporte aus
einer Vielzahl von Quellen
Tools für die individuelle Datenexploration
und -bereitstellung über Schnittstellen
Zeitnahe Veröffentlichung von Dashboards für
Umweltthemen von besonderer politischer
Relevanz
Aktueller
Flexibler
Effizienter
Forschungsvorhaben
(FKZ: 3720 12 1010)
Auftragnehmer: con terra
GmbH
Projektlaufzeit: 2021 - 2023
2. Vorstellung des Projektes „Data Cube – Daten zur Umwelt“
/Projekt Data Cube – Daten zur Umwelt
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 6
Die Suchmaske
Vorstellung:Data Explorer des Data Cubes
Hinweis: Interne Testumgebung, entspricht noch nicht dem finalen Corporate Design
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 7
Suchergebnisse
Vorstellung:Data Explorer des Data Cubes
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 8
Ansichteines Dataflows:Filtern,Drill down, herunterladen,API
Zugriff,visualisieren
LIVE-DEMO - Vorstellung der Grundfunktionalitäten
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 9
Datenvisualisierungim Data Explorer
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 10
Vom Data Cube zur Datenvisualisierung
Data Explorer
• Erkunden
• Herunterladen
• Teilen
• Visualisieren
Highcharts (Easychart
Editor
• Komplexe
Datenvisualisierung
• Dashboards
UBA Webseite
• Einbindungvon Tabellen
und Diagrammen in
Artikel,
Pressemitteilungen etc.
Weitere Portale
• Umwelt.info
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 11
Wie werdendie Daten in die UBA Webseiteintegriert?
Daten können als interaktive Tabellen oder Diagramme im Data Explorer vorkonfiguriert
werden und an verschiedenen Stellen in die UBA-Webseite eingebunden werden.
Phasen im Projekt
06.09.2023 / Projekt „Data Cube – Daten zur Umwelt“ 12
Anforderungs
-analyse Konzeption
Entwicklung u.
Daten-
integration
Inbetriebnahme
Entwicklung der
Schnittstellen zu
weiteren
Datenprojekten im
UBA
2021 2022 2024
2023
• Anforderungsanalyse (Bedarfserhebung mit verschiedenen Stakeholdern)
• Konzeption und Auswahl der technischen Komponenten auf der Grundlage der
Anforderungsanalyse
• Initiale Datenintegration verschiedener Datenquellen und Entwicklung
• Entwicklung der Schnittstellen zum Metadatenkatalog des UBA und zu umwelt.info
Auswahl der technischenGrundlage:Kern die .Stat Suite
06.09.2023 / Projekt „Data Cube – Daten zur Umwelt“ 13
Um welche Daten geht es?
Der Data Cube enthält (nur eine Teilmenge der Daten):
• Zeitreihen(statistische Daten, die regelmäßigfortgeschrieben
werden)
• mit Relevanz für die Umwelt
• Keine Geodaten,keine Forschungsdaten, keine Publikationen
Warum wir uns u.a. für .Stat Suite entschieden haben?
• Deckt viele Anforderungen ab – aber nicht alle
• Open Source
• Breite Verbreitung (siehe unten)
• Basiert auf dem SDMX-Standard
• Breite Entwickler- Community
Wer nutzt das (SDMX und/oder die .Stat Suite)noch?
z.B. OECD, UN, Eurostat, World Bank, IMF
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 14
SDMX steht für Statistical Data and Metadata eXchange (ISO 17369 ) und ist:
• Informationsmodell zur Beschreibung von Daten und Metadaten
• Standard für die automatisierte Datenkommunikation
• Architektur und Toolkit für den Austausch von Daten und Metadaten
In SDMX gibt es eine Trennung zwischen
• Daten (enthält die eigentlichen Beobachtungen)
• Strukturinformationen
SDMX Datenlassen sich gut weiterverarbeiten
Der SDMX-Standard
R SDMX
Python R EViews Stata Java .net …
pandaSDMX
R SDMX
readSDMX
Eviews-
SDMX
sdmxuse
SDMX Java
Suite
SDMX.net …
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 15
Datenintegration:Wie kommen die Datenin den Data Cube?
ENDE
START
Auswahl der Datensätze
(heterogene Datenquellen)
Bestimmung der
Dimensionen
Modellierung /
Harmonisierung
Erstellung von Code-Listen
u. Strukturellen Metadaten
in einem Git-Repository
Bearbeitung des pull requests
durch das Projektteam
-> Erzeugung der SDMX
Dateien mit FME
Qualitätssicherung
pull request
Daten im Data Cube
verfügbar
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 16
SchematischerWorkflowbei der Datenintegration
FME als zentrales Tool für die Datenintegration im Data Cube
Darstellung: conterra
30.09.2023 /Projekt Data Cube – Daten zur Umwelt 17
Startenvon FME Workspaces aus VS Code
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 18
Effizientere und aktuellere Datenbereitstellung
❖ mehr Perspektiven auf unsere Daten für uns und Bürgerinnen und Bürger
❖ Aktuellere Daten und die Möglichkeit schneller auf politische Bedarfe zu reagieren
(Dashboards etc.)
❖ Effiziente Datenintegration mit FME.
Analysefähige und offene Daten
❖ Bessere Möglichkeiten zur Datenanalyse - für uns und andere
❖ offene/maschinenlesbare Daten
Daten werden international anschlussfähig
❖ UBA Daten werden international anschlussfähig
❖ Mehrsprachigkeit (Deutsch / Englisch)
Nächste Schritte nach Projektende :
❖ Pilotbetrieb (geplant Anfang 2024)
❖ Evaluation mit Nutzenden (geplant Mitte 2024)
❖ Regelbetrieb (geplant Ende 2024)
❖ Weiterentwicklung u. fortlaufende Datenintegration
Fazit und Ausblick
Vielen Dank für Ihre
Aufmerksamkeit
Michel Frerk
michel.frerk@uba.de
www.uba.de/daten
Welche Datensollen in den Data Cube aufgenommenwerden?
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 20
Der Data Cube enthält:
• Zeitreihen (statistische Daten, die regelmäßig fortgeschrieben werden)
• mit Relevanz für die Umwelt
Architekturder .Stat Suite
06.09.2023 / Projekt „Data Cube – Daten zur Umwelt“ 21
Quelle: .Stat Suite Documentation
06.09.2023 /Projekt Data Cube – Daten zur Umwelt 22
3. Was ist ein Data Cube?
In einem Data Cube werden die Daten als Elemente eines mehrdimensionalen
Datenwürfels angeordnet. Die Dimensionen des Würfels beschreiben die Daten und
ermöglichen vielfältige Analysen.
Was ist ein Data Cube und wie funktionierter? (1)
Beispiel: Data Cube für THG-Emissionen (auf 3 Dimensionen vereinfacht)
❖ Der UBA-Data Cubewird
viele weitere
Dimensionen enthalten
❖ Nur ein Teil aller
Dimensionen ist für
jeden „Datensatz“ mit
Daten besetzt
Quelle: eigene Darstellung

Weitere ähnliche Inhalte

Ähnlich wie UBA Data Cube

Linked Open Data Pilotprojekt Österreich - LOD Pilot AT
Linked Open Data Pilotprojekt Österreich - LOD Pilot ATLinked Open Data Pilotprojekt Österreich - LOD Pilot AT
Linked Open Data Pilotprojekt Österreich - LOD Pilot AT
Martin Kaltenböck
 
Einführung Linked Open Data (LOD) - Introduction to Linked Open Data (LOD)
Einführung Linked Open Data (LOD) - Introduction to Linked Open Data (LOD)Einführung Linked Open Data (LOD) - Introduction to Linked Open Data (LOD)
Einführung Linked Open Data (LOD) - Introduction to Linked Open Data (LOD)
Martin Kaltenböck
 
Christoph Mertens_IDSA_Introduction to Data Spaces.pptx
Christoph Mertens_IDSA_Introduction to Data Spaces.pptxChristoph Mertens_IDSA_Introduction to Data Spaces.pptx
Christoph Mertens_IDSA_Introduction to Data Spaces.pptx
FIWARE
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
BATbern
 
TFF2023 - Navigating Tourism Data Nexus
TFF2023 - Navigating Tourism Data NexusTFF2023 - Navigating Tourism Data Nexus
TFF2023 - Navigating Tourism Data Nexus
TourismFastForward
 
eGovernment Konferenz 2013,Österreich - Workshop: Grundlagen und Mehrwerte vo...
eGovernment Konferenz 2013,Österreich - Workshop: Grundlagen und Mehrwerte vo...eGovernment Konferenz 2013,Österreich - Workshop: Grundlagen und Mehrwerte vo...
eGovernment Konferenz 2013,Österreich - Workshop: Grundlagen und Mehrwerte vo...
Martin Kaltenböck
 
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Matthias Stürmer
 
Offenes kollaboratives Schreiben: Eine „Open Science“-Infrastruktur am Beispi...
Offenes kollaboratives Schreiben: Eine „Open Science“-Infrastruktur am Beispi...Offenes kollaboratives Schreiben: Eine „Open Science“-Infrastruktur am Beispi...
Offenes kollaboratives Schreiben: Eine „Open Science“-Infrastruktur am Beispi...
GESIS
 
Data Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtData Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedacht
IBsolution GmbH
 
ODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a ServiceODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a Service
Danube University Krems, Centre for E-Governance
 
Data Governance & Open Data
Data Governance & Open DataData Governance & Open Data
Data Governance & Open Data
Stadt Wien
 
Uni bern datenpolitik_20160303
Uni bern datenpolitik_20160303Uni bern datenpolitik_20160303
Uni bern datenpolitik_20160303
Andre Golliez
 
daten.berlin.de
daten.berlin.dedaten.berlin.de
daten.berlin.de
Knud Möller
 
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
luna-park GmbH
 
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Fabian Hardt
 
Vienna od meet-up-20oct2016-tuwien
Vienna od meet-up-20oct2016-tuwienVienna od meet-up-20oct2016-tuwien
Vienna od meet-up-20oct2016-tuwien
Open Data Portal Österreich
 
Linked Open Data Pilot Österreich - Beta Launch
Linked Open Data Pilot Österreich - Beta LaunchLinked Open Data Pilot Österreich - Beta Launch
Linked Open Data Pilot Österreich - Beta Launch
Martin Kaltenböck
 
“AT Internet Data Explorer Demo” von meinestadt.de
“AT Internet Data Explorer Demo” von meinestadt.de“AT Internet Data Explorer Demo” von meinestadt.de
“AT Internet Data Explorer Demo” von meinestadt.de
AT Internet
 
Medien & Verlage im Zusammenspiel mit Open (Government) Data
Medien & Verlage im Zusammenspiel mit Open (Government) DataMedien & Verlage im Zusammenspiel mit Open (Government) Data
Medien & Verlage im Zusammenspiel mit Open (Government) Data
Martin Kaltenböck
 
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
FIWARE
 

Ähnlich wie UBA Data Cube (20)

Linked Open Data Pilotprojekt Österreich - LOD Pilot AT
Linked Open Data Pilotprojekt Österreich - LOD Pilot ATLinked Open Data Pilotprojekt Österreich - LOD Pilot AT
Linked Open Data Pilotprojekt Österreich - LOD Pilot AT
 
Einführung Linked Open Data (LOD) - Introduction to Linked Open Data (LOD)
Einführung Linked Open Data (LOD) - Introduction to Linked Open Data (LOD)Einführung Linked Open Data (LOD) - Introduction to Linked Open Data (LOD)
Einführung Linked Open Data (LOD) - Introduction to Linked Open Data (LOD)
 
Christoph Mertens_IDSA_Introduction to Data Spaces.pptx
Christoph Mertens_IDSA_Introduction to Data Spaces.pptxChristoph Mertens_IDSA_Introduction to Data Spaces.pptx
Christoph Mertens_IDSA_Introduction to Data Spaces.pptx
 
BATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und KnacknüsseBATbern52 SBB zu Data Products und Knacknüsse
BATbern52 SBB zu Data Products und Knacknüsse
 
TFF2023 - Navigating Tourism Data Nexus
TFF2023 - Navigating Tourism Data NexusTFF2023 - Navigating Tourism Data Nexus
TFF2023 - Navigating Tourism Data Nexus
 
eGovernment Konferenz 2013,Österreich - Workshop: Grundlagen und Mehrwerte vo...
eGovernment Konferenz 2013,Österreich - Workshop: Grundlagen und Mehrwerte vo...eGovernment Konferenz 2013,Österreich - Workshop: Grundlagen und Mehrwerte vo...
eGovernment Konferenz 2013,Österreich - Workshop: Grundlagen und Mehrwerte vo...
 
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
 
Offenes kollaboratives Schreiben: Eine „Open Science“-Infrastruktur am Beispi...
Offenes kollaboratives Schreiben: Eine „Open Science“-Infrastruktur am Beispi...Offenes kollaboratives Schreiben: Eine „Open Science“-Infrastruktur am Beispi...
Offenes kollaboratives Schreiben: Eine „Open Science“-Infrastruktur am Beispi...
 
Data Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtData Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedacht
 
ODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a ServiceODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a Service
 
Data Governance & Open Data
Data Governance & Open DataData Governance & Open Data
Data Governance & Open Data
 
Uni bern datenpolitik_20160303
Uni bern datenpolitik_20160303Uni bern datenpolitik_20160303
Uni bern datenpolitik_20160303
 
daten.berlin.de
daten.berlin.dedaten.berlin.de
daten.berlin.de
 
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
 
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
 
Vienna od meet-up-20oct2016-tuwien
Vienna od meet-up-20oct2016-tuwienVienna od meet-up-20oct2016-tuwien
Vienna od meet-up-20oct2016-tuwien
 
Linked Open Data Pilot Österreich - Beta Launch
Linked Open Data Pilot Österreich - Beta LaunchLinked Open Data Pilot Österreich - Beta Launch
Linked Open Data Pilot Österreich - Beta Launch
 
“AT Internet Data Explorer Demo” von meinestadt.de
“AT Internet Data Explorer Demo” von meinestadt.de“AT Internet Data Explorer Demo” von meinestadt.de
“AT Internet Data Explorer Demo” von meinestadt.de
 
Medien & Verlage im Zusammenspiel mit Open (Government) Data
Medien & Verlage im Zusammenspiel mit Open (Government) DataMedien & Verlage im Zusammenspiel mit Open (Government) Data
Medien & Verlage im Zusammenspiel mit Open (Government) Data
 
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
 

Mehr von Safe Software

Data Integration Basics: Merging & Joining Data
Data Integration Basics: Merging & Joining DataData Integration Basics: Merging & Joining Data
Data Integration Basics: Merging & Joining Data
Safe Software
 
Coordinate Systems in FME 101 - Webinar Slides
Coordinate Systems in FME 101 - Webinar SlidesCoordinate Systems in FME 101 - Webinar Slides
Coordinate Systems in FME 101 - Webinar Slides
Safe Software
 
An Introduction to All Data Enterprise Integration
An Introduction to All Data Enterprise IntegrationAn Introduction to All Data Enterprise Integration
An Introduction to All Data Enterprise Integration
Safe Software
 
Essentials of Automations: Exploring Attributes & Automation Parameters
Essentials of Automations: Exploring Attributes & Automation ParametersEssentials of Automations: Exploring Attributes & Automation Parameters
Essentials of Automations: Exploring Attributes & Automation Parameters
Safe Software
 
Driving Business Innovation: Latest Generative AI Advancements & Success Story
Driving Business Innovation: Latest Generative AI Advancements & Success StoryDriving Business Innovation: Latest Generative AI Advancements & Success Story
Driving Business Innovation: Latest Generative AI Advancements & Success Story
Safe Software
 
Essentials of Automations: The Art of Triggers and Actions in FME
Essentials of Automations: The Art of Triggers and Actions in FMEEssentials of Automations: The Art of Triggers and Actions in FME
Essentials of Automations: The Art of Triggers and Actions in FME
Safe Software
 
Essentials of Automations: The Art of Triggers and Actions in FME
Essentials of Automations: The Art of Triggers and Actions in FMEEssentials of Automations: The Art of Triggers and Actions in FME
Essentials of Automations: The Art of Triggers and Actions in FME
Safe Software
 
Essentials of Automations: Optimizing FME Workflows with Parameters
Essentials of Automations: Optimizing FME Workflows with ParametersEssentials of Automations: Optimizing FME Workflows with Parameters
Essentials of Automations: Optimizing FME Workflows with Parameters
Safe Software
 
The Zero-ETL Approach: Enhancing Data Agility and Insight
The Zero-ETL Approach: Enhancing Data Agility and InsightThe Zero-ETL Approach: Enhancing Data Agility and Insight
The Zero-ETL Approach: Enhancing Data Agility and Insight
Safe Software
 
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
Cloud Frontiers:  A Deep Dive into Serverless Spatial Data and FMECloud Frontiers:  A Deep Dive into Serverless Spatial Data and FME
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
Safe Software
 
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
Cloud Frontiers:  A Deep Dive into Serverless Spatial Data and FMECloud Frontiers:  A Deep Dive into Serverless Spatial Data and FME
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
Safe Software
 
From Event to Action: Accelerate Your Decision Making with Real-Time Automation
From Event to Action: Accelerate Your Decision Making with Real-Time AutomationFrom Event to Action: Accelerate Your Decision Making with Real-Time Automation
From Event to Action: Accelerate Your Decision Making with Real-Time Automation
Safe Software
 
From Event to Action: Accelerate Your Decision Making with Real-Time Automation
From Event to Action:  Accelerate Your Decision Making with Real-Time AutomationFrom Event to Action:  Accelerate Your Decision Making with Real-Time Automation
From Event to Action: Accelerate Your Decision Making with Real-Time Automation
Safe Software
 
Beyond Boundaries: Leveraging No-Code Solutions for Industry Innovation
Beyond Boundaries: Leveraging No-Code Solutions for Industry InnovationBeyond Boundaries: Leveraging No-Code Solutions for Industry Innovation
Beyond Boundaries: Leveraging No-Code Solutions for Industry Innovation
Safe Software
 
Powering Real-Time Decisions with Continuous Data Streams
Powering Real-Time Decisions with Continuous Data StreamsPowering Real-Time Decisions with Continuous Data Streams
Powering Real-Time Decisions with Continuous Data Streams
Safe Software
 
The Critical Role of Spatial Data in Today's Data Ecosystem
The Critical Role of Spatial Data in Today's Data EcosystemThe Critical Role of Spatial Data in Today's Data Ecosystem
The Critical Role of Spatial Data in Today's Data Ecosystem
Safe Software
 
Cloud Revolution: Exploring the New Wave of Serverless Spatial Data
Cloud Revolution: Exploring the New Wave of Serverless Spatial DataCloud Revolution: Exploring the New Wave of Serverless Spatial Data
Cloud Revolution: Exploring the New Wave of Serverless Spatial Data
Safe Software
 
Igniting Next Level Productivity with AI-Infused Data Integration Workflows
Igniting Next Level Productivity with AI-Infused Data Integration WorkflowsIgniting Next Level Productivity with AI-Infused Data Integration Workflows
Igniting Next Level Productivity with AI-Infused Data Integration Workflows
Safe Software
 
The Zero-ETL Approach: Enhancing Data Agility and Insight
The Zero-ETL Approach: Enhancing Data Agility and InsightThe Zero-ETL Approach: Enhancing Data Agility and Insight
The Zero-ETL Approach: Enhancing Data Agility and Insight
Safe Software
 
Mastering MicroStation DGN: How to Integrate CAD and GIS
Mastering MicroStation DGN: How to Integrate CAD and GISMastering MicroStation DGN: How to Integrate CAD and GIS
Mastering MicroStation DGN: How to Integrate CAD and GIS
Safe Software
 

Mehr von Safe Software (20)

Data Integration Basics: Merging & Joining Data
Data Integration Basics: Merging & Joining DataData Integration Basics: Merging & Joining Data
Data Integration Basics: Merging & Joining Data
 
Coordinate Systems in FME 101 - Webinar Slides
Coordinate Systems in FME 101 - Webinar SlidesCoordinate Systems in FME 101 - Webinar Slides
Coordinate Systems in FME 101 - Webinar Slides
 
An Introduction to All Data Enterprise Integration
An Introduction to All Data Enterprise IntegrationAn Introduction to All Data Enterprise Integration
An Introduction to All Data Enterprise Integration
 
Essentials of Automations: Exploring Attributes & Automation Parameters
Essentials of Automations: Exploring Attributes & Automation ParametersEssentials of Automations: Exploring Attributes & Automation Parameters
Essentials of Automations: Exploring Attributes & Automation Parameters
 
Driving Business Innovation: Latest Generative AI Advancements & Success Story
Driving Business Innovation: Latest Generative AI Advancements & Success StoryDriving Business Innovation: Latest Generative AI Advancements & Success Story
Driving Business Innovation: Latest Generative AI Advancements & Success Story
 
Essentials of Automations: The Art of Triggers and Actions in FME
Essentials of Automations: The Art of Triggers and Actions in FMEEssentials of Automations: The Art of Triggers and Actions in FME
Essentials of Automations: The Art of Triggers and Actions in FME
 
Essentials of Automations: The Art of Triggers and Actions in FME
Essentials of Automations: The Art of Triggers and Actions in FMEEssentials of Automations: The Art of Triggers and Actions in FME
Essentials of Automations: The Art of Triggers and Actions in FME
 
Essentials of Automations: Optimizing FME Workflows with Parameters
Essentials of Automations: Optimizing FME Workflows with ParametersEssentials of Automations: Optimizing FME Workflows with Parameters
Essentials of Automations: Optimizing FME Workflows with Parameters
 
The Zero-ETL Approach: Enhancing Data Agility and Insight
The Zero-ETL Approach: Enhancing Data Agility and InsightThe Zero-ETL Approach: Enhancing Data Agility and Insight
The Zero-ETL Approach: Enhancing Data Agility and Insight
 
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
Cloud Frontiers:  A Deep Dive into Serverless Spatial Data and FMECloud Frontiers:  A Deep Dive into Serverless Spatial Data and FME
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
 
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
Cloud Frontiers:  A Deep Dive into Serverless Spatial Data and FMECloud Frontiers:  A Deep Dive into Serverless Spatial Data and FME
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
 
From Event to Action: Accelerate Your Decision Making with Real-Time Automation
From Event to Action: Accelerate Your Decision Making with Real-Time AutomationFrom Event to Action: Accelerate Your Decision Making with Real-Time Automation
From Event to Action: Accelerate Your Decision Making with Real-Time Automation
 
From Event to Action: Accelerate Your Decision Making with Real-Time Automation
From Event to Action:  Accelerate Your Decision Making with Real-Time AutomationFrom Event to Action:  Accelerate Your Decision Making with Real-Time Automation
From Event to Action: Accelerate Your Decision Making with Real-Time Automation
 
Beyond Boundaries: Leveraging No-Code Solutions for Industry Innovation
Beyond Boundaries: Leveraging No-Code Solutions for Industry InnovationBeyond Boundaries: Leveraging No-Code Solutions for Industry Innovation
Beyond Boundaries: Leveraging No-Code Solutions for Industry Innovation
 
Powering Real-Time Decisions with Continuous Data Streams
Powering Real-Time Decisions with Continuous Data StreamsPowering Real-Time Decisions with Continuous Data Streams
Powering Real-Time Decisions with Continuous Data Streams
 
The Critical Role of Spatial Data in Today's Data Ecosystem
The Critical Role of Spatial Data in Today's Data EcosystemThe Critical Role of Spatial Data in Today's Data Ecosystem
The Critical Role of Spatial Data in Today's Data Ecosystem
 
Cloud Revolution: Exploring the New Wave of Serverless Spatial Data
Cloud Revolution: Exploring the New Wave of Serverless Spatial DataCloud Revolution: Exploring the New Wave of Serverless Spatial Data
Cloud Revolution: Exploring the New Wave of Serverless Spatial Data
 
Igniting Next Level Productivity with AI-Infused Data Integration Workflows
Igniting Next Level Productivity with AI-Infused Data Integration WorkflowsIgniting Next Level Productivity with AI-Infused Data Integration Workflows
Igniting Next Level Productivity with AI-Infused Data Integration Workflows
 
The Zero-ETL Approach: Enhancing Data Agility and Insight
The Zero-ETL Approach: Enhancing Data Agility and InsightThe Zero-ETL Approach: Enhancing Data Agility and Insight
The Zero-ETL Approach: Enhancing Data Agility and Insight
 
Mastering MicroStation DGN: How to Integrate CAD and GIS
Mastering MicroStation DGN: How to Integrate CAD and GISMastering MicroStation DGN: How to Integrate CAD and GIS
Mastering MicroStation DGN: How to Integrate CAD and GIS
 

UBA Data Cube

  • 1. Für Mensch& Umwelt Projekt Data Cube Neue Perspektiven auf unsere Umweltdaten Peak of Data Integration am 06.09.2023 Michel Frerk Fachgebiet I 1.5 Nationale und internationale Umweltberichterstattung
  • 2. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 2 1. Vorstellung „Daten zur Umwelt“und Kontext des Projektes 2. Vorstellung des Data Explorers und des Zusammenspielsmit der UBA- Webseite 3. Projektaufbauund Phasen 4. Datenintegrationmit FME 5. Ausblick Gliederung
  • 3. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 3 1. Hintergrund – Wo kommt das Projekt her Daten zur Umwelt www.umweltbundesamt.de/daten > 300 Daten-Artikel und Indikatoren > 50 Fachgebiete aus dem UBA liefern Daten und Texte Die Daten zur Umwelt
  • 4. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 4 2. Vorstellung des Projektes „Data Cube – Daten zur Umwelt“ • Mit dem Data Cube wollen wir mehr Daten an die Oberfläche bringen. • Dafür fehlte bisher eine Infrastruktur • Es geht nicht darum interne Fachverfahren abzulösen Die Spitze des Eisberges Abbildung: Eigene Darstellung auf Basis von "iceberg icons Iceberg icons created by Nueng_wana - Flaticon Excel, CSV auf Server- Laufwerken Fachverfahren ohne Schnittstelle nach außen Datenbanken die von Forschungsnehmern für das UBA betrieben werden Daten zur Umwelt /Daten auf UBA Webseite Fachspezifische Portale und Angebote des UBA Geodaten Datenbanken Sonstige Fachdaten
  • 5. Zielsetzungund Vision 06.09.2023 5 Ziel Ein leistungsfähiges Systems schaffen, um Umweltdaten effizient und flexibel zu verwalten, zu analysieren und Open Data konform zur Verfügung zu stellen. Teil- und vollautomatisierte Datenimporte aus einer Vielzahl von Quellen Tools für die individuelle Datenexploration und -bereitstellung über Schnittstellen Zeitnahe Veröffentlichung von Dashboards für Umweltthemen von besonderer politischer Relevanz Aktueller Flexibler Effizienter Forschungsvorhaben (FKZ: 3720 12 1010) Auftragnehmer: con terra GmbH Projektlaufzeit: 2021 - 2023 2. Vorstellung des Projektes „Data Cube – Daten zur Umwelt“ /Projekt Data Cube – Daten zur Umwelt
  • 6. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 6 Die Suchmaske Vorstellung:Data Explorer des Data Cubes Hinweis: Interne Testumgebung, entspricht noch nicht dem finalen Corporate Design
  • 7. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 7 Suchergebnisse Vorstellung:Data Explorer des Data Cubes
  • 8. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 8 Ansichteines Dataflows:Filtern,Drill down, herunterladen,API Zugriff,visualisieren LIVE-DEMO - Vorstellung der Grundfunktionalitäten
  • 9. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 9 Datenvisualisierungim Data Explorer
  • 10. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 10 Vom Data Cube zur Datenvisualisierung Data Explorer • Erkunden • Herunterladen • Teilen • Visualisieren Highcharts (Easychart Editor • Komplexe Datenvisualisierung • Dashboards UBA Webseite • Einbindungvon Tabellen und Diagrammen in Artikel, Pressemitteilungen etc. Weitere Portale • Umwelt.info
  • 11. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 11 Wie werdendie Daten in die UBA Webseiteintegriert? Daten können als interaktive Tabellen oder Diagramme im Data Explorer vorkonfiguriert werden und an verschiedenen Stellen in die UBA-Webseite eingebunden werden.
  • 12. Phasen im Projekt 06.09.2023 / Projekt „Data Cube – Daten zur Umwelt“ 12 Anforderungs -analyse Konzeption Entwicklung u. Daten- integration Inbetriebnahme Entwicklung der Schnittstellen zu weiteren Datenprojekten im UBA 2021 2022 2024 2023 • Anforderungsanalyse (Bedarfserhebung mit verschiedenen Stakeholdern) • Konzeption und Auswahl der technischen Komponenten auf der Grundlage der Anforderungsanalyse • Initiale Datenintegration verschiedener Datenquellen und Entwicklung • Entwicklung der Schnittstellen zum Metadatenkatalog des UBA und zu umwelt.info
  • 13. Auswahl der technischenGrundlage:Kern die .Stat Suite 06.09.2023 / Projekt „Data Cube – Daten zur Umwelt“ 13 Um welche Daten geht es? Der Data Cube enthält (nur eine Teilmenge der Daten): • Zeitreihen(statistische Daten, die regelmäßigfortgeschrieben werden) • mit Relevanz für die Umwelt • Keine Geodaten,keine Forschungsdaten, keine Publikationen Warum wir uns u.a. für .Stat Suite entschieden haben? • Deckt viele Anforderungen ab – aber nicht alle • Open Source • Breite Verbreitung (siehe unten) • Basiert auf dem SDMX-Standard • Breite Entwickler- Community Wer nutzt das (SDMX und/oder die .Stat Suite)noch? z.B. OECD, UN, Eurostat, World Bank, IMF
  • 14. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 14 SDMX steht für Statistical Data and Metadata eXchange (ISO 17369 ) und ist: • Informationsmodell zur Beschreibung von Daten und Metadaten • Standard für die automatisierte Datenkommunikation • Architektur und Toolkit für den Austausch von Daten und Metadaten In SDMX gibt es eine Trennung zwischen • Daten (enthält die eigentlichen Beobachtungen) • Strukturinformationen SDMX Datenlassen sich gut weiterverarbeiten Der SDMX-Standard R SDMX Python R EViews Stata Java .net … pandaSDMX R SDMX readSDMX Eviews- SDMX sdmxuse SDMX Java Suite SDMX.net …
  • 15. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 15 Datenintegration:Wie kommen die Datenin den Data Cube? ENDE START Auswahl der Datensätze (heterogene Datenquellen) Bestimmung der Dimensionen Modellierung / Harmonisierung Erstellung von Code-Listen u. Strukturellen Metadaten in einem Git-Repository Bearbeitung des pull requests durch das Projektteam -> Erzeugung der SDMX Dateien mit FME Qualitätssicherung pull request Daten im Data Cube verfügbar
  • 16. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 16 SchematischerWorkflowbei der Datenintegration FME als zentrales Tool für die Datenintegration im Data Cube Darstellung: conterra
  • 17. 30.09.2023 /Projekt Data Cube – Daten zur Umwelt 17 Startenvon FME Workspaces aus VS Code
  • 18. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 18 Effizientere und aktuellere Datenbereitstellung ❖ mehr Perspektiven auf unsere Daten für uns und Bürgerinnen und Bürger ❖ Aktuellere Daten und die Möglichkeit schneller auf politische Bedarfe zu reagieren (Dashboards etc.) ❖ Effiziente Datenintegration mit FME. Analysefähige und offene Daten ❖ Bessere Möglichkeiten zur Datenanalyse - für uns und andere ❖ offene/maschinenlesbare Daten Daten werden international anschlussfähig ❖ UBA Daten werden international anschlussfähig ❖ Mehrsprachigkeit (Deutsch / Englisch) Nächste Schritte nach Projektende : ❖ Pilotbetrieb (geplant Anfang 2024) ❖ Evaluation mit Nutzenden (geplant Mitte 2024) ❖ Regelbetrieb (geplant Ende 2024) ❖ Weiterentwicklung u. fortlaufende Datenintegration Fazit und Ausblick
  • 19. Vielen Dank für Ihre Aufmerksamkeit Michel Frerk michel.frerk@uba.de www.uba.de/daten
  • 20. Welche Datensollen in den Data Cube aufgenommenwerden? 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 20 Der Data Cube enthält: • Zeitreihen (statistische Daten, die regelmäßig fortgeschrieben werden) • mit Relevanz für die Umwelt
  • 21. Architekturder .Stat Suite 06.09.2023 / Projekt „Data Cube – Daten zur Umwelt“ 21 Quelle: .Stat Suite Documentation
  • 22. 06.09.2023 /Projekt Data Cube – Daten zur Umwelt 22 3. Was ist ein Data Cube? In einem Data Cube werden die Daten als Elemente eines mehrdimensionalen Datenwürfels angeordnet. Die Dimensionen des Würfels beschreiben die Daten und ermöglichen vielfältige Analysen. Was ist ein Data Cube und wie funktionierter? (1) Beispiel: Data Cube für THG-Emissionen (auf 3 Dimensionen vereinfacht) ❖ Der UBA-Data Cubewird viele weitere Dimensionen enthalten ❖ Nur ein Teil aller Dimensionen ist für jeden „Datensatz“ mit Daten besetzt Quelle: eigene Darstellung