SlideShare ist ein Scribd-Unternehmen logo

Pandemische Berichterstattung mit FME - Datenaufbereitung als formatierte PDF/Excel-Dateien - Automatisierung mit dem FME Server

Während der CORONA-Pandemie war es notwendig, täglich zahlreiche aktuelle Infektionszahlen in übersichtlichen Statistiken und Karten zusammenzuführen und an Ministerien, Gesundheitsämter und Kreisverwaltungen zu verteilen. Was zunächst über Monate "per Hand" aufbereitet und verschickt wurde, konnte schließlich mithilfe von FME Desktop und FME Server vollständig automatisiert werden. Die Präsentation wird zeigen, dass völlig unabhängig von einer zukünftigen pandemischen Situation sehr viele der verwendeten FME-Technologien und Möglichkeiten des FME Servers für ein effektives Berichtswesen in öffentlichen Verwaltungen und anderswo angewendet werden können. Bestandteile der Präsentation werden u.a. die Verarbeitung von JSON-Dateien und die formatierte Ausgabe in Excel und PDF, sowie die Automatisierung per FME Server mit Schedulern, Automations und Emailern, sein.

1 von 26
Downloaden Sie, um offline zu lesen
Pandemische Berichterstattung mit FME
The
Peak
of
Data
Integration
20
23
Tino Heinicke
Landesvermessung und Geobasisinformation Brandenburg (LGB)
Dezernat 25: ATKIS-Entwicklung und Produktionssteuerung
The
Peak
of
Data
Integration
20
23
Was will ich Ihnen heute zeigen?
● Datenausgabe in Excel, PDF und HTML
● Automatisierung mit Schedules / Automations
Was werde ich Ihnen nicht zeigen?
● Verlauf der Corona-Pandemie
The
Peak
of
Data
Integration
20
23 Wieso bearbeitet ein Geoinformatiker Gesundheitsdaten?
▪ Mitte März 2020 wurde in Brandenburg der IMKS-Corona eingerichtet
▪ Koordinierung von Maßnahmen der Landesregierung zur Eindämmung der Pandemie
▪ CORONA-DashboardBrandenburg, später Neuentwicklung eines Impfdashboards
The
Peak
of
Data
Integration
20
23 Excel ist das Wunschformat
▪ Übersichtstabelle RKI Fallzahlen Brandenburg
Quelle: RKI (JSON, Link) → Ziel: E-Mail-Verteiler (Excel)
The
Peak
of
Data
Integration
20
23 Eine Karte wäre aber auchganz schön
▪ Karte der 7-Tage-Inzidenz in Brandenburg
Quelle: RKI (JSON, Link) → Ziel: E-Mail-Verteiler (PDF)

Recomendados

Introducing the New FME Community Webinar - Feb 21, 2024 (2).pdf
Introducing the New FME Community Webinar - Feb 21, 2024 (2).pdfIntroducing the New FME Community Webinar - Feb 21, 2024 (2).pdf
Introducing the New FME Community Webinar - Feb 21, 2024 (2).pdfSafe Software
 
Breaking Barriers & Leveraging the Latest Developments in AI Technology
Breaking Barriers & Leveraging the Latest Developments in AI TechnologyBreaking Barriers & Leveraging the Latest Developments in AI Technology
Breaking Barriers & Leveraging the Latest Developments in AI TechnologySafe Software
 
Cloud Revolution: Exploring the New Wave of Serverless Spatial Data
Cloud Revolution: Exploring the New Wave of Serverless Spatial DataCloud Revolution: Exploring the New Wave of Serverless Spatial Data
Cloud Revolution: Exploring the New Wave of Serverless Spatial DataSafe Software
 
New Year's Fireside Chat with Safe Software’s Founders
New Year's Fireside Chat with Safe Software’s FoundersNew Year's Fireside Chat with Safe Software’s Founders
New Year's Fireside Chat with Safe Software’s FoundersSafe Software
 
Taking Off with FME: Elevating Airport Operations to New Heights
Taking Off with FME: Elevating Airport Operations to New HeightsTaking Off with FME: Elevating Airport Operations to New Heights
Taking Off with FME: Elevating Airport Operations to New HeightsSafe Software
 
Initiating and Advancing Your Strategic GIS Governance Strategy
Initiating and Advancing Your Strategic GIS Governance StrategyInitiating and Advancing Your Strategic GIS Governance Strategy
Initiating and Advancing Your Strategic GIS Governance StrategySafe Software
 
Igniting Next Level Productivity with AI-Infused Data Integration Workflows
Igniting Next Level Productivity with AI-Infused Data Integration Workflows Igniting Next Level Productivity with AI-Infused Data Integration Workflows
Igniting Next Level Productivity with AI-Infused Data Integration Workflows Safe Software
 
Geospatial Synergy: Amplifying Efficiency with FME & Esri ft. Peak Guest Spea...
Geospatial Synergy: Amplifying Efficiency with FME & Esri ft. Peak Guest Spea...Geospatial Synergy: Amplifying Efficiency with FME & Esri ft. Peak Guest Spea...
Geospatial Synergy: Amplifying Efficiency with FME & Esri ft. Peak Guest Spea...Safe Software
 

Más contenido relacionado

Mehr von Safe Software

Identification of landscape features eligible for EU subsidy - Analysis of la...
Identification of landscape features eligible for EU subsidy - Analysis of la...Identification of landscape features eligible for EU subsidy - Analysis of la...
Identification of landscape features eligible for EU subsidy - Analysis of la...Safe Software
 
Utilizing FME as an API Test Framework
Utilizing FME as an API Test Framework Utilizing FME as an API Test Framework
Utilizing FME as an API Test Framework Safe Software
 
Bringing Open Data Integration to the (SWECO) People
Bringing Open Data Integration to the (SWECO) PeopleBringing Open Data Integration to the (SWECO) People
Bringing Open Data Integration to the (SWECO) PeopleSafe Software
 
Working Forward: From Data to Location Intelligence for Renewables Siting and...
Working Forward: From Data to Location Intelligence for Renewables Siting and...Working Forward: From Data to Location Intelligence for Renewables Siting and...
Working Forward: From Data to Location Intelligence for Renewables Siting and...Safe Software
 
Datendrehscheibe im eGovernment
Datendrehscheibe im eGovernmentDatendrehscheibe im eGovernment
Datendrehscheibe im eGovernmentSafe Software
 
Zugriff auf alle raumbezogenen Daten - direkt in Ihrem WebGIS durch FME
Zugriff auf alle raumbezogenen Daten - direkt in Ihrem WebGIS durch FMEZugriff auf alle raumbezogenen Daten - direkt in Ihrem WebGIS durch FME
Zugriff auf alle raumbezogenen Daten - direkt in Ihrem WebGIS durch FMESafe Software
 
Let’s Talk About EX – WFS mit Filter EXpressions gezielt abfragen
Let’s Talk About EX – WFS mit Filter EXpressions gezielt abfragenLet’s Talk About EX – WFS mit Filter EXpressions gezielt abfragen
Let’s Talk About EX – WFS mit Filter EXpressions gezielt abfragenSafe Software
 
Nutzung der FME im Nationalen Berichtsdatenzentrum Wasser der BfG
Nutzung der FME im Nationalen Berichtsdatenzentrum Wasser der BfGNutzung der FME im Nationalen Berichtsdatenzentrum Wasser der BfG
Nutzung der FME im Nationalen Berichtsdatenzentrum Wasser der BfGSafe Software
 
Möglichkeiten des Zusammenspiels Zwischen FME und ArcGIS
Möglichkeiten des Zusammenspiels Zwischen FME und ArcGISMöglichkeiten des Zusammenspiels Zwischen FME und ArcGIS
Möglichkeiten des Zusammenspiels Zwischen FME und ArcGISSafe Software
 
FME im Kommunalen Umfeld – Aus der Praxis in Die Zukunft
FME im Kommunalen Umfeld – Aus der Praxis in Die ZukunftFME im Kommunalen Umfeld – Aus der Praxis in Die Zukunft
FME im Kommunalen Umfeld – Aus der Praxis in Die ZukunftSafe Software
 
FME als ideales Integrationstool der GB-IT
FME als ideales Integrationstool der GB-ITFME als ideales Integrationstool der GB-IT
FME als ideales Integrationstool der GB-ITSafe Software
 
Die Datenföderierungsschicht im LANUV
Die Datenföderierungsschicht im LANUVDie Datenföderierungsschicht im LANUV
Die Datenföderierungsschicht im LANUVSafe Software
 
FME - Einsatz am Flughafen Frankfurt
FME - Einsatz am Flughafen FrankfurtFME - Einsatz am Flughafen Frankfurt
FME - Einsatz am Flughafen FrankfurtSafe Software
 
Sprengmonitoring im Hochsauerlandkreis, ein digitaler Workflow mit FME
Sprengmonitoring im Hochsauerlandkreis, ein digitaler Workflow mit FMESprengmonitoring im Hochsauerlandkreis, ein digitaler Workflow mit FME
Sprengmonitoring im Hochsauerlandkreis, ein digitaler Workflow mit FMESafe Software
 
FME-ing Your Web Map: Custom Applications for a Better User Experience
FME-ing Your Web Map: Custom Applications for a Better User ExperienceFME-ing Your Web Map: Custom Applications for a Better User Experience
FME-ing Your Web Map: Custom Applications for a Better User ExperienceSafe Software
 
Integrating GeoAI Models in FME
Integrating GeoAI Models in FMEIntegrating GeoAI Models in FME
Integrating GeoAI Models in FMESafe Software
 
SuedLink Das Projekt für Die Energiewende in Deutschland
SuedLink Das Projekt für Die Energiewende in DeutschlandSuedLink Das Projekt für Die Energiewende in Deutschland
SuedLink Das Projekt für Die Energiewende in DeutschlandSafe Software
 
ArcGIS Enterprise Content Migration mit FME
ArcGIS Enterprise Content Migration mit FMEArcGIS Enterprise Content Migration mit FME
ArcGIS Enterprise Content Migration mit FMESafe Software
 
Daten-Prozessoptimierung mit UCD-Methoden
Daten-Prozessoptimierung  mit UCD-MethodenDaten-Prozessoptimierung  mit UCD-Methoden
Daten-Prozessoptimierung mit UCD-MethodenSafe Software
 
Neuerungen in FME 2023.1
Neuerungen in FME 2023.1Neuerungen in FME 2023.1
Neuerungen in FME 2023.1Safe Software
 

Mehr von Safe Software (20)

Identification of landscape features eligible for EU subsidy - Analysis of la...
Identification of landscape features eligible for EU subsidy - Analysis of la...Identification of landscape features eligible for EU subsidy - Analysis of la...
Identification of landscape features eligible for EU subsidy - Analysis of la...
 
Utilizing FME as an API Test Framework
Utilizing FME as an API Test Framework Utilizing FME as an API Test Framework
Utilizing FME as an API Test Framework
 
Bringing Open Data Integration to the (SWECO) People
Bringing Open Data Integration to the (SWECO) PeopleBringing Open Data Integration to the (SWECO) People
Bringing Open Data Integration to the (SWECO) People
 
Working Forward: From Data to Location Intelligence for Renewables Siting and...
Working Forward: From Data to Location Intelligence for Renewables Siting and...Working Forward: From Data to Location Intelligence for Renewables Siting and...
Working Forward: From Data to Location Intelligence for Renewables Siting and...
 
Datendrehscheibe im eGovernment
Datendrehscheibe im eGovernmentDatendrehscheibe im eGovernment
Datendrehscheibe im eGovernment
 
Zugriff auf alle raumbezogenen Daten - direkt in Ihrem WebGIS durch FME
Zugriff auf alle raumbezogenen Daten - direkt in Ihrem WebGIS durch FMEZugriff auf alle raumbezogenen Daten - direkt in Ihrem WebGIS durch FME
Zugriff auf alle raumbezogenen Daten - direkt in Ihrem WebGIS durch FME
 
Let’s Talk About EX – WFS mit Filter EXpressions gezielt abfragen
Let’s Talk About EX – WFS mit Filter EXpressions gezielt abfragenLet’s Talk About EX – WFS mit Filter EXpressions gezielt abfragen
Let’s Talk About EX – WFS mit Filter EXpressions gezielt abfragen
 
Nutzung der FME im Nationalen Berichtsdatenzentrum Wasser der BfG
Nutzung der FME im Nationalen Berichtsdatenzentrum Wasser der BfGNutzung der FME im Nationalen Berichtsdatenzentrum Wasser der BfG
Nutzung der FME im Nationalen Berichtsdatenzentrum Wasser der BfG
 
Möglichkeiten des Zusammenspiels Zwischen FME und ArcGIS
Möglichkeiten des Zusammenspiels Zwischen FME und ArcGISMöglichkeiten des Zusammenspiels Zwischen FME und ArcGIS
Möglichkeiten des Zusammenspiels Zwischen FME und ArcGIS
 
FME im Kommunalen Umfeld – Aus der Praxis in Die Zukunft
FME im Kommunalen Umfeld – Aus der Praxis in Die ZukunftFME im Kommunalen Umfeld – Aus der Praxis in Die Zukunft
FME im Kommunalen Umfeld – Aus der Praxis in Die Zukunft
 
FME als ideales Integrationstool der GB-IT
FME als ideales Integrationstool der GB-ITFME als ideales Integrationstool der GB-IT
FME als ideales Integrationstool der GB-IT
 
Die Datenföderierungsschicht im LANUV
Die Datenföderierungsschicht im LANUVDie Datenföderierungsschicht im LANUV
Die Datenföderierungsschicht im LANUV
 
FME - Einsatz am Flughafen Frankfurt
FME - Einsatz am Flughafen FrankfurtFME - Einsatz am Flughafen Frankfurt
FME - Einsatz am Flughafen Frankfurt
 
Sprengmonitoring im Hochsauerlandkreis, ein digitaler Workflow mit FME
Sprengmonitoring im Hochsauerlandkreis, ein digitaler Workflow mit FMESprengmonitoring im Hochsauerlandkreis, ein digitaler Workflow mit FME
Sprengmonitoring im Hochsauerlandkreis, ein digitaler Workflow mit FME
 
FME-ing Your Web Map: Custom Applications for a Better User Experience
FME-ing Your Web Map: Custom Applications for a Better User ExperienceFME-ing Your Web Map: Custom Applications for a Better User Experience
FME-ing Your Web Map: Custom Applications for a Better User Experience
 
Integrating GeoAI Models in FME
Integrating GeoAI Models in FMEIntegrating GeoAI Models in FME
Integrating GeoAI Models in FME
 
SuedLink Das Projekt für Die Energiewende in Deutschland
SuedLink Das Projekt für Die Energiewende in DeutschlandSuedLink Das Projekt für Die Energiewende in Deutschland
SuedLink Das Projekt für Die Energiewende in Deutschland
 
ArcGIS Enterprise Content Migration mit FME
ArcGIS Enterprise Content Migration mit FMEArcGIS Enterprise Content Migration mit FME
ArcGIS Enterprise Content Migration mit FME
 
Daten-Prozessoptimierung mit UCD-Methoden
Daten-Prozessoptimierung  mit UCD-MethodenDaten-Prozessoptimierung  mit UCD-Methoden
Daten-Prozessoptimierung mit UCD-Methoden
 
Neuerungen in FME 2023.1
Neuerungen in FME 2023.1Neuerungen in FME 2023.1
Neuerungen in FME 2023.1
 

Pandemische Berichterstattung mit FME - Datenaufbereitung als formatierte PDF/Excel-Dateien - Automatisierung mit dem FME Server

  • 2. The Peak of Data Integration 20 23 Tino Heinicke Landesvermessung und Geobasisinformation Brandenburg (LGB) Dezernat 25: ATKIS-Entwicklung und Produktionssteuerung
  • 3. The Peak of Data Integration 20 23 Was will ich Ihnen heute zeigen? ● Datenausgabe in Excel, PDF und HTML ● Automatisierung mit Schedules / Automations Was werde ich Ihnen nicht zeigen? ● Verlauf der Corona-Pandemie
  • 4. The Peak of Data Integration 20 23 Wieso bearbeitet ein Geoinformatiker Gesundheitsdaten? ▪ Mitte März 2020 wurde in Brandenburg der IMKS-Corona eingerichtet ▪ Koordinierung von Maßnahmen der Landesregierung zur Eindämmung der Pandemie ▪ CORONA-DashboardBrandenburg, später Neuentwicklung eines Impfdashboards
  • 5. The Peak of Data Integration 20 23 Excel ist das Wunschformat ▪ Übersichtstabelle RKI Fallzahlen Brandenburg Quelle: RKI (JSON, Link) → Ziel: E-Mail-Verteiler (Excel)
  • 6. The Peak of Data Integration 20 23 Eine Karte wäre aber auchganz schön ▪ Karte der 7-Tage-Inzidenz in Brandenburg Quelle: RKI (JSON, Link) → Ziel: E-Mail-Verteiler (PDF)
  • 7. The Peak of Data Integration 20 23 Eine bunte Tabelle fürs Dashboard wäre auch schön ▪ Übersicht der 7-Tage-Inzidenzen der Landkreise (Teil des Dashboards) Quelle: RKI (JSON, Link) → Ziel: HTML-Tabelle
  • 8. The Peak of Data Integration 20 23 Und dann bitte noch die Krankenhausauslastung… ▪ IVENA: Auslastung Beatmungsplätze / speziell COVID-19 Quelle: IVENA-E-Mail (2x EXCEL) → Ziel: E-Mail-Verteiler (2x EXCEL)
  • 9. The Peak of Data Integration 20 23 … und bitte auch als Karte ▪ IVENA: Auslastung Beatmungsplätze / speziell COVID-19 Quelle: IVENA-E-Mail (2x EXCEL) → Ziel: E-Mail-Verteiler (2x EXCEL)
  • 10. The Peak of Data Integration 20 23 Und alles nochmal im Überblick ▪ Übersichtstabelle RKI Fallzahlen Brandenburg ▪ Karte der 7-Tage-Inzidenz in Brandenburg ▪ Übersicht der 7-Tage-Inzidenzen der Landkreise ▪ IVENA: Auslastung Beatmungsplätze als Tabellen ▪ IVENA: Auslastung Beatmungsplätze als Karte ArcGIS Pro ArcGIS Pro 7 Tage / Woche – 365Tage / Jahr
  • 12. The Peak of Data Integration 20 23 Die formatierte Excel-Ausgabe … ▪ Benötigte Attribute (Spalten) müssen in Buchstaben A-G umbenannt werden ▪ row_id als Zeilennummer im Excel-Writer ▪ Anlage einer XLSX-Template-Datei ▪ row_id als Sortierkriterium der Tabelle
  • 13. The Peak of Data Integration 20 23 … unter Berücksichtigungeiniger Besonderheiten … ▪ Berechnungen der Veränderungen von Infektionen und Sterbefälle zum Vortag ▪ Backup der Eingangsdaten (JSON) ▪ Neuerstellung bei Veränderung der Daten während eines Tages ▪ E-Mail-Versand an Verteilerliste ➢ FME Server: Scheduler, der um 6 Uhr morgens den Workspace startet ▪ Initialer Download der JSON-Dateien um 6 Uhr morgens ➢ Datenhaltung in PostgreSQL-Datenbank ➢ FME Server: Scheduler, der ab 6 Uhr morgens alle halbe Stunde den Workspace startet ➢ CRON Expression: 0 0/30 6-16 * * ? ➢ Identifizierung der Veränderung über die gesamte Tabelle mit Hilfe von Vergleichsdatensätzen über eine gesamte Spalte ➢ Backup nur dann, wenn sich die Eingangsdaten verändert haben ➢ FeatureWriter → Emailer
  • 14. The Peak of Data Integration 20 23 … wird durch diesen Workspace realisiert …
  • 15. The Peak of Data Integration 20 23 … und kurz darauf durch eine PDF-Ausgabeerweitert …
  • 16. The Peak of Data Integration 20 23 … dessen Erstellung viel Fingerspitzengefühl erfordert. ▪ PDFPageFormatter ➢ Keine „Center“ – Ausrichtung der Objekte möglich ➢ In Abhängigkeit von Schriftgröße und Länge des Textes ➢ Position der Beschriftung nur durch Rumprobieren ermittelbar ➢ Konvertiert RGB => FME Color z.B. #770174 → 0.466666666667,0.003921568627,0.4549019608 ▪ ColorConverter (FME Hub) ➢ Nur über ein zusätzliches Punkt-Shape platzierbar ➢ In Abhängigkeit von Schriftgröße und Maßstab ➢ Nur durch Rumprobieren kann der korrekte Lagepunkt links unten des Schriftblocks ermittelt werden ▪ zweizeilige Landkreis-Beschriftung, sowie Inzidenzangabe ▪ Reader PNGRASTER ➢ Ergänzt das LGB Logo ▪ Legende ➢ 21 Einzelobjekte (Text/Grafik), einzeln formatiert und platziert Uckermark
  • 17. The Peak of Data Integration 20 23 Und wenn man Daten in HTML ausgeben will? HTML Tabelle als Ergänzung zum Corona Dashboard JSON → HTML
  • 18. The Peak of Data Integration 20 23 Kann man das ebenfalls in FME realisieren. ➢ FME Server: Scheduler, der um 7 Uhr morgens den Workspace startet ➢ Datenhaltung in PostgreSQL-Datenbank ➢ Datenausgabe in einer transponierten Tabelle, mit Hilfe des AttributeTransposer (FME Hub)
  • 20. The Peak of Data Integration 20 23 Kann man das ebenfalls in FME realisieren. ➢ FME Server: Scheduler, der um 7 Uhr morgens den Workspace startet ➢ Datenhaltung in PostgreSQL-Datenbank ➢ Datenausgabe in einer transponierten Tabelle, mit Hilfe des AttributeTransposer (FME Hub) ➢ Mit dem StringConcatenator erstellt man HTML-Tabellenzellen, z.B.: <td class="td_s0">@Value(heute)</td></tr> ➢ Mit AttributeCreator erzeugt man HEAD + CSS + Legende + weitere Elemente der HTML-Seite ➢ FeatureWriter schreibt die HTML-Datei auf den FME Server nach → Files & Connection / Ressorces
  • 21. The Peak of Data Integration 20 23 Und dann war da noch die Krankenhausauslastung. ▪ IVENA: Auslastung Beatmungsplätze / speziell COVID-19 Quelle: IVENA-E-Mail (2x EXCEL) → Ziel: E-Mail-Verteiler (2x EXCEL + PDF) ➢ Auslöser ist eine E-Mail aus IVENA an den FME Server Besonderheit! ➢ Server - AUTOMATION überwacht den E-Mail-Server und startet Workspace ➢ Workspace verarbeitet zwei Excel-Dateien aus dem Anhang der E-Mail.
  • 23. The Peak of Data Integration 20 23 Vor der Nutzung von FME / FME Server … ▪ Übersichtstabelle RKI Fallzahlen Brandenburg ▪ Karte der 7-Tage-Inzidenz in Brandenburg ▪ Übersicht der 7-Tage-Inzidenzen der Landkreise ▪ IVENA: Auslastung Beatmungsplätze als Tabellen ▪ IVENA: Auslastung Beatmungsplätze als Karte ArcGIS Pro ArcGIS Pro 7 Tage / Woche – 365Tage / Jahr
  • 24. The Peak of Data Integration 20 23 … und mit der Nutzung von FME / FME Server. ▪ Übersichtstabelle RKI Fallzahlen Brandenburg ▪ Karte der 7-Tage-Inzidenz in Brandenburg ▪ Übersicht der 7-Tage-Inzidenzen der Landkreise ▪ IVENA: Auslastung Beatmungsplätze als Tabellen ▪ IVENA: Auslastung Beatmungsplätze als Karte 7 Tage / Woche – 365Tage / Jahr
  • 25. The Peak of Data Integration 20 23 Finale Empfehlung … ● Nutzen Sie den NoFeaturesTester (FME Hub) in Kombination mit dem Emailer zur Überwachung der Workspaces … und Wünsche an Safe Software ● Ein NumberFormatter nach Vorbild des StringFormatter (Einfache Formatierung von „1.234.400“ oder „+ 50“ etc.) ● Noch bessere Unterstützung von Excel/PDF/PNG-Ausgabe ● Übernahme und Verbesserung von NoFeaturesTester, AttributeTransposer und ColorConverter aus dem FME Hub