Big Data
Anwendungen und
Infrastrukturen
InGeoForum 2015, Darmstadt
Dr. Fritz Schinkel
Program Manager Big Data Innovations
1 © 2015 FUJITSU
Eine neu entstehende Welt mit
zunehmender Vernetzung von
Menschen, Informationen, Dingen und
Infrastruktu...
2 © 2015 FUJITSU
Information: Verstehen der gesammelten Daten
!
Demographie-
vorhersage
!
Verkehrstrends
! ! Windmessungen...
3 © 2015 FUJITSU
Die 3 Dimensionen gemeinsam erzeugen geschäftlichen und gesellschaftlichen Nutzen
Erwartungen an eine Big...
4 © 2015 FUJITSU
Big Data Infrastruktur Referenz Architektur:
Plattform passend zur Geschäftsidee
Konsolidierte Daten Dest...
5 © 2015 FUJITSU
Big Data Wertschöpfungskette
Big Data
Extrahieren
Sammeln
Strukturierte &
unstrukturierte Daten
Geräte,
S...
6 © 2015 FUJITSU
Import, Analyse, Visualisierung
Big Data
Extract
Collect
Structured &
unstructured data
Devices,
sensors,...
7 © 2015 FUJITSU
Big Data Beratung und Dienstleistungen
Big Data Assessment Workshop
Verständnis für die Möglichkeiten, Bi...
8 © 2015 FUJITSU
Plattform: PRIMEFLEX for Hadoop
Hadoop platform sourcing options
On-premise: Entry oder Rack
Storage / Co...
9 © 2015 FUJITSU
Big Data Anwendung:
Wetter- und Klimatrend-Vorhersagen
Einsatzfälle:
Erneuerbare Energiegewinnung (Solar,...
10 © 2015 FUJITSU
Historische Wetterdaten für Trend-Analysen
European Centre for
Medium-Range Weather Forecasts (ECMWF)
An...
11 © 2015 FUJITSU
Plattform erfüllt Herausforderung
Laden der ECMWF Daten im HDFS
MapReduce zur Invertierung …
… von Zeitr...
12 Copyright 2014 FUJITSU
Showcase
13 © 2015 FUJITSU
PRIMEFLEX for Hadoop Highlights
Integriertes System
Verbindet den Komfort vorkonfigurierter und vorgetes...
14 © 2015 FUJITSU
Big Data & Geoinformation
VisualisierungVisualisierungVisualisierungVisualisierung von raumbezogenen Dat...
15 © 2015 FUJITSU
Kontakte
Fujitsu Germany
Dr. Fritz Schinkel
Program Manager Big Data Innovations
fritz.schinkel@ts.fujit...
16 © 2015 FUJITSU
Nächste SlideShare
Wird geladen in …5
×

Big Data Anwendungen und Infrastrukturen

1.157 Aufrufe

Veröffentlicht am

InGeoForum 2015, Darmstadt
Dr. Fritz Schinkel,
Program Manager Big Data Innovations, Fujitsu

Veröffentlicht in: Daten & Analysen
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.157
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
6
Aktionen
Geteilt
0
Downloads
18
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Big Data Anwendungen und Infrastrukturen

  1. 1. Big Data Anwendungen und Infrastrukturen InGeoForum 2015, Darmstadt Dr. Fritz Schinkel Program Manager Big Data Innovations
  2. 2. 1 © 2015 FUJITSU Eine neu entstehende Welt mit zunehmender Vernetzung von Menschen, Informationen, Dingen und Infrastrukturen und grundlegenden Veränderungen der Lebens- und Arbeitszusammenhänge. Menschen Enorme Anzahl individueller Teilnehmer Information Big Data Methoden für neue Werte Infrastruktur Anbindung und zentrale Speicherung und Verarbeitung Fujitsus Vision der “Hyperconnected World”
  3. 3. 2 © 2015 FUJITSU Information: Verstehen der gesammelten Daten ! Demographie- vorhersage ! Verkehrstrends ! ! Windmessungen & Wettertrends Risikobewertung des Wetters ! Selbststeuerndes Auto: 3.6 TB/h # Smart-Meters für 80% der Stromverbraucher in der EU 2020 # PBs an Daten von über 100 Wettersatelliten# Mehr als 50 Milliarden verbundene Dinge# ? Ist unsere Energieversorgung zukunftsfähig? ? Sollten wir in Windenergie investieren?
  4. 4. 3 © 2015 FUJITSU Die 3 Dimensionen gemeinsam erzeugen geschäftlichen und gesellschaftlichen Nutzen Erwartungen an eine Big Data Lösung Gesellschaft & Wirtschaft Kommunikation & Schaffung informationsbasierter Geschäftsideen Kreative Intelligenz Schnell wachsendes Wissen aus Daten und Informationen Verbundene Infrastruktur Umfassende Verbindung, Speicherung und zeitnahe Verarbeitung
  5. 5. 4 © 2015 FUJITSU Big Data Infrastruktur Referenz Architektur: Plattform passend zur Geschäftsidee Konsolidierte Daten Destillierte Essenz Angewandtes WissenVielfältige Data Extrahieren, Sammeln Bereinigung, Transformation Entscheiden, HandelnAnalyse, Visualisierung Datenquellen Analyseplattform Zugriff Batch- Verarbeitung Ereignis- Verarbeitung Dialog- Verarbeitung Datenbanken Applikation- server Web- Inhalte Sensor- daten Apps Dienste Abfragen Visualisierung Reporting Mitteilungen
  6. 6. 5 © 2015 FUJITSU Big Data Wertschöpfungskette Big Data Extrahieren Sammeln Strukturierte & unstrukturierte Daten Geräte, Sensoren, Internet der Dinge Bereinigen Transformieren Analysieren Entdecken Entscheiden Handeln Forschung & Entwicklung, Wissenschaft Betrieb, Automatisierung, Produktion Interaktive Berichte, Werbung Strukturierter Ansatz in drei Schritten. Soziale Medien, offene Daten, verknüpfte Daten
  7. 7. 6 © 2015 FUJITSU Import, Analyse, Visualisierung Big Data Extract Collect Structured & unstructured data Devices, sensors, Internet of Things Cleanse Transform Analyze Find Decide Act Research & development, science Operation, automation, production Interactive reporting, advertising Social media, open data, linked data Integriertes Werkzeug macht Big Data so einfach wie Excel und PowerPoint Extrahieren Sammeln Bereinigen Transformieren Analysieren Entdecken Entscheiden Handeln
  8. 8. 7 © 2015 FUJITSU Big Data Beratung und Dienstleistungen Big Data Assessment Workshop Verständnis für die Möglichkeiten, Big Data gewinnbringend in der eigenen Organisation einzusetzen; Begutachtung der strategischen Ziele, Prozesse, und technischen Stärken. Strategie Beratung Entwicklung eines umfassenden Strategieplans und des optimalen Vorgehens zur effizienten Einführung von Big Data in Ihr Geschäft. Analyse-Service Fujitsu Big Data Analyse-Services helfen unseren Kunden bei der schnellen Implementierung neuer Big Data Analysen und Abläufe ausgehend von erprobten Use Cases Hadoop-Service Pragmatische, effiziente und gesicherte Services zur Integration von Hadoop in Ihre Geschäftsprozesse. Integrations-Service Bereitstellung der Lösung in Ihrer Umgebung mit bestehenden IT-Services. • Fujitsu Big Data Assessment Workshop • Fujitsu Big Data Strategy Consulting • Fujitsu Big Data Analytics Services Big Data Consulting Services Fujitsu Services for Hadoop Fujitsu Integration Services
  9. 9. 8 © 2015 FUJITSU Plattform: PRIMEFLEX for Hadoop Hadoop platform sourcing options On-premise: Entry oder Rack Storage / Compute intensiv Off-premise: Cloud Angebot Verbundene Infrastruktur Entry Rack Cloud Software-Stack Hadoop-Kern: Map Reduce / HDFS Analyse-Framework Kreative Intelligenz Big Data Management Analyse Software Service und Beratung Integrations-Service Tool-unterstütztes Sizing Hadoop- und Analyse-Service Gesellschaft & Wirtschaft Analyse- Services Integrations-Service und Sizing
  10. 10. 9 © 2015 FUJITSU Big Data Anwendung: Wetter- und Klimatrend-Vorhersagen Einsatzfälle: Erneuerbare Energiegewinnung (Solar, Wind) Planung in der Landwirtschaft (Hochwasser, Schädlingsbekämpfung) Planung von Ski-Gebieten Versicherungen / Investment Betrieb von Kraftwerken Verkehr: e-Mobility, Flugverkehr, Schiffsverkehr, Segeln Industrie, Handel, Dienstleistungen Fernsehanstalten Benötigt: Historische Wetterdaten für Trend-Analysen.
  11. 11. 10 © 2015 FUJITSU Historische Wetterdaten für Trend-Analysen European Centre for Medium-Range Weather Forecasts (ECMWF) Analyse der Wetterentwicklung Globale Wetterdaten seit 1979 Zeitreihen von Wetterkarten Einsetzbar für Klimaforschung und lokale Trend- Analyse Wettermodell ERA Interim ECMWF Re-Analysis; Interim (höchste Auflösung) Modellauflösung Zeitintervall 6h Zeitraster: 0:00, 6:00, 12:00, 18:00 GMT Gitterabstand 0,25°(4 Punkte pro Grad) 128 meteorologische Parameter ~25 TB an Daten Zeitreihe von Wetterkarten
  12. 12. 11 © 2015 FUJITSU Plattform erfüllt Herausforderung Laden der ECMWF Daten im HDFS MapReduce zur Invertierung … … von Zeitreihen weltweiter Wetterkarten … zu gitterpunktbasierten Zeitreihen einzelner meteorologischer Parameter Sortierte Key-Value-Paare Key = Geokoordinaten + Zeit Value = Meteorologische Werte Java Service Ermittlung nächstliegender Zeitreihen Interpolation der benötigten lokalen Zeitreihe Webseite Benutzer-Interaktionen Visualisierung der Ergebnisse Inkrementeller Update durch kurze MR Jobs Offen für neue Korrelationen zu Wetterdaten Import der Wetterhistorie Invertieren der Zeitreihen Ermittlung nächstliegender Zeitreihen, Interpolation der benötigten lokalen Zeitreihe Visualisierung der Ergebnisse Weitere Fragen und Antworten zum Wetter
  13. 13. 12 Copyright 2014 FUJITSU Showcase
  14. 14. 13 © 2015 FUJITSU PRIMEFLEX for Hadoop Highlights Integriertes System Verbindet den Komfort vorkonfigurierter und vorgetesteter Hardware mit den ökonomischen Vorteilen von Open Source Software Analytische Fähigkeiten Self-service Big Data Analysen, Benchmarking, Historische Vergleiche, Korrelationen, Vorhersage-Funktionen Visualisierung Mächtige dynamische Visualisierung von Big Data Szenarien mit vielfältigen Datenquellen und hoher Produktivität Ergänzung durch passende Services Flexible Roadmap zu Big Data Strategie, Anwendungen und Werten
  15. 15. 14 © 2015 FUJITSU Big Data & Geoinformation VisualisierungVisualisierungVisualisierungVisualisierung von raumbezogenen Daten mit zusätzlichen Kontexten - die überwiegende Anzahl an heutigen Informationen haben einen Raumbezug und stehen somit direkt im Kontext zu Big Data DatenmengenDatenmengenDatenmengenDatenmengen –––– Geoinformation stehen für riesige Datenmengen - per se ein Big Data Thema (der Datenmenge, der Verarbeitung, ...) VerknüpfungenVerknüpfungenVerknüpfungenVerknüpfungen von relativ statischen Bestandsdaten mit dynamischen Daten in Echtzeit mit dem Raumbezug als Ordnungselement. Schnelle VisualisierungSchnelle VisualisierungSchnelle VisualisierungSchnelle Visualisierung von bis dato nur als reine Zahlen verfügbares Datenmaterial (u. a. Sensorik). Einbeziehung nutzergenerierter Geoinformationennutzergenerierter Geoinformationennutzergenerierter Geoinformationennutzergenerierter Geoinformationen (Crowd Scouring). Qualifizierung und Validierung der DatenqualitätQualifizierung und Validierung der DatenqualitätQualifizierung und Validierung der DatenqualitätQualifizierung und Validierung der Datenqualität (Hinreichende Verprobung von Plausibiltäten in Echtzeit über räumliche Strukturierungen). Zielgruppenorientierte BereitstellungZielgruppenorientierte BereitstellungZielgruppenorientierte BereitstellungZielgruppenorientierte Bereitstellung von Geodaten.
  16. 16. 15 © 2015 FUJITSU Kontakte Fujitsu Germany Dr. Fritz Schinkel Program Manager Big Data Innovations fritz.schinkel@ts.fujitsu.com Meteomatics GmbH Dr. Martin J. Fengler Geschäftsführer mfengler@meteomatics.com Besuchen Sie auch http://www.fujitsu.com/de/solutions/business- technology/bigdata/ http://www.fujitsu.com/de/solutions/infrastructure/integra ted-system/primeflex/
  17. 17. 16 © 2015 FUJITSU

×