Data Science: History repeated? – The heritage of the Free and Open Source GI...
Kommunikationswerkzeug Globuskarte
1. Universität Potsdam
Institut für Geographie
Mastermodul GiVi230 GIS-Programmierung und Integration
Kommunikationswerkzeug Globuskarte:
Globusbrowser und Rendering
Peter Löwe
Zentrum für GeoInformationsTechnologie (CEGIT)
Deutsches GeoForschungsZentrum GFZ
2. Wieso Globen ?
● Visuelle Kommunikation von Inhalten mit räumlicher
Komponente
● Erdkugeldarstellung als bekanntes Referenzsystem /
Maßstab
● Beibehaltung von Flächen-, Längen- und Winkeltreue
● Echter Globus: Leichte Handhabung, interaktiver
Benutzung.
Rocky Horror Picture Show http://rhps.teamone.de/part13.htm
3. Prozessierungswege
Wissenschafliche
Geodaten
Daten
GeoInformationsSystem
(GIS)
Globus-Browser Rendering Werkzeuge
Darstellungsqualität für interaktive Fokus auf maximierter Qualität der
Nutzung in Realzeit optimiert. Darstellung, sehr rechenintensiv,
Intuitiv bedienbar Expertenwissen nötig
4. Motivation
● Globusbrowser als etabliertes Ausdrucks- und
Kommunikationsmittel für:
● Retrospektive Analysen
● „Nowcasting“
● Planung / Diskussionsprozesse
7. „Nowcasting“: Online-Integration von Messdaten
Realzeit-Verfolgung des Honshu 2011 Tsunami
11 März 2011
11:17 Uhr
NOAA Tsunami-Boye.
Quelle: NOAA 7
8. Partizipative Planung
Beispiel:
Sendemasten
Standort-Auswahl für
digitalen Behörden-
funk (TETRA) durch
den NABU.
http://www.katzenpfad.de/wp-content/uploads/2010/05/kurzfassung-studie-pdf.pdf
9. Globus-Browser Referenz:
Google-Earth
● Die Anwendungen Google Maps und Google Earth
(GE) haben web-gestützte Kartographie zu einem
Massengut gemacht.
● Bsp: GE-Animationen in den Abendnachrichten
Wir sind hier
Haus 10
10. Übersicht
GIS / Globen /Globusbrowser
GeoInformationsSystem Integrierte Online
Lokale
(GIS) Geodaten- Daten
Daten
haltung
GIS-gestützte Integrierte
Lokale Online
Globen Geodaten-
Daten Daten
haltung
Standalone-Globen Lokale Online
Daten Daten
Webbrowser-Plugin
Globen Lokale Online
(„Globusbrowser“) Daten Daten
11. Marktführer Google Earth
● 2001: Gründung Keyhole Inc.
● Entwicklung „Keyhole“, inkl.
● Keyhole Markup Language (KML):
– Eine Auszeichnungssprache für die Visualisierung von Rauminformationen.
– Analogie: „HTML“, nicht „XML“
● 2004
● Google Inc. übernimmt Keyhole,
● Software wird in „GoogleEarth“ umbenannt
● Freie private Nutzung vs. kommerzielle Nutzung
● 2008
● KML (V2.2) wird ein Open Geospatial Consortium (OGC) Standard
● 2010
● Google Earth JavaScript Plugin (für MS Windows)
13. Keyhole Markup Language (KML)
● Auszeichnungssprache („eher HTML
statt XML“) <?xml version="1.0" encoding="UTF-8"?>
<kml xmlns="http://www.opengis.net/kml/2.2">
● Geometrie + Visualisierungsfunktion <Document>
<Placemark>
● OGC Standard seit 2008 <name>Zürich</name>
<description>Zürich</description>
<Point>
<coordinates>
8.55,47.3666667,0
● Erzeugung von KML leicht mit ogr/gdal </coordinates>
möglich (aus ESRI Shape, etc.) → </Point>
Raster-Pyramidisierung </Placemark>
</Document>
</kml>
● (zip-)Komprimiertes KML: KMZ
14. KML: Weitere Fakten
● Referenzierung externer (online-) Datensätze/-haltungen.
● Timestamps für Zeitreihendarstellungen
● Automatischer Refresh von Informationen
● Satellitenpositionen
● Tsunamibojen
15. Der GoogleEarth Challenge
● Abschätzung Datenvolumen:
● Erdumfang: Ca. 40 000km
● 1 Pixel pro Quadratkilometer -> 40.000 x 20.000 Pixel weltweit.
● → Ca. 800 Megapixel / 2.4Gb Daten
● Hardware Requirements im Jahr 2000:
● 200 MHz CPU
● 32 Mb
● ISDN
● Wie auf 0.5m Auflösung gehen ???
16. MIP-Maps / Bildpyramiden
MIP = multum in parvo („viel auf kleinem Platz“).
Eine MIP-Map (auch Bildpyramide) ist eine Folge von
Rasterbildern desselben Motivs, jedoch mit abnehmender
Auflösung. Die Kantenlänge halbiert sich pro Ebene (Level of
Detail (LOD).
● Mip-Map der ganzen Erde in 1m Auflösung:
● 66 Millionen Pixel Bildbreite,
● MIP-Bildpyramide mit 26 Stufen
Quelle: Wikipedia
http://de.wikipedia.org/wiki/Mip_Mapping
17. Lösungsansatz GoogleEarth
Universal Texture:
● MIP-Map + software-emulierter Clipstack:
Simulation einer MIP-Map mit sehr vielen Ebenen.
● Abschätzung:
– Stackgöße: 512x512 Pixel
– 9 MIP-Map Ebenen
– 20 zusätzliche Clip Levels:
– Abdeckung Erdglobus braucht ca. 17Mb.
– Erfüllt die Hardware Requirements.
● Clip
MIP MIP
Grafiken: http://www.realityprime.com/articles/how-google-earth-really-works
18. Hintergrundinformation zu Clipmaps
Detaillierte Beschreibung des ClipMap-
Ansatzes in:
● Tanner, Migdal, Jones (SGI): The
Clipmap: A virtual Mipmap
Grafiken aus Tanner,Migdal, Jones: The Clipmap: A virtual Mipmap
http://www.cs.virginia.edu/~gfx/Courses/2002/BigData/papers/Texturing/Clipmap.pdf
19. GoogleEarth setzt „Standards“
● Standardisierung:
● Möglichst vollständige Unterstützung der aktuellen
KML-Implementierung ist der Gold-Standard für alle
Globus-Browser.
● Datenqualität:
● Keine Aussagen über die Aktualisierung/Qualität der
Hintergrund-Daten
● Geländemodell kann nicht manipuliert werden
● Nutzungsrechte:
● Lizenzen der Hintergrundbilder i.d.R. nicht frei.
20. Kommunikation geowissenschaftlicher Themen
mittels „Mash Ups“
● „MashUp“: Anreicherung der
Standarddarstellung mit zusätzlicher
thematischer Information.
● Beispiel: MashUp der Wellenausbreitung des
Honshu 2011 Tsunami
Http://tsunami.igude.com
Eingebundene externe Datenquellen (KML):
DLR, NOAA, IOC
21. GoogleEarth ist nicht alles
● Hochgenaue photogrammetrische Registrierung von
Raumdatenquellen ?
● Unabhängigkeit von GE-Basisdatensätzen aus Qualitäts- oder
Lizenzgründen ?
● Darstellungs-Export in hoher Auflösungen als Druckvorstufe ?
● „Künstlerische Freiheiten“ bei der Szenengestaltung
(Lichtbrechung in der Atmosphäre, Oberflächeneigenschaften,
etc)
● Es werden beispielhaft drei alternative Softwarelösungen
vorgestellt.
22. Beispiel 1: Globus-Viewer ArcGlobe
● Teil der ESRI ArcGIS Software
● Leichter Import von Geodaten
● Geoid frei manipulierbar
● Erzeugung von Stand-Alone Animationsfilmen.
Visualisierung:
CEGIT (M. Schroeder) 2011
23. Beispiel 2: OSG Earth
● Open Source Globe-Browser
● Geländemodell / Kartenbasis frei
wählbar
Beispiel
● Anaglyphendarstellung Anaglyphendarstellung
● In der Entwicklung:
● Integration in Quantum GIS
● „Open Source ArcGlobe
Äquivalent“
● Möglicher Ausgangspunkt zur
Koppelung mit Rendering- Quantum GIS
Entwicklerversion
Werkzeugen mit OSG Earth
24. Beispiel 3: OSSIM Planet
● Globusbrowser basierend auf
Bildverarbeitungssoftware OSSIM,
OpenSceneGraph and QT
● Globuskarten als Produkt einer
photogrammetrischen Prozesskette.
● Nutzerkreis in Wissenschaft, Industrie und
US-Regierungsstellen
● Client/Server Struktur zur kollaborativen
Auswertung großer Datenmengen
● Kommende Anwendung: Gulf of Mexico
Oilspill 2010 – Datenportal am CSTARS
Institut, U of Miami.
● http://www.ossim.org/OSSIM/ossimPlanet.html
25. Übersicht über weitere Globus-
Browser
● „Comparison of Virtual Globes“: FOSS4G2010, P. Kalberer,
M. Walker
● Technologie-Überblick und Vergleich von 8 Globus-
Browsern (closed source/open source)
● http://www.sourcepole.ch/assets/2010/9/10/foss4g2010_virtual_globes.pdf
Quelle: Comparison of Virtual Globes, FOSS4G 2010
28. Rendering-Werkzeuge für
hochauflösende Darstellungen
Mount Everest:
Darstellung gerendert basierend auf RapidEye-L3A-Daten und SRTM-
DGM. Synthetische Wolken hinzugefügt. Prozessierung mit GRASS
GIS und POV-Ray.
29. Wie funktioniert Rendering ?
● Berechnung einer Ansicht einer definierten virtuellen
Szenerie.
● Basiert auf der Verfolgung einzelner Lichtstrahlen
(„Raytracing“) durch die virtuelle Szenerie.
● Für jeden zu erzeugenden Bildpunkt wird
ein„Sehstrahl“ in das virtuelle Szenenmodell geschickt.
● Fokus liegt einer möglichst realistischen Darstellung. POV-Ray Demo-Szene
● Rechen- und Speicherintensiv
● Szenengestaltung, Kamera- und Lichtquellen werden
durch Steuerskripte definiert.
Wikipedia: POV-Ray
●
● http://hof.povray.org/images/bigthumb/TopMod_StarBall.jpg
30. Persistance of Vision (POV)-Ray
● Ein quelloffenes Rendering-Werkzeug mit großer Nutzerbasis
● C-Code
● Freeware
● Plattformunabhängig
● GUIs:
● Eclipse: POVClipse plugin,
● POV-Ray für Windows / Mac(?)
●
31. POV-Ray: Zugang für GIS-User
● Rendering erfordert (derzeit) mehr Domänenwissen als die
Nutzung von Globus-Browsern.
● Eingeschränkte Anbindungen zur GIS-Domäne bestehen:
● Quantum GIS / GRASS GIS:
– v.out.pov (Vektorexport)
– r.out.pov (Rasterexport)
– Szenenexport (GRASSWiki)
● Minimalanforderung:
GIS
– Export von Oberflächenkarte und
– Geländemodell
Kartographie Rendering Tool
32. Vorstufe: Raycasting
Raycasting ist eine einfache Vorstufe des Raytracings:
● Eine dreidimensionale Szene wird nach festgelegten Vorgaben
(Betrachterstandpunkt / Perspektive) abgetastet, sodass eine
zweidimensionale Abbildung eines Ausschnitts entsteht.
● Das Abtasten eines Strahls ist mit dem Aufeinandertreffen von Strahl und
(erstem) Objekt beendet, es findet also lediglich eine
Verdeckungsberechnung statt. Die an diesem Schnittpunkt festgestellte
Farbe bildet den Bildpunktfarbwert.
● Spiegelungen, Brechungen und Transmissionen des Objekts werden nicht
beachtet.
[http://de.wikipedia.org/wiki/Raycasting]
33. Raytracing
● Raytracing (dt. Strahlverfolgung) ist ein auf der Aussendung von
Strahlen basierender Algorithmus zur Verdeckungsberechnung, also
zur Ermittlung der Sichtbarkeit von dreidimensionalen Objekten von
einem bestimmten Punkt im Raum aus. Ebenfalls mit Raytracing
bezeichnet man mehrere Erweiterungen dieses grundlegenden
Verfahrens, die den weiteren Weg von Strahlen nach dem Auftreffen
auf Oberflächen berechnen [Wikipedia].
● Dabei wird für jedes Pixel des zu generierenden Bildes ein „Sehstrahl
berechnet“: Die Rechenzeit skaliert mit Bildgröße.
●
Wikipedia: Raytracing: A. Dürer (1525)
35. Weiterführende Links I
● Globus-Rendering ist
(noch) ein Nischenthema.
● Aktuelle Informationen in
WIKIs (GRASSWIKI) und
Mailinglisten (POV-Ray).
36. Weiterführende Links II
Webseite mit POV-Ray-Tutorien und
Beispielen:
● http://www.f-lohmueller.de
Planeten-Rendering / Landschaften
● http://www.imagico.de
37. Literatur zum Thema
„Kaffeetischbuch“ mit
Beispielen für
photorealistisches
Rendering von
Fernerkundungsdaten:
● Dech, Messner:
Mountains from Space,
2005
38. Praxis: Landschaftsdarstellung
● 2004: Erste Demonstration der
Nutzung von Geodaten aus
GRASS GIS für POV-Ray.
● GIS-Skripte erzeugen Default- Trentino (M. Neteler 2004)
Steuerdateien für POV-Ray:
Teilweise Kapselung der
Rendering-Expertise
● Zeitaufwand für erste Beispiele:
● Selbststudium (bei installierter
Software): ca. 1 Stunde. Spearfish, South Dakota
● Tutorium: < 5 Minuten
● Vorstufe zur Visualisierung von
Globen
Mount St. Helens
39. Globusbrowser / Rendering:
Unterschiedliche Ansätze
● Globusbrowser basieren auf defininierten Annahmen über den
Globus die nur bedingt manipuliert werden können.
● Rendering-Werkzeuge erfordern Overhead, da die „Globus-Szenerie“
komplett definiert werden muss. Dadurch ergeben sich Freiräume in
der Darstellungsform.
Zitat: :“This is a sparring program, similar to the program reality of the
Matrix. It has the same basic rules like gravity. What you must learn is
that these rules are no different than rules of a computer system.
Some of them can be bent, others can be broken. Understand? ...“
„The Matrix“, 1999
40. Kreative Freiheiten
● Die Szenengestaltung erweckt erst beim Betrachter
den Eindruck einer Globusdarstellung.
● GIS-übliche Paradigma der „realitätsnahen
Darstellung“ wird optional.
Pseudo- Pseudo-
realistische realistische
Irreale
Darstellung Darstellung
Darstellungen
thematischer thematischer
Information Information
41. Praxis: Globendarstellung
„CEGIT
● Geodaten (Geländemodell, Standardglobus“
Rasterkarte[n]) werden auf
eine Kugel projeziert.
● Ein Steuerskript definiert
Kameraposition, Standardglobus
überlagert mit
Blickrichtung, Beleuchtung TRIDEC
und weitere Effekte Tsunamisimulation
● Der Fokus der Arbeiten am
CEGIT liegt auf der
Entwicklung einer leicht
nutzbaren GIS/Renderer-
Schnittstelle.
Bearbeitungsfehler bei
manueller Bearbeitung
42. Beispielanwendung
Abdeckung der japanischen Ostküste 24
Stunden nach dem Honshu Tsunami mit
RapidEye- Satellitendaten (ca. 45000km^2)
47. Globus-Browser vs. Rendering
Darstellung des Datensatzes "EIGEN-6C" (Potsdamer Schwerekartoffel)
Ausführung in ArcGlobe GFZ- Ausführung in POV-Ray
CEGIT(M.Schroeder), 2011 GFZ Sektion 2.3 (M. Rother), 2011
48. Rendering auf Compute-Clustern
● Compute-Clatser stehen an Universitäten und
Forschungszentren zur Verfügung.
● Eine große Anzahl von Rechnerknoten wird über ein
zentrales Portal mit Jobs bestückt.
● Jeder Knoten verfügt über eigene Kerne und Speicher
● Das Rendering mehrerer Einzelbilder (→ Animationen)
kann parallel erfolgen.
● Das Rendering einzelner Teilsegmente eines sehr
großen Einzelbildes kann auf mehrere Knoten/Jobs
aufgespalten werden.
49. Rendering-Wissensspeicher am
GeoForschungsZentrum Potsdam
● Die FOSSLAB-Plattform des Zentrums für Geoinformation am
GFZ wird als Kompetenzspeicher („Community and
Documentation“) dienen:
http://fosslab.gfz-potsdam.de
50. Fazit und Ausblick
● Sowohl Globus-Browser wie Rendering sind geeignete
Visualisierungswerkzeuge für geowissenschaftliche
Informationen.
● Das Werkzeug sollte entsprechend der Aufgabe gewählt
werden:
● „WebCam“
● „Kunstfotografie“
51. Danke für die Aufmerksamkeit !
Peter Löwe
Zentrum für GeoInformationsTechnologie (CEGIT)
Deutsches GeoForschungsZentrum
ploewe@gfz-potsdam.de