Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Nederland Ontsloten! 
Just van den Broecke 
OSGeo.nl Dag - Den Bosch - 25 nov 2014 
just@justobjects.nl
DRIE PETTEN 
Onafhankelijk Open 
Geo-ICT Professional 
justobjects.nl 
Lid van de 
OpenGeoGroep (NL) 
www.opengeogroep.nl ...
Nederland Ontsloten ?
Van Bron 
Naar Toepassing 
met Open Geo Data
Nuttige Dingen Doen 
Met Open Geo Data
1/1/2012 
Basisregistraties 
Worden Open Data!
We kunnen 
Downloaden bij 
PDOK!!
Bijvoorbeeld 
Top10 NL en BAG 
Binnenhalen....
Maar Wat Dan?
Bakken met XML/ 
GML......
GML ? 
XML 
Hoe maken we daar 
een kaart mee?
? 
GML 
XML 
Of bijv een adres-zoeker?
? 
GML 
XML 
Eerst inlezen in 
PostGIS....
GML 
Met NLExtract 
XML 
Dus!! 
NLExtract
Wat is NLExtract ?
Open Source 
Tools om vrije 
Nederlandse 
overheids-­geodata te 
converteren en te 
visualiseren
NLExtract - Welke Datasets ? 
BAG -­ Basis Registratie Adressen en Gebouwen 
BRT/Top10NL -­ Topografische Kaart 
BGT -­ Gr...
NLExtract 
Praktijk 
Voorbeelden
NLExtract: 
BAG + Top10NL 
+WMS/Tiling + App
BAG in CitySDK
BGT in QGIS
Georefereren + aansluiten 
Bonnebladen
NLExtract Technologie 
ogr2ogr 
www.gdal.org Python 
QGIS 
Stetl
Meer weten, 
meedoen en/of 
sponsoren ?
www.nlextract.nl
NLExtract Plannen 
Downloads! 
Services! 
Apps! 
3D!!
http://data.nlextract.nl 
Downloads
NLExtract Plannen 
Downloads 
Services! 
Apps! 
3D!
http://app.nlextract.nl 
OpenTopo Tiles (TMS/WMTS) in Leaflet App
NLExtract Plannen 
Downloads 
Services 
Apps 
3D!!
What the…FGDB?!
FGDB naar GeoJSON en GML met ogr2ogr
Visualiseren met CesiumJS
Cesium is Cool!
Cesium is Cool (hier letterlijk) !
CesiumJS - SantaTracker
OpenTopo in CesiumJS
Zon in de Zee zien zakken in …
Top103D Gebouwen
Cesium - OpenLayers3 Integratie
Doorbraak 3D? 
Er kan nog veel meer met 
3D Open Source en 
NL Open Geo-Data 
Vector3D Tiles? 
AHN2 Terrain Server?
Samengevat 
• Ruwe data verwerking met NLExtract (en Stetl) 
• Opslaan in PostGIS (vector) en GeoTIFF (raster) 
• Serveren...
Dank U
Stetl 
Indien tijd over ;-)
Programma per Dataset?
Inlezen 
Omzetten 
Wegschrijven
Extract 
Transform 
Load
ETL
FOSS ETL - High Level
FOSS ETL - Lower Level 
ogr2ogr 
Individueel krachtig maar 
kan vaak slechts deel van ETL uitvoeren
FOSS ETL - Hoe Combineren? 
+ + = ? 
ogr2ogr
FOSS ETL - Add Python to Equation 
( + + ) = ? 
ogr2ogr
( ) 
+ + = 
ogr2ogr 
Stetl
Stetl 
= 
Simple 
Streaming 
Spatial 
Speedy 
ETL
http://www.stetl.org
Stetl 
Concepten
Processing Keten 
Bron Doel 
Input Filter Filter Output 
Stetl concepten
Processing Keten 
Input Filter Output 
gml 
Filter 
Stetl concepten
Voorbeeld - XML naar Shapefile 
XML 
Input 
XSLT 
Filter 
ogr2ogr 
Output 
XML 
GML
Voorbeeld - Eigen Component 
Any 
Input 
My! 
Filter 
Any 
Output
Voorbeeld - XML naar Shapefile 
Stetl Configuratie File 
Process 
Chain 
XML 
XSLT 
Input 
Filter 
ogr2ogr 
Output
Example Components 
Input Filters Output 
File (XML, GML, CSV) XSLT (Multi)File (GML, GeoJSON,..) 
GDAL/OGR XMLAssembler G...
Speed: Streaming 
Input Filter Output 
gml 
Stetl concepts
Speed: Going Native 
Input Filter Output 
gml 
Calls 
ogr2ogr Stetl Stetl 
Native C Libs/Progs 
Stetl concepts
Stetl Uitvoeren 
stetl -c etl.cfg
Stetl Installeren 
via PyPi 
sudo pip install stetl 
Deps 
•GDAL+Python bindings! 
•lxml (xml proc)! 
•psycopg2 (Postgres)
Stetl - Praktijk ! 
• Basisregistraties 
GML to PostGIS: Top10NL, BGT 
• INSPIRE 
transformatie BAG naar Addresses 
• RIVM...
BGT - Dutch Large Scale Topo
2. Data Transformation (ETL) 
Stetl 
RIVM 
AQ 
Stetl 
Stetl 
Stetl
RIVM Luchtkwaliteit via WMS-Time 
4. Clients
Clients - SOS - SOS.js - 52N 
4. Clients
Samengevat 
• Ruwe data verwerking met NLExtract en Stetl 
• Opslaan in PostGIS (vector) en GeoTIFF (raster) 
• Serveren m...
Dank U
NLExtract Artikel Geo-info 2013 - 8/9
www.nlextract.nl 
! 
bezoek ook de 
OpenGeoGroep Stand
Stetl 
http://www.stetl.org
Nederland Ontsloten! OSGeo.nl Dag 2014
Nederland Ontsloten! OSGeo.nl Dag 2014
Nederland Ontsloten! OSGeo.nl Dag 2014
Nederland Ontsloten! OSGeo.nl Dag 2014
Nederland Ontsloten! OSGeo.nl Dag 2014
Nederland Ontsloten! OSGeo.nl Dag 2014
Nederland Ontsloten! OSGeo.nl Dag 2014
Nächste SlideShare
Wird geladen in …5
×

Nederland Ontsloten! OSGeo.nl Dag 2014

1.120 Aufrufe

Veröffentlicht am

My talk on the OSGeo.nl Day 2014 on nov 25, 2014, Den Bosch. This event was organized by the OSGeo.nl, the Dutch Language Chapter of OSGeo.org and embedded in the GeoBuzz conference. Main subject is how to transform and visualize (unlock) Dutch Open Geo-datasets using open source tools like NLExtract (http://nlextract.nl), Stetl (http://www.stetl.org). In particular, there is a last minute addition on unlocking 3D data, Top10NL3D, using CesiumJS (http://www.cesiumjs.org) , an Open Source browser/WebGL-based 3D visualization framework ala Google Earth (but open and without plugins). The 3D part of this talk was also given the same day at the "3D Doorbraak" workshop (Jantien Stoter et al).

Veröffentlicht in: Software
  • Als Erste(r) kommentieren

Nederland Ontsloten! OSGeo.nl Dag 2014

  1. 1. Nederland Ontsloten! Just van den Broecke OSGeo.nl Dag - Den Bosch - 25 nov 2014 just@justobjects.nl
  2. 2. DRIE PETTEN Onafhankelijk Open Geo-ICT Professional justobjects.nl Lid van de OpenGeoGroep (NL) www.opengeogroep.nl Secretaris OSGeo.nl 1. Intro
  3. 3. Nederland Ontsloten ?
  4. 4. Van Bron Naar Toepassing met Open Geo Data
  5. 5. Nuttige Dingen Doen Met Open Geo Data
  6. 6. 1/1/2012 Basisregistraties Worden Open Data!
  7. 7. We kunnen Downloaden bij PDOK!!
  8. 8. Bijvoorbeeld Top10 NL en BAG Binnenhalen....
  9. 9. Maar Wat Dan?
  10. 10. Bakken met XML/ GML......
  11. 11. GML ? XML Hoe maken we daar een kaart mee?
  12. 12. ? GML XML Of bijv een adres-zoeker?
  13. 13. ? GML XML Eerst inlezen in PostGIS....
  14. 14. GML Met NLExtract XML Dus!! NLExtract
  15. 15. Wat is NLExtract ?
  16. 16. Open Source Tools om vrije Nederlandse overheids-­geodata te converteren en te visualiseren
  17. 17. NLExtract - Welke Datasets ? BAG -­ Basis Registratie Adressen en Gebouwen BRT/Top10NL -­ Topografische Kaart BGT -­ Grootschalige Topografie AHN - Hoogtebestand Top10NL3D !!! Bonnebladen (historische kaarten)
  18. 18. NLExtract Praktijk Voorbeelden
  19. 19. NLExtract: BAG + Top10NL +WMS/Tiling + App
  20. 20. BAG in CitySDK
  21. 21. BGT in QGIS
  22. 22. Georefereren + aansluiten Bonnebladen
  23. 23. NLExtract Technologie ogr2ogr www.gdal.org Python QGIS Stetl
  24. 24. Meer weten, meedoen en/of sponsoren ?
  25. 25. www.nlextract.nl
  26. 26. NLExtract Plannen Downloads! Services! Apps! 3D!!
  27. 27. http://data.nlextract.nl Downloads
  28. 28. NLExtract Plannen Downloads Services! Apps! 3D!
  29. 29. http://app.nlextract.nl OpenTopo Tiles (TMS/WMTS) in Leaflet App
  30. 30. NLExtract Plannen Downloads Services Apps 3D!!
  31. 31. What the…FGDB?!
  32. 32. FGDB naar GeoJSON en GML met ogr2ogr
  33. 33. Visualiseren met CesiumJS
  34. 34. Cesium is Cool!
  35. 35. Cesium is Cool (hier letterlijk) !
  36. 36. CesiumJS - SantaTracker
  37. 37. OpenTopo in CesiumJS
  38. 38. Zon in de Zee zien zakken in …
  39. 39. Top103D Gebouwen
  40. 40. Cesium - OpenLayers3 Integratie
  41. 41. Doorbraak 3D? Er kan nog veel meer met 3D Open Source en NL Open Geo-Data Vector3D Tiles? AHN2 Terrain Server?
  42. 42. Samengevat • Ruwe data verwerking met NLExtract (en Stetl) • Opslaan in PostGIS (vector) en GeoTIFF (raster) • Serveren met GeoServer/MapServer/Tiling etc • Visualiseren: QGIS, Leaflet, OpenLayers, CesiumJS etc • 3D mogelijkheden te over!
  43. 43. Dank U
  44. 44. Stetl Indien tijd over ;-)
  45. 45. Programma per Dataset?
  46. 46. Inlezen Omzetten Wegschrijven
  47. 47. Extract Transform Load
  48. 48. ETL
  49. 49. FOSS ETL - High Level
  50. 50. FOSS ETL - Lower Level ogr2ogr Individueel krachtig maar kan vaak slechts deel van ETL uitvoeren
  51. 51. FOSS ETL - Hoe Combineren? + + = ? ogr2ogr
  52. 52. FOSS ETL - Add Python to Equation ( + + ) = ? ogr2ogr
  53. 53. ( ) + + = ogr2ogr Stetl
  54. 54. Stetl = Simple Streaming Spatial Speedy ETL
  55. 55. http://www.stetl.org
  56. 56. Stetl Concepten
  57. 57. Processing Keten Bron Doel Input Filter Filter Output Stetl concepten
  58. 58. Processing Keten Input Filter Output gml Filter Stetl concepten
  59. 59. Voorbeeld - XML naar Shapefile XML Input XSLT Filter ogr2ogr Output XML GML
  60. 60. Voorbeeld - Eigen Component Any Input My! Filter Any Output
  61. 61. Voorbeeld - XML naar Shapefile Stetl Configuratie File Process Chain XML XSLT Input Filter ogr2ogr Output
  62. 62. Example Components Input Filters Output File (XML, GML, CSV) XSLT (Multi)File (GML, GeoJSON,..) GDAL/OGR XMLAssembler GDAL/OGR LineStream XMLValidator WFS-T SQLite FormatConverter HTTP WFS FeatureExtractor SOS-T PostGIS Jinja2Filter PostGIS YourInput YourFilter YourOutput Stetl concepten
  63. 63. Speed: Streaming Input Filter Output gml Stetl concepts
  64. 64. Speed: Going Native Input Filter Output gml Calls ogr2ogr Stetl Stetl Native C Libs/Progs Stetl concepts
  65. 65. Stetl Uitvoeren stetl -c etl.cfg
  66. 66. Stetl Installeren via PyPi sudo pip install stetl Deps •GDAL+Python bindings! •lxml (xml proc)! •psycopg2 (Postgres)
  67. 67. Stetl - Praktijk ! • Basisregistraties GML to PostGIS: Top10NL, BGT • INSPIRE transformatie BAG naar Addresses • RIVM Luchtmetingen naar WMS-Time en SOS EU Air Quality/INSPIRE Reporting • UK Ordance Survey Mastermap
  68. 68. BGT - Dutch Large Scale Topo
  69. 69. 2. Data Transformation (ETL) Stetl RIVM AQ Stetl Stetl Stetl
  70. 70. RIVM Luchtkwaliteit via WMS-Time 4. Clients
  71. 71. Clients - SOS - SOS.js - 52N 4. Clients
  72. 72. Samengevat • Ruwe data verwerking met NLExtract en Stetl • Opslaan in PostGIS (vector) en GeoTIFF (raster) • Serveren met GeoServer/MapServer/Tiling etc • Visualiseren met QGIS en Heron
  73. 73. Dank U
  74. 74. NLExtract Artikel Geo-info 2013 - 8/9
  75. 75. www.nlextract.nl ! bezoek ook de OpenGeoGroep Stand
  76. 76. Stetl http://www.stetl.org

×