CKAN by Friedrich Lindenberg

1.090 Aufrufe

Veröffentlicht am

Presentation at the OGD2011 conference taking place in Vienna on the 16th of June 2011 as well as at the LOD2 CKAn workshop on 15th of June 2011: CKAN by Friedrich Lindenberg, Open Knowledge Foundation.
(License: CC-BY 3.0)

Veröffentlicht in: Technologie, Bildung
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.090
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
3
Aktionen
Geteilt
0
Downloads
22
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

CKAN by Friedrich Lindenberg

  1. 1. LOD2 CKAN Workshop Wien - 15.6.2011
  2. 2. Warum?
  3. 3. Kernfragen✓ Welche Lizenz?✓ Welche Formate?✓ Welche Inhalte?✓ Dann: ✓ Aktualität ✓ Vollständigkeit ✓ Bezugsraum, ...
  4. 4. Informationsarchitektur
  5. 5. Daten-Ökosystem
  6. 6. Beispiel: Ausgaben UK
  7. 7. November 2011:Veröffentlichung Ausgaben der zentralenRegierung > £ 25.000, lokal: > £ 500
  8. 8. 7 Monate später• 557 Datenpakete• 588 Behörden• 3327 Tabellen (CSV, Excel, HTML)
  9. 9. Datenbereinigung • Abruf per CKAN-API (data.gov.uk) • Formatkonvertierung (SQLite) • Vereinheitlichung von Ministerien und Behörden (Google Spreadsheet) • Verbindung mit OpenCorporates (Unternehmens-Registernummern) • Als neues CKAN-Paket bereit gestellt (ckan.net)
  10. 10. Weiternutzung
  11. 11. Was ist CKAN? (I)• Open Source-Projekt, etwa 12 Kernentwickler• Nutzer: data.gov.uk, data.norge.no, hri.fi, register.data.overheid.nl, iatiregistry.org• ckan.net und ~ 24 Community-Instanzen
  12. 12. Was ist CKAN? (II)• Datenkatalog, kein Repositorium • (Archiv & Speicherung als Erweiterung)• flexibles Metadatenschema • Kernelemente ~ Dublin Core + Ressourcen• Versionierung aller Metadaten
  13. 13. Was ist CKAN? (III)• Ein Wiki für Metadaten• Vision: GitHub/SourceForge für Datenquellen• Community von aktiven Datennutzern einbinden (auch für Regierungsseiten)• Verschiedene Metaphern (CPAN = Perl Packet-Verzeichnis)
  14. 14. Beispiel: LOD Cloud
  15. 15. Metadaten• Kernelemente und “Extras”• anpassbare Formulare im Webfrontend• durch data.gov.uk: Konventionen für Extra-Felder (auch in data.norge.no, hri.fi, overheid.nl)
  16. 16. Theming
  17. 17. Content Management• “Wordpresser”-Erweiterung zur Anbindung an Wordpress• Integration mit Drupal bei data.gov.uk (Open Source)
  18. 18. Geodaten (I)
  19. 19. Geodaten (II)• CSW-Harvester und Endpunkt• GEMINI 2.1 (~> INSPIRE)• sammelt Kataloge aus England und den anghängten Ländern• Übergabe via Ordnance Survey an EC• Experimentelle Geo-Suche, WMS- Preview
  20. 20. Publisher• Institutionen-Modell• Freischaltung von Behörden• Nutzergruppen
  21. 21. Moderierte Eingaben
  22. 22. Schnittstelle• REST-API mit JSON und RDF-Support• Bibliotheken für Python, PHP, Ruby• Nutzung: • Paketimport (Excel-Sheets) • Metadatenanreicherung
  23. 23. Metadatenbereinigung
  24. 24. publicdata.eu• Portal als Forschungs-Prototyp für data.eu• Föderierung von Datenkatalogen aus Europa• Integration & Anreicherung der Metadaten• Standardisierung von DCat
  25. 25. Scraping
  26. 26. DCat• Standardisierungsdiskussion läuft (Workshop Anfang Mai)• Partner: RPI, CTIC, LOD2, CSI Piemonte etc.• RDF mit DC Terms und Ressourcen• Gemeinsame Harvesting-API• datacatalogs.org• GLD WG im W3C neu gestartet• SKOS?
  27. 27. • 430 Teilnehmer aus 23 EU-Staaten• Preisvergabe bei der Digital Assembly
  28. 28. Apps-Katalog
  29. 29. Ressourcen • CKAN Projektseite - http://ckan.org • CKAN Wiki - http//wiki.ckan.net • PublicData.eu-Portal - http://publicdata.eu • Open Data Manual - http://www.opendatamanual.org • Open Defintion - http://opendefintion.org • Allg. Informationen - http://opengovernmentdata.org/Folien: CC-BY, Friedrich Lindenberg, genutzte Bilder: London Traffic Lights (WikimediaCommons); Francis Maude at data.gov.uk Event (Guardian), Screenshots
  30. 30. Teil II: Hands-on
  31. 31. Technik• Python-Anwendung, Pylons MVC- Framework• PostgreSQL-Datenbank• Apache/mod_wsgi oder uwsgi• Optionale Abh.: Apache Solr, RabbitMQ
  32. 32. Modularisierung
  33. 33. Installation• Debian Packages für Ubuntu LTS• Extensions werden als Packages verteilt• Solr und RabbitMQ getrennt installieren
  34. 34. Anpassung• ckanext-exampletheme ableiten• Formulare als Python-Modul anpassen• Themes sind Template-Overlays• HTML-Struktur enspricht Wordpress• Lokalisierung via transifex.net
  35. 35. Sicherheit• Authentifizierung via Login, OpenID, API Key• Authorisierung via Rollen und Aktionen • ACL für jedes Packet, jede Gruppe • globale Defaults sind konfigurierbar • AuthzGroups für Nutzergruppen
  36. 36. API• /api/X/rest - Versioniert• /api/2/rest/package - REST Collection (GET, POST), auf Entities: GET, PUT.• Beispiele in ckanext-pdeu/scripts
  37. 37. Revisionen• Copy on Write in Spiegel-Tabelle• Revisionen können gelöscht werden• Quelle für RSS-Feeds
  38. 38. Queue• Hintergrundverarbeitung durch Queue • Solr Index Aktualisierung • Triple Store sync • Archivierung • Webhooks
  39. 39. Speicherung• Noch im Beta-Stadium• Nutzt Dateisystemabstraktion (OFS) • S3, Archive.org, Google Storage • REST Forward, Pairtree Dateisystem

×