Open Data und Datenvisualisierungen

Universität Zürich Lunchveranstaltung: Open Data und Datenvisualisierungen
128. November 2018 – Forschungsstelle Digitale Nachhaltigkeit
Universität Zürich Lunchveranstaltung
Open Data und Datenvisualisierungen
28. November 2018, Universität Zürich
Dr. Matthias Stürmer
Forschungsstelle Digitale Nachhaltigkeit
Institut für Wirtschaftsinformatik
Universität Bern

Matthias Stürmer
> Seit 2013 Leiter der Forschungsstelle Digitale Nachhaltigkeit an der Universität Bern,
Dozentur für Digitale Nachhaltigkeit am Institut für Wirtschaftsinformatik
> 2010 bis 2013 bei EY (Ernst & Young) als Senior Consultant/Manager im IT Advisory:
Beratung zu Open Source Software, Open Data und Social Media
> 2009 bis 2010 Business Development und Projektleiter bei Liip AG
> 2006 bis 2009 Assistent an der ETH Zürich bei Prof. Georg von Krogh
am Lehrstuhl für Strategisches Management und Innovation
> 2000 bis 2005 Studium Betriebswirtschaft und Informatik an der
Universität Bern, Lizenziatsarbeit zu Open Source Community Building
> Seit 2017 Mitglied Arbeitsgruppe Smart Capital Region der Hauptstadtregion Schweiz
> Seit 2016 Präsident Verein Digital Impact Network
> Seit 2012 Mitgründer und Vorstandsmitglied Verein Opendata.ch
> Seit 2009 Geschäftsleiter Parlamentarische Gruppe Digitale Nachhaltigkeit
> Seit 2006 Vorstandsmitglied Verein CH Open
> Seit 2011 EVP-Stadtrat von Bern
Dr. Matthias Stürmer
Dozentur und Leiter
Universität Bern
Institut für Wirtschaftsinformatik
Engehaldenstrasse 8
CH-3012 Bern
Telefon: +41 31 631 38 09
Mobile: +41 76 368 81 65
Tel: +41 31 631 38 79 (Sekretariat)
Twitter: @maemst
matthias.stuermer@iwi.unibe.ch
www.digitale-nachhaltigkeit.unibe.ch

> Seit 2014 am Institut für Wirtschaftsinformatik, Team von 22 Mitarbeitenden
> Forschung (u.a. 2 laufende SNF-Projekte) zu digitaler Nachhaltigkeit, Open
Source Software, Blockchain und Smart Contracts, Open Data und Linked
Data, Open Government und Smart City, öffentliche Beschaffungen
> Vorlesungen zu Open Data (Programmier-Übung zu JavaScript etc.),
digitaler Nachhaltigkeit, Requirements Engineering, Betreuung von über
40 abgeschlossener Bachelor- und Masterarbeiten
> Praxis-Angebote zu ICT-Beschaffungen: CAS ICT-Beschaffungen,
IT-Beschaffungskonferenz, Weiterbildungstage, Roundtables,
Plattformen www.beschaffungsstatistik.ch und www.intelliprocure.ch
> Dienstleistungen (Beratung, Gutachten, Studien, Prototyping) für
Hochschulen, Bundesverwaltung, Kantone, Städte, Firmen und Verbände
> Zusammenarbeit mit Hauptstadtregion Schweiz (Smart Capital Region) etc.

Tätigkeiten der Forschungsstelle zu Open Data
> Vorlesung und Übung zu Open Data für alle interessierten Studierenden auf BA- und MA-Stufe
> Forschung zu Open Data und Linked Data inkl. Betreuung von Bachelor- und Masterarbeiten
> Datenvisualisierungen und Pilot-Anwendungen für Behörden, Hochschulen, Firmen etc.
> Open Data Show Room für Datenvisualisierungen: www.opendata.iwi.unibe.ch
> Open Data Hack Days, Opendata.ch Konferenz und andere Open Data Events

Agenda
1. Einführung Open Data
2. Open Data in der Schweiz und international
3. Entwicklung von interaktiven
Datenvisualisierungen
4. Beispiele von Datenvisualisierungen und
Ausblick auf Open Data Übung

728. November 2018 – Forschungsstelle Digitale Nachhaltigkeit 7https://www.wired.com/insights/2014/07/data-new-oil-digital-economy/
https://www.economist.com/leaders/2017/05/06/the-worlds-
most-valuable-resource-is-no-longer-oil-but-data

Wirtschaftswachstum mit Open Data
Quelle: McKinsey Report 2013 “Open data: Unlocking innovation and performance with liquid information”

Open Data in der EU
Quelle: http://www.europeandataportal.eu/sites/default/files/edp_creating_value_through_open_data_0.pdf

1028. November 2018 – Forschungsstelle Digitale Nachhaltigkeit 10
Bild: https://www.mysciencework.com

Beispiel Ubique-App Viadi und SBB Mobile-App
Quelle: Master Thesis of Simon Keller, 30 December 2016, ”The Impact of Open Government Data in the Case of Public Transport”

Definition von Open Data
Grundsatz: Open Data umfassen nicht Personen-bezogene und
nicht Sicherheits-relevante Daten
10 Prinzipien von Open Data:
1. Vollständigkeit: Alle öffentlichen Daten werden verfügbar gemacht.
2. Primärquelle: Die Daten werden an ihrem Ursprung gesammelt.
3. Zeitnah: Daten werden umgehend zur Verfügung gestellt.
4. Zugänglich: Daten werden allen für möglichst viele Verwendungszwecke bereit gestellt.
5. Maschinenlesbar: Daten sind in einem offenen, strukturiertem Format gespeichert.
6. Nicht diskriminierend: Daten sind allen ohne Registrierung verfügbar.
7. Nicht proprietär: Zur Dateninterpretation wird keine proprietäre Software benötigt.
8. Freie Lizenz: Daten sind unter einer freien Lizenz (z.B. Open Government Licence).
9. Permanent verfügbar: Datenbestände sind permanent online und versioniert verfügbar.
10. Kostenlos: Der Zugriff auf die Daten ist kostenlos.
Quellen: http://sunlightfoundation.com/policy/documents/ten-open-data-principles/ http://www.netzpolitik.org/2010/8-open-government-data-prinzipien/

Argumente für die Öffnung von Behördendaten
1. Anrecht auf freie Daten
Den Bürgern gehören die Behördendaten, denn sie wurden im Auftrag des Staates
mit Steuergeldern erarbeitet.
2. Demokratie
Freier und ungehinderter Datenzugang sind Voraussetzung für Meinungsbildung und
Partizipation an politischen Prozessen.
3. Wirtschaftlichkeit
Durch öffentliche Daten werden Prozesse und Missstände sichtbar, somit werden
behörden-interne Vorgänge verbessert.
4. Innovation
Das Innovationspotential von Open Government Data wird als hoch eingeschätzt,
somit bilden freie Behördendaten einen wirtschaftlichen Vorteil.
Quelle: http://www.collaboratory.de/w/Abschlussbericht_Offene_Staatskunst

Ökonomische Studie OGD Schweiz, 2013
> Jährlicher Wertschöpfungsanteil aus OGD in
der Schweiz zwischen 900 Millionen und
1.2 Milliarden Franken
> Jährlicher Nettonutzen von OGD für den
Bund liegt zwischen
2.9 Millionen und 20.3 Millionen Franken.
> Auf Gebühren (u.a. Geodaten)
kann verzichtet werden.
Quelle: https://www.egovernment.ch/index.php/download_file/force/347/3337/

Herausforderungen bei der
Freigabe von Open Data
1. Strategie: Datenfreigabe darf Geschäftsmodell (z.B. Grundlagen für Geschäftsgeheimnis) bzw.
Finanzierungsmodell (z.B. gesetzliche Gebührenpflicht) nicht negativ beeinflussen
Lösungsansatz: Datenfreigabe passt zur Organisations-Strategie
2. Datenschutz: Grundsätzlich keine Freigabe von Personendaten, Schutz der Privatsphäre hat sehr hohe Priorität,
keine De-Anonymisierung möglich
Lösungsansatz: Auslassen von kritischen Datenfeldern
3. Sicherheit: Menschenleben und Staatssicherheit dürfen nicht gefährdet werden
Lösungsansatz: Auslassen von kritischen Datenfeldern
4. Datenqualität: Qualität der Daten wird durch Open Data sichtbar
Lösungsansatz: Freizugebende Daten bezüglich Vollständigkeit, Genauigkeit, Aktualität, Konsistenz und
Fehlerfreiheit prüfen
5. Externes Interesse: Einschätzung des öffentlichen Interesses ist schwierig
Lösungsansatz: Überlegen wer sich für Daten interessiert, Zielgruppen ansprechen
6. Aufwand: Daten maschinenlesbar zu machen kann aufwändig sein
Lösungsansatz: Kosten-Nutzen Überlegungen bei Datenaufbereitung, priorisieren
Quelle: «Governance bei der Freigabe von Open Data» 2016, Matthias Stürmer http://boris.unibe.ch/id/eprint/105149

Scheinargumente gegen Open Data
Nicht stichhaltige Gründe gegen Freigabe von Open Data:
> Haftung: Datennutzer trägt die Verantwortung für Verwendung der Daten,
nicht die Stelle, welche die Daten veröffentlicht
> Möglichkeit von Fehlinterpretation: Externe können auch komplexe Daten
sehr wohl verstehen wenn sie gut dokumentiert sind (bspw.
Begleitinformationen, Leitfäden und FAQs)
> Diskriminierung: Gefahr von Stigmatisierung von Bevölkerungsgruppen
oder Wohnbezirke besteht bei gewissen Themen, aber nur durch
Transparenz werden Missstände sichtbar und Massnahmen werden ergriffen
Quelle: «Governance bei der Freigabe von Open Data» 2016, Matthias Stürmer http://boris.unibe.ch/id/eprint/105149

Was heisst «maschinenlesbar»?
5 Star Open Data Model
von Tim Berners-Lee
Quelle: http://5stardata.info

Open Data Lizenzen
1. Open Data Lizenzen:
— Public Domain Dedication and License (PDDL) (entspricht CC0)
— Open Data Commons Attribution (ODC-By) (entspricht CC-BY)
— ODC Open Database License (ODbL) (entspricht CC-BY-SA)
2. Creative Commons Lizenzen:
— Creative Commons Zero CC0 (Public Domain)
— Creative Commons Attribution CC-BY
— Creative Commons Share Alike CC-BY-SA
Quellen: http://opendatacommons.org/licenses/ http://opendefinition.org
https://creativecommons.org

Agenda

Öffentlichkeitsgesetz als Grundlage für Open
Government Data
> Öffentlichkeitsgesetz und Öffentlichkeitsverordnung
seit 1. Juli 2006 in Kraft
> Paradigmenwechsel:
Vom Grundsatz der Geheimhaltung mit
Öffentlichkeitsvorbehalt zum Grundsatz der Öffentlichkeit
mit Geheimhaltungsvorbehalt
> Vor 2006 Geheimhaltungsgrundsatz:
Freies Ermessen der Behörden ob sie Zugang geben oder
nicht
> Seit 2006 Öffentlichkeitsprinzip:
Durchsetzbares Recht auf Zugang zu amtlichen
Dokumenten
Quelle: Medienmitteilung, Eidgenössisches Justiz- und Polizeidepartement, 24.05.2006
http://www.ejpd.admin.ch/content/ejpd/de/home/dokumentation/mi/2006/2006-05-241.html

Parlamentarische Gruppe
Digitale Nachhaltigkeit (Parldigi)
> Gegründet 2009, Mitglieder sind rund 50 National-
und Ständeräte aus allen Schweizer Parteien
> Setzt sich ein für
— freien Zugang zu Wissensgütern
— Open Source Software
— Open Standards
— Open Government Data
— Open Content
> Organisiert Parlamentarier-Dinner, Roundtables,
Open Hearings etc.
Link: https://www.digitale-nachhaltigkeit.ch

Politische Vorstösse zu OGD
> Aktueller Stand von Open Government Data in der Schweiz
02.03.2011 – Frage 11.5039 – Edith Graf-Litscher
> Potenzial von Open Government Data in der Schweiz
02.03.2011 – Frage 11.5040 – Edith Graf-Litscher
> E-Government und Open Government Data
12.04.2011 – Interpellation 11.3346 – Christian Wasserfallen
> Anwendung des Öffentlichkeitsgesetzes
13.04.2011 – Interpellation 11.3358 – Edith Graf-Litscher
> Open Government Data. Wie weiter?
14.04.2011 – Interpellation 11.3445 – Kathy Riklin
> Öffnung der Datenbestände des Bundes. Open Government Data
28.09.2011 – Motion 11.3871 – Edith Graf-Litscher
> Masterplan für Open Government Data
29.09.2011 – Postulat 11.3902 – Kathy Riklin
> Open Government Data als strategischer Schwerpunkt im E-Government
29.09.2011 – Postulat 11.3884 – Christian Wasserfallen
Quelle: http://www.digitale-nachhaltigkeit.ch/vorstoesse/

Gründung Verein Opendata.ch im 2012
Quelle: https://opendata.ch/2012/01/vereinsgrundung-opendata-ch-am-19-januar-2012-in-bern/

Seit 2012 Opendata.ch Hackdays, z.B. in Bern

2013 Open Finance Hackdays in Bern
Quelle: https://opendata.ch/projects/make-opendata-ch-2013-finance/

Aktuelles Opendata.ch Projekt: Open Food Data

OGD Strategie Schweiz 2014-2018
> Vom Bundesrat am
16. April 2014 verabschiedet
> Inhalt OGD Strategie Schweiz:
— Vision
— Zielsetzungen
— Rahmenbedingungen
— Umsetzung
> Verantwortlich für Umsetzung:
Schweizerisches Bundesarchiv
Quelle: https://www.news.admin.ch/message/index.html?lang=de&msg-id=52688

Vision OGD Strategie Schweiz
> OGD ermöglicht Innovation und wirtschaftliches Wachstum
Innovative Unternehmen können neue Informationsdienstleistungen entwickeln,
Lebensqualität verbessert sich, neue wissenschaftliche Erkenntnisse über
Entwicklung der Schweiz möglich
> OGD fördert Transparenz und Partizipation
Tätigkeit von Regierung und Verwaltung werden transparenter, Bevölkerunge kann
politische Rolle und gesellschaftliche Verantwortung kompetenter wahrnehmen
> OGD erhöht die Effizienz der Verwaltung
Behörden können eigenen Daten über politische und organisatorische Grenzen
hinweg besser nutzen, Datenqualität dank Nutzer-Rückmeldungen verbessern

Zielsetzungen
> Freigabe der Behördendaten
Bund stellt Öffentlichkeit geeignete Daten in maschinenlesbaren und offenen
Formaten zur freien Wiederverwendung zur Verfügung, alle Rahmenbedingungen
sind angepasst, "Open Data by Default"
> Koordinierte Publikation und Bereitstellung der Behördendaten
Zentrale Infrastruktur für Datenbestände aufbauen, Publikation der Metadaten,
zuständige Verwaltungseinheiten publizieren Beschreibungen ihrer Datenbestände
auf OGD-Portal, standardisierte technische Zugriffsfunktionen für die offenen Daten
anbieten
> Etablierung einer Open-Data-Kultur
Bund fördert Nutzung der offenen Daten, Etablierung einer partizipativen und
innovativen Open-Data-Kultur

Umsetzung: Massnahmen
1. Überprüfung und Anpassung der rechtlichen Rahmenbedingungen
2. Datenfreigabeprozess
3. Datenfreigabeplanung
4. Inventarisierung der Datenbestände des Bundes
5. Überprüfung der Gebührenpolitik
6. Aufbau des OGD-Portals
7. Bereitstellung von Hilfsmitteln und Instrumenten für die Datenpublikation und -bereitstellung
8. Auswahl und Definition der OGD-Standards
9. Erarbeitung einheitlicher Nutzungsbedingungen
10. Erarbeitung eines OGD-Kooperationsmodells
11. Dialog mit den OGD-Anwendern
12. Bekanntmachung des Datenangebots in der Öffentlichkeit
13. Evaluation der Wirkung von OGD

Massnahme 4: Dateninventar der
Bundesverwaltung

Massnahme 6: Aufbau des OGD-Portals
Link: https://opendata.swiss

Open Data Portal der Stadt Zürich
Link: https://data.stadt-zuerich.ch

Open Data der Stadt Bern
Link: https://www.bernerzeitung.ch/region/bern/stadt-bern-macht-behoerdendaten-online-oeffentlich/story/25978365
Link: http://www.bern.ch/open-government-data-ogd

Open Data Portal der SBB
Link: https://data.sbb.ch/explore/

Open Data Portal der Swisscom
Quelle: https://opendata.swisscom.com/explore/?sort=title&refine.language=de

Open Data des deutschen Wetterdiensts
Quelle: https://www.dwd.de/DE/leistungen/opendata/opendata.html

Open Data Portal der EU
Link: http://data.europa.eu/euodp/de/data/

Open Data von World Bank und United Nations
Link: http://data.worldbank.org Link: http://data.un.org

Übersicht von Open Data Portalen weltweit
Quelle: https://opendatainception.io

Agenda

Aus Rohdaten werden Anwendungen
Output:
> Datenvisualisierungen
> Mobile Apps
> Web-Applikationen
Input:
> Daten-Download als CSV etc.
> Anbindung an API (Application
Programming Interface)
> Linked Open Data

Verwendete Web-Technologien

HTML
HTML = Hypertext Markup Language
Struktur eines HTML Dokuments:
<!DOCTYPE html>
<html>
<head>
<title>Page Title</title>
</head>
<body>
<h1>Page Title</h1>
<p>This is a really interesting paragraph.</p>
</body>
</html>

<h1>Amazing Visualization Tool Cures All Ills</h1>
<p>A new open-source tool designed for
visualization of data turns out to have an
unexpected, positive side effect: it heals any
ailments of the viewer.
Leading scientists report that the tool, called
D3000, can cure even the following symptoms:</p>
<ul>
<li>fevers</li>
<li>chills</li>
<li>general malaise</li>
</ul>
<p>It achieves this end with a patented, three-
step process.</p>
<ol>
<li>Load in data.</li>
<li>Generate a visual representation.</li>
<li>Activate magic healing function.</li>
</ol>
Beispiel HTML-Code

Document Object Model (DOM)
Quelle: https://wiki.selfhtml.org/wiki/JavaScript/DOM

CSS
selector {
property: value;
property: value;
property: value;
}
selectorA,
selectorB,
selectorC {
property: value;
property: value;
property: value;
}
body {
background-color: white;
color: black;
font-size: 10px;
}
p,
li,
a {
font-size: 12px;
line-height: 14px;
color: orange;
}
CSS = Cascading Style Sheets

Mehr zu CSS und CSS3
http://www.w3schools.com/css/css3_fonts.asp

JavaScript
Quelle: https://octoverse.github.com/projects (Oktober 2018)

JavaScript
> Scripts can be included directly in HTML between two script tags:
<body>
<script type="text/javascript">
alert("Hello world!");
</script>
</body>
> or stored in a separate file with a .js suffix, and then referenced somewhere in the HTML
(could be in the head, as shown here, or also just before the end of the closing body tag):
<head>
<title>Page Title</title>
<script type="text/javascript" src="myscript.js"></script>
</head>

JSON
JSON = JavaScript Object Notation

GeoJSON
Link: http://geojson.io/#map=19/46.95086/7.43847

Mehr zu JavaScript
http://www.w3schools.com/js/js_dates.asp

SVG
SVG = Scalable Vector Graphics
SVG Canvas:
<svg width="500" height="500"></svg>
Einige SVG-Elemente:
<rect x="0" y="0" width="500" height="50"/>
<circle cx="250" cy="25" r="25"/>
<ellipse cx="250" cy="25" rx="100" ry="25"/>
<line x1="0" y1="0" x2="500" y2="50" stroke="black"/>
<text x="250" y="25" font-family="serif" font-size="25"
fill="gray">Easy-peasy</text>

Mehr zu SVG
http://www.w3schools.com/svg/svg_feoffset.asp

D3.js – www.d3js.org
> JavaScript Bibliothek für interaktive Datenvisualisierungen
> Arbeitet mit JavaScript, HTML, CSS und SVG im DOM

Buch “D3.js in Action”
> Autor: Elijah Meeks
(Datenvisualisierer bei Netflix)
> Verlag: Manning Publications
> September 2017, 375 Seiten, Englisch
> ISBN: 9781617292118
> Auf Manning.com als eBook (PDF)
für USD 44.99
> Zweite Auflage, zu D3.js Version 4
Quelle: https://www.manning.com/books/d3js-in-action-second-edition

Tausende von D3.js Code Snippets
Link: http://bl.ocks.org/mbostock Link: http://christopheviau.com/d3list/gallery.html

Agenda

Treemaps
Quelle: Jarke J. van Wijk and Huub van de Wetering 1999 “Cushion Treemaps: Visualization of Hierarchical Information” http://www.win.tue.nl/~vanwijk/ctm.pdf

Zoomable Treemaps
Quelle: http://mbostock.github.io/d3/talk/20111018/treemap.html Quelle: https://www.offenerhaushalt.at

Zoomable Circle Packing
Quelle: http://bl.ocks.org/mbostock/7607535/ Quelle: http://bern.budget.opendata.ch

Clustered Force Layout
Quelle: http://files.be.ch/fin/gs/finanzen_ktbe_2016_de/#/2016/Quelle: http://bl.ocks.org/mbostock/1747543

Zoomable Sunburst
Quelle: http://bl.ocks.org/mbostock/4348373 Quelle: https://www.bundeshaushalt.de

Sankey Diagrams
Quelle: http://bost.ocks.org/mike/sankey/ Quelle: http://be-fa.budget.opendata.ch/
1869: Charles Minard's Map of
Napoleon's Russian Campaign of 1812

Chord Diagram
Quelle: http://bl.ocks.org/mbostock/4062006 Quelle: http://www.bbc.co.uk/news/business-15748696

Parallel Coordinates
Quelle: http://syntagmatic.github.io/parallel-coordinates/ Quelle: http://exposedata.com/parallel/

Open Data Studierenden-Apps

Störungsdaten von Bernmobil
Quelle: http://bernmobil-bubblechart.opendata.iwi.unibe.ch

Finanzen Gemeinden Kanton Zürich
Quelle: http://www.actmore.ch/comparatif/

Visualisierung Energieproduktion
Quelle: http://energieproduktion-schweiz.opendata.iwi.unibe.ch

Ausländische Wohnbevölkerung
Quelle: http://auslaendische-bevoelkerung.opendata.iwi.unibe.ch

Asylstatistik Europa
Quelle: http://europaeische-asyldaten.opendata.iwi.unibe.ch

Verschmutzungsdaten in der Schweiz
Quelle: http://schadstoffregister.opendata.iwi.unibe.ch/

Artikel in SonntagsZeitung
Quelle: SonntagsZeitung 05.07.2015

Integration in BAFU Website
Link: https://www.bafu.admin.ch/bafu/de/home/themen/chemikalien/zustand/schadstoffregister-swissprtr/pilotprojekt-visualisierung-swissprtr.html

Open Data Show Room
Quelle: http://opendata.iwi.unibe.ch

Open Data Vorlesung und Übung
1. Fundiertes Verständnis von Open Data erlangen:
— Gesellschaftliche, rechtliche und technische
Aspekte von Open Data verstehen
— Konkrete Anwendungsgebiete von Open Data
kennenlernen  Finance, Transport, Geo, Aid etc.
2. Datenvisualisierungen konzipieren und umsetzen
— HTML, CSS, JavaScript und D3.js programmieren lernen
— Datenquellen und Code Snippets nutzen können
— Mit «echten» Daten von Data Coaches arbeiten

Data Coaching in Open Data Vorlesung 2019
Open Data Speed Dating am Donnerstag, 7. März 2019 von 13.15h - 15.00h an der Universität Bern
Info-Anlass für Data Coaches am Mittwoch, 13. Februar 2019 von 16:00 Uhr bis 17:30 am IWI in Bern
Anmeldung an carole.gauch@iwi.unibe.ch
Weitere Informationen auf
http://www.digitale-nachhaltigkeit.unibe.ch/studium/open_data_veranstaltung/fruehjahrssemester_2019/call_for_data_coaches/

Open Data und Datenvisualisierungen

Weitere ähnliche Inhalte

Was ist angesagt?

Ähnlich wie Open Data und Datenvisualisierungen

Mehr von Matthias Stürmer

Open Data und Datenvisualisierungen