SlideShare ist ein Scribd-Unternehmen logo
Qualitätsmanagement von (offenen)
Verwaltungsdaten
Jürgen Umbrich
Vienna University of Economics and Business
juergen.umbrich@wu.ac.at
Johann Höchtl
Donau-Universität Krems
johann.hoechtl@donau-uni.ac.at
Inhalt
Warum ist die Datenqualiät von Bedeutung für Open Data?
Wer kann sich an der Qualitäts-Verbesserung beteiligen?
Das Projekt ADEQUATe - Zielsetzungen
Metriken zur Datenqualitätsmessung auf offenen Datenportalen
Funktionen eines Qualitäts-Community-Portals
Fragestellungen und Ausblick
2
Datenqualität im Life Cycle - Perspektivenwandel
Anforderung /
Wunsch
Datenmonitoring
Priorisierung
Veröffentlichung
Kommunikation
Nutzung
3
Krabina, Bernhard, Thomas Prorok, und Brigitte Lutz. 2012. „Open Government
Vorgehensmodell“. Vorgehensmodell V2.0. Wien: KDZ.
http://www.kdz.eu/de/webfm_send/1206.
Campi, Alessandro, Matteo Aletti, Yao Cheng, Piero Franceschini, Mariangela Rizzo, und
Davide Sanapo. 2016. „Empowering the E-government data life cycle“. Zugegriffen Juni 6.
https://www.w3.org/2013/04/odw/odw13_submission_16.pdf
Wünsche der DatenbenutzerInnen
4
Dateninhalte und Formate
○ I would really prefer to have the data themselves consistent. [...] metadata does not
match; standards regarding the representation of their content
○ It would be really great if we could shift somehow to UTF-8
○ meta data for CSV files were incomplete [...] header for CSV was missing
○ no static identifiers for objects in data sets. This in turn leads to problems if you want
to track changes related to these objects over time
Wünsche und Berichte der DatenbenutzerInnen
5
Kommunikation
○ central communication point for exchanging experiences and issues
○ Meta data should be written in English language
Zuverlässigkeit
○ Servers are restarted every day [...] hosted data becomes unavailable
Wünsche und Berichte der DatenbenutzerInnen
6
Verfügbarkeit von Daten?
7
Wer kann sich an der Qualitäts-Verbesserung
beteiligen?
Publishers Algorithms Community
8
Beteiligung an der Qualitäts-Verbesserung (1/2)
Datenbereitsteller
Korrektheit und Vollständigkeit der Metadaten und Daten
Verfügbarkeitsgarantie
Kontaktadresse und Bereitschaft für Feedback/Diskussionen
Algorithmen
Automatische Verbesserung
Qualitätskontrolle (Verfügbarkeitsüberprüfung, Fehlende oder falsche Informationen)
Verbesserung der Metadaten ( z.b. Korrektes Format, Grösse, Encoding)
9
Beteiligung an der Qualitäts-Verbesserung (2/2)
Community
Feedback an den Datenbereitsteller (z.b. Wenn daten nicht verügbar sind, oder für
Verbesserungsvorschläge)
“Forken” von Daten
Einen bestehenden Datensatz kopieren und die verbesserte Version bereitstellen
….
Mehr Informationen dazu später in der Präsentation
10
FFG Project
http://www.adequate.at
11
Was ist ?
12
Was ist ?
✓ 3 Partners:
1. Semantic Web Company
2. Donau Universität Krems
3. WU Wien
✓ 30 Monate Projektlaufzeit von Okt. 2015 - Mai 2018
✓ 2 Usecase Partner: data.gv.at & opendataportal.at
✓ Ziel: Verbesserung der Datenqualität durch
Qualitätsmonitoring & Kontrolle
13
Metriken zur Datenqualitätsmessung auf
offenen Datenportalen
14
Verschiedene Dimensionen und Details (1/2)
Wie ausführlich sind die Daten beschrieben?
Gibt es Informationen zur Lizenz, Format, Grösse, Beschreibung, zeitliche und räumliche
Ausdehnung, Kontaktstellen, unterschiedliche Sprachen
Wie komplett sind die Daten?
Fehlende Werte, Fehlende Headers bei CSV
Verfügbarkeit von Daten?
Sind die Daten ein einer offenen Lizenz und Format verfügbar?
CC-BY, CSV vs. XLS
15
Konformanz mit existierenden Standards?
Dateiformat
Lizenz ID
Datumsangaben (ISO standard?)
Wie akkurate sind die Daten beschrieben?
Richtiges Dateiformat, Grösse, Encoding, Updatezyklus, zeitliche & räumliche Ausdehnung
Wie einheitlich sind die Daten veröffentlicht?
Gleiches Schema für unterschiedliche Versionen ( e.g. gleiche Headers und anzahl Spalten)
Verschiedene Dimensionen und Details (2/2)
16
In ADEQUATe: 11 Dimensionen & 46 Metriken
17
Open Data Portal Watch
261 Open Data portals
Weekly snapshots &
Quality assessment
6 QUality dimensions
19 quality metrics
Focused on metadata
http://data.wu.ac.at/portalwatch/ 18
Funktionen eines Community-Portals
19
https://open.wien.gv.at/site/riesenbaum-in-wien-entdeckt/#more-87184
Identifizieren - Beheben - Zurückgeben
20
1 47 11
2 48 15
1 47 11
2 48 15
1
1 47 11
2 47 15
2
Identifizieren - Beheben - Zurückgeben
21
Identifizieren - Beheben - Zurückgeben
22
Kontrolle von automatisierten
Datenverbesserungen:
Formate, Encodings,
Identifikation von Konzepten
Behebung von Datenfehlern
Anreicherungen und
Transformationen von Daten
https://github.com/antontarasenko/gpq/blob/master/notebooks/contracts_intro.ipynb
Kontakt und Team
23
Jürgen Umbrich
Vienna University of Economics and Business
Juergen.umbrich @ wu.ac.at
Johann Höchtl
Donau-Universität Krems
Johann.hoechtl @ donau-uni.ac.at
http://adequate.at/
http://vienna.theodi.org

Weitere ähnliche Inhalte

Andere mochten auch

Sistema de costa bosque seco de guanica
Sistema de costa  bosque seco de guanicaSistema de costa  bosque seco de guanica
Sistema de costa bosque seco de guanica
Jessica Cristina
 
King's Handbook
King's HandbookKing's Handbook
King's Handbook
Terrell Patillo
 
Feeling Good
Feeling GoodFeeling Good
Feeling Good
Cachi Chien
 
4 ふぁんたすてぃっく4 スライド
4 ふぁんたすてぃっく4 スライド4 ふぁんたすてぃっく4 スライド
4 ふぁんたすてぃっく4 スライド
RockFriend
 
Beauty by Ramzi Taskiran
Beauty by Ramzi TaskiranBeauty by Ramzi Taskiran
Beauty by Ramzi Taskiran
Cachi Chien
 
Private dining brochure gun internet
Private dining brochure gun   internetPrivate dining brochure gun   internet
Private dining brochure gun internet
tashelitepubs
 
Outpost Security Pro 7.5: What's Inside?
Outpost Security Pro 7.5: What's Inside?Outpost Security Pro 7.5: What's Inside?
Outpost Security Pro 7.5: What's Inside?
Lubov Putsko
 
Power point for assess2
Power point for assess2Power point for assess2
Power point for assess2
Megan Nebe
 
η ευρώπη στα νεώτερα χρόνια
η ευρώπη στα νεώτερα χρόνιαη ευρώπη στα νεώτερα χρόνια
η ευρώπη στα νεώτερα χρόνια
george papadopoulos
 
YouTube for Oncologists
YouTube for Oncologists YouTube for Oncologists
YouTube for Oncologists
The Navicor Group
 
Humanity and Nature. Artist Atsuko Goto.
Humanity and Nature. Artist Atsuko Goto.Humanity and Nature. Artist Atsuko Goto.
Humanity and Nature. Artist Atsuko Goto.
Cachi Chien
 
Mariella presentation
Mariella presentationMariella presentation
Mariella presentation
Lisa Esquenazi
 
Missile Airbus(2)
Missile  Airbus(2)Missile  Airbus(2)
Missile Airbus(2)
NY13itch
 
Diseño gráfico (Natalie Shua)
Diseño gráfico (Natalie Shua)Diseño gráfico (Natalie Shua)
Diseño gráfico (Natalie Shua)
Cachi Chien
 

Andere mochten auch (15)

Sistema de costa bosque seco de guanica
Sistema de costa  bosque seco de guanicaSistema de costa  bosque seco de guanica
Sistema de costa bosque seco de guanica
 
King's Handbook
King's HandbookKing's Handbook
King's Handbook
 
Feeling Good
Feeling GoodFeeling Good
Feeling Good
 
4 ふぁんたすてぃっく4 スライド
4 ふぁんたすてぃっく4 スライド4 ふぁんたすてぃっく4 スライド
4 ふぁんたすてぃっく4 スライド
 
Beauty by Ramzi Taskiran
Beauty by Ramzi TaskiranBeauty by Ramzi Taskiran
Beauty by Ramzi Taskiran
 
Private dining brochure gun internet
Private dining brochure gun   internetPrivate dining brochure gun   internet
Private dining brochure gun internet
 
Outpost Security Pro 7.5: What's Inside?
Outpost Security Pro 7.5: What's Inside?Outpost Security Pro 7.5: What's Inside?
Outpost Security Pro 7.5: What's Inside?
 
Power point for assess2
Power point for assess2Power point for assess2
Power point for assess2
 
η ευρώπη στα νεώτερα χρόνια
η ευρώπη στα νεώτερα χρόνιαη ευρώπη στα νεώτερα χρόνια
η ευρώπη στα νεώτερα χρόνια
 
Volta de jesus
Volta de jesusVolta de jesus
Volta de jesus
 
YouTube for Oncologists
YouTube for Oncologists YouTube for Oncologists
YouTube for Oncologists
 
Humanity and Nature. Artist Atsuko Goto.
Humanity and Nature. Artist Atsuko Goto.Humanity and Nature. Artist Atsuko Goto.
Humanity and Nature. Artist Atsuko Goto.
 
Mariella presentation
Mariella presentationMariella presentation
Mariella presentation
 
Missile Airbus(2)
Missile  Airbus(2)Missile  Airbus(2)
Missile Airbus(2)
 
Diseño gráfico (Natalie Shua)
Diseño gráfico (Natalie Shua)Diseño gráfico (Natalie Shua)
Diseño gráfico (Natalie Shua)
 

Ähnlich wie Datenqualität auf Offenen Datenportalen

ODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a ServiceODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a Service
Danube University Krems, Centre for E-Governance
 
Open Data in Europa - Alles unter einem Hut
Open Data in Europa  -  Alles unter einem HutOpen Data in Europa  -  Alles unter einem Hut
Open Data in Europa - Alles unter einem Hut
Johann Höchtl
 
Open (Government) Data | Chancen - Risiken - Nutzen
Open (Government) Data | Chancen - Risiken - NutzenOpen (Government) Data | Chancen - Risiken - Nutzen
Open (Government) Data | Chancen - Risiken - Nutzen
Oliver Bildesheim
 
OGD Benchmarks - Identifikation und Umsetzung von Maßnahmen zur Verbesserung ...
OGD Benchmarks - Identifikation und Umsetzung von Maßnahmen zur Verbesserung ...OGD Benchmarks - Identifikation und Umsetzung von Maßnahmen zur Verbesserung ...
OGD Benchmarks - Identifikation und Umsetzung von Maßnahmen zur Verbesserung ...
Stadt Wien
 
Vernetzungstage 2011
Vernetzungstage 2011Vernetzungstage 2011
Vernetzungstage 2011
Stefan Buddenbohm
 
Wegweiser durch den Social Media Monitoring-Dschungel
Wegweiser durch den Social Media Monitoring-DschungelWegweiser durch den Social Media Monitoring-Dschungel
Wegweiser durch den Social Media Monitoring-Dschungel
ForschungsWeb GmbH
 
Data Governance & Open Data
Data Governance & Open DataData Governance & Open Data
Data Governance & Open Data
Stadt Wien
 
Open Government Data DCAT Application Profile
Open Government Data DCAT Application ProfileOpen Government Data DCAT Application Profile
Open Government Data DCAT Application Profile
Johann Höchtl
 
Open Government Data
Open Government DataOpen Government Data
Open Government Data
Peter Parycek
 
Matthias Bettag, DAALA Berlin: Veränderungen digital analytics in 2013
Matthias Bettag, DAALA Berlin: Veränderungen digital analytics in 2013Matthias Bettag, DAALA Berlin: Veränderungen digital analytics in 2013
Matthias Bettag, DAALA Berlin: Veränderungen digital analytics in 2013
luna-park GmbH
 
Web Content-Management-Systeme the Past - the Present - the Future
Web Content-Management-Systeme the Past - the Present - the FutureWeb Content-Management-Systeme the Past - the Present - the Future
Web Content-Management-Systeme the Past - the Present - the Future
Alexander Loechel
 
Einführung in offene Daten Qualität
Einführung in offene Daten QualitätEinführung in offene Daten Qualität
Einführung in offene Daten Qualität
Open Data Support
 
Open Data und interaktive Datenvisualisierungen
Open Data und interaktive DatenvisualisierungenOpen Data und interaktive Datenvisualisierungen
Open Data und interaktive Datenvisualisierungen
Matthias Stürmer
 
Open Data und Hochschulen
Open Data und HochschulenOpen Data und Hochschulen
Open Data und Hochschulen
Detlef Stern
 
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Hendrik Kalb
 
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Barbara Hirschmann
 
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
ETH-Bibliothek
 
Suche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationSuche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur Datenintegration
Thomas Kurz
 
ch.ch 2020
ch.ch 2020 ch.ch 2020
ch.ch 2020
ch.ch
 
Standardisierte Nutzungsstatiken für Repositorien und Linkresolver
Standardisierte Nutzungsstatiken für Repositorien und LinkresolverStandardisierte Nutzungsstatiken für Repositorien und Linkresolver
Standardisierte Nutzungsstatiken für Repositorien und Linkresolver
Daniel Beucke
 

Ähnlich wie Datenqualität auf Offenen Datenportalen (20)

ODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a ServiceODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a Service
 
Open Data in Europa - Alles unter einem Hut
Open Data in Europa  -  Alles unter einem HutOpen Data in Europa  -  Alles unter einem Hut
Open Data in Europa - Alles unter einem Hut
 
Open (Government) Data | Chancen - Risiken - Nutzen
Open (Government) Data | Chancen - Risiken - NutzenOpen (Government) Data | Chancen - Risiken - Nutzen
Open (Government) Data | Chancen - Risiken - Nutzen
 
OGD Benchmarks - Identifikation und Umsetzung von Maßnahmen zur Verbesserung ...
OGD Benchmarks - Identifikation und Umsetzung von Maßnahmen zur Verbesserung ...OGD Benchmarks - Identifikation und Umsetzung von Maßnahmen zur Verbesserung ...
OGD Benchmarks - Identifikation und Umsetzung von Maßnahmen zur Verbesserung ...
 
Vernetzungstage 2011
Vernetzungstage 2011Vernetzungstage 2011
Vernetzungstage 2011
 
Wegweiser durch den Social Media Monitoring-Dschungel
Wegweiser durch den Social Media Monitoring-DschungelWegweiser durch den Social Media Monitoring-Dschungel
Wegweiser durch den Social Media Monitoring-Dschungel
 
Data Governance & Open Data
Data Governance & Open DataData Governance & Open Data
Data Governance & Open Data
 
Open Government Data DCAT Application Profile
Open Government Data DCAT Application ProfileOpen Government Data DCAT Application Profile
Open Government Data DCAT Application Profile
 
Open Government Data
Open Government DataOpen Government Data
Open Government Data
 
Matthias Bettag, DAALA Berlin: Veränderungen digital analytics in 2013
Matthias Bettag, DAALA Berlin: Veränderungen digital analytics in 2013Matthias Bettag, DAALA Berlin: Veränderungen digital analytics in 2013
Matthias Bettag, DAALA Berlin: Veränderungen digital analytics in 2013
 
Web Content-Management-Systeme the Past - the Present - the Future
Web Content-Management-Systeme the Past - the Present - the FutureWeb Content-Management-Systeme the Past - the Present - the Future
Web Content-Management-Systeme the Past - the Present - the Future
 
Einführung in offene Daten Qualität
Einführung in offene Daten QualitätEinführung in offene Daten Qualität
Einführung in offene Daten Qualität
 
Open Data und interaktive Datenvisualisierungen
Open Data und interaktive DatenvisualisierungenOpen Data und interaktive Datenvisualisierungen
Open Data und interaktive Datenvisualisierungen
 
Open Data und Hochschulen
Open Data und HochschulenOpen Data und Hochschulen
Open Data und Hochschulen
 
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
 
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
 
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
Entwicklung von Standards und Best Practices im Bereich der Forschungsdatenpu...
 
Suche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationSuche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur Datenintegration
 
ch.ch 2020
ch.ch 2020 ch.ch 2020
ch.ch 2020
 
Standardisierte Nutzungsstatiken für Repositorien und Linkresolver
Standardisierte Nutzungsstatiken für Repositorien und LinkresolverStandardisierte Nutzungsstatiken für Repositorien und Linkresolver
Standardisierte Nutzungsstatiken für Repositorien und Linkresolver
 

Mehr von Johann Höchtl

Homomorphic encryption on Blockchain Principles
Homomorphic encryption on Blockchain PrinciplesHomomorphic encryption on Blockchain Principles
Homomorphic encryption on Blockchain Principles
Johann Höchtl
 
Performance-indicator based policy-making in Austria
Performance-indicator based policy-making in AustriaPerformance-indicator based policy-making in Austria
Performance-indicator based policy-making in Austria
Johann Höchtl
 
ADV FIWARE Workshop starring Docker and Virtualisation
ADV FIWARE Workshop starring Docker and VirtualisationADV FIWARE Workshop starring Docker and Virtualisation
ADV FIWARE Workshop starring Docker and Virtualisation
Johann Höchtl
 
Projektbeschreibung ADEQUATe
Projektbeschreibung ADEQUATeProjektbeschreibung ADEQUATe
Projektbeschreibung ADEQUATe
Johann Höchtl
 
Institutionalising open data quality - Processes Standards, Tools
Institutionalising open data quality - Processes Standards, ToolsInstitutionalising open data quality - Processes Standards, Tools
Institutionalising open data quality - Processes Standards, Tools
Johann Höchtl
 
Yound Coders Festival
Yound Coders FestivalYound Coders Festival
Yound Coders Festival
Johann Höchtl
 
Sind wir schon da?!
Sind wir schon da?!Sind wir schon da?!
Sind wir schon da?!
Johann Höchtl
 
Offener Haushalt – Transparenz in öffentlichen Haushalten
Offener Haushalt – Transparenz in öffentlichen HaushaltenOffener Haushalt – Transparenz in öffentlichen Haushalten
Offener Haushalt – Transparenz in öffentlichen Haushalten
Johann Höchtl
 
Datenqualität von Datenportalen
Datenqualität von DatenportalenDatenqualität von Datenportalen
Datenqualität von Datenportalen
Johann Höchtl
 
Open Government Data & offene Wirtschaftsdaten - Two of a Kind?
Open Government Data & offene Wirtschaftsdaten - Two of a Kind?Open Government Data & offene Wirtschaftsdaten - Two of a Kind?
Open Government Data & offene Wirtschaftsdaten - Two of a Kind?
Johann Höchtl
 
Elektronische Literaturverwaltung mit Zotero
Elektronische Literaturverwaltung mit ZoteroElektronische Literaturverwaltung mit Zotero
Elektronische Literaturverwaltung mit Zotero
Johann Höchtl
 
The Case of opendataportal.at
The Case of opendataportal.atThe Case of opendataportal.at
The Case of opendataportal.at
Johann Höchtl
 
From E-Government to Open Government
From E-Government to Open GovernmentFrom E-Government to Open Government
From E-Government to Open Government
Johann Höchtl
 
Smart Cities and Smart ICT
Smart Cities and Smart ICTSmart Cities and Smart ICT
Smart Cities and Smart ICT
Johann Höchtl
 
Evaluation of Open Government Data Implementation of City of Vienna
Evaluation of Open Government Data Implementation of City of ViennaEvaluation of Open Government Data Implementation of City of Vienna
Evaluation of Open Government Data Implementation of City of Vienna
Johann Höchtl
 
Costs of Closed Science
Costs of Closed ScienceCosts of Closed Science
Costs of Closed Science
Johann Höchtl
 
Smart Cities, Smart Regions and the Role of Open Data
Smart Cities, Smart Regions and the Role of Open DataSmart Cities, Smart Regions and the Role of Open Data
Smart Cities, Smart Regions and the Role of Open Data
Johann Höchtl
 
OGD for Culture and Art
OGD for Culture and ArtOGD for Culture and Art
OGD for Culture and Art
Johann Höchtl
 
Evaluierung der Open Government Data Umsetzung der Stadt Wien - Auszug
Evaluierung der Open Government Data Umsetzung der Stadt Wien - AuszugEvaluierung der Open Government Data Umsetzung der Stadt Wien - Auszug
Evaluierung der Open Government Data Umsetzung der Stadt Wien - Auszug
Johann Höchtl
 
DCAT-Application Profile for Data Providers
DCAT-Application Profile for Data ProvidersDCAT-Application Profile for Data Providers
DCAT-Application Profile for Data Providers
Johann Höchtl
 

Mehr von Johann Höchtl (20)

Homomorphic encryption on Blockchain Principles
Homomorphic encryption on Blockchain PrinciplesHomomorphic encryption on Blockchain Principles
Homomorphic encryption on Blockchain Principles
 
Performance-indicator based policy-making in Austria
Performance-indicator based policy-making in AustriaPerformance-indicator based policy-making in Austria
Performance-indicator based policy-making in Austria
 
ADV FIWARE Workshop starring Docker and Virtualisation
ADV FIWARE Workshop starring Docker and VirtualisationADV FIWARE Workshop starring Docker and Virtualisation
ADV FIWARE Workshop starring Docker and Virtualisation
 
Projektbeschreibung ADEQUATe
Projektbeschreibung ADEQUATeProjektbeschreibung ADEQUATe
Projektbeschreibung ADEQUATe
 
Institutionalising open data quality - Processes Standards, Tools
Institutionalising open data quality - Processes Standards, ToolsInstitutionalising open data quality - Processes Standards, Tools
Institutionalising open data quality - Processes Standards, Tools
 
Yound Coders Festival
Yound Coders FestivalYound Coders Festival
Yound Coders Festival
 
Sind wir schon da?!
Sind wir schon da?!Sind wir schon da?!
Sind wir schon da?!
 
Offener Haushalt – Transparenz in öffentlichen Haushalten
Offener Haushalt – Transparenz in öffentlichen HaushaltenOffener Haushalt – Transparenz in öffentlichen Haushalten
Offener Haushalt – Transparenz in öffentlichen Haushalten
 
Datenqualität von Datenportalen
Datenqualität von DatenportalenDatenqualität von Datenportalen
Datenqualität von Datenportalen
 
Open Government Data & offene Wirtschaftsdaten - Two of a Kind?
Open Government Data & offene Wirtschaftsdaten - Two of a Kind?Open Government Data & offene Wirtschaftsdaten - Two of a Kind?
Open Government Data & offene Wirtschaftsdaten - Two of a Kind?
 
Elektronische Literaturverwaltung mit Zotero
Elektronische Literaturverwaltung mit ZoteroElektronische Literaturverwaltung mit Zotero
Elektronische Literaturverwaltung mit Zotero
 
The Case of opendataportal.at
The Case of opendataportal.atThe Case of opendataportal.at
The Case of opendataportal.at
 
From E-Government to Open Government
From E-Government to Open GovernmentFrom E-Government to Open Government
From E-Government to Open Government
 
Smart Cities and Smart ICT
Smart Cities and Smart ICTSmart Cities and Smart ICT
Smart Cities and Smart ICT
 
Evaluation of Open Government Data Implementation of City of Vienna
Evaluation of Open Government Data Implementation of City of ViennaEvaluation of Open Government Data Implementation of City of Vienna
Evaluation of Open Government Data Implementation of City of Vienna
 
Costs of Closed Science
Costs of Closed ScienceCosts of Closed Science
Costs of Closed Science
 
Smart Cities, Smart Regions and the Role of Open Data
Smart Cities, Smart Regions and the Role of Open DataSmart Cities, Smart Regions and the Role of Open Data
Smart Cities, Smart Regions and the Role of Open Data
 
OGD for Culture and Art
OGD for Culture and ArtOGD for Culture and Art
OGD for Culture and Art
 
Evaluierung der Open Government Data Umsetzung der Stadt Wien - Auszug
Evaluierung der Open Government Data Umsetzung der Stadt Wien - AuszugEvaluierung der Open Government Data Umsetzung der Stadt Wien - Auszug
Evaluierung der Open Government Data Umsetzung der Stadt Wien - Auszug
 
DCAT-Application Profile for Data Providers
DCAT-Application Profile for Data ProvidersDCAT-Application Profile for Data Providers
DCAT-Application Profile for Data Providers
 

Datenqualität auf Offenen Datenportalen

  • 1. Qualitätsmanagement von (offenen) Verwaltungsdaten Jürgen Umbrich Vienna University of Economics and Business juergen.umbrich@wu.ac.at Johann Höchtl Donau-Universität Krems johann.hoechtl@donau-uni.ac.at
  • 2. Inhalt Warum ist die Datenqualiät von Bedeutung für Open Data? Wer kann sich an der Qualitäts-Verbesserung beteiligen? Das Projekt ADEQUATe - Zielsetzungen Metriken zur Datenqualitätsmessung auf offenen Datenportalen Funktionen eines Qualitäts-Community-Portals Fragestellungen und Ausblick 2
  • 3. Datenqualität im Life Cycle - Perspektivenwandel Anforderung / Wunsch Datenmonitoring Priorisierung Veröffentlichung Kommunikation Nutzung 3 Krabina, Bernhard, Thomas Prorok, und Brigitte Lutz. 2012. „Open Government Vorgehensmodell“. Vorgehensmodell V2.0. Wien: KDZ. http://www.kdz.eu/de/webfm_send/1206. Campi, Alessandro, Matteo Aletti, Yao Cheng, Piero Franceschini, Mariangela Rizzo, und Davide Sanapo. 2016. „Empowering the E-government data life cycle“. Zugegriffen Juni 6. https://www.w3.org/2013/04/odw/odw13_submission_16.pdf
  • 5. Dateninhalte und Formate ○ I would really prefer to have the data themselves consistent. [...] metadata does not match; standards regarding the representation of their content ○ It would be really great if we could shift somehow to UTF-8 ○ meta data for CSV files were incomplete [...] header for CSV was missing ○ no static identifiers for objects in data sets. This in turn leads to problems if you want to track changes related to these objects over time Wünsche und Berichte der DatenbenutzerInnen 5
  • 6. Kommunikation ○ central communication point for exchanging experiences and issues ○ Meta data should be written in English language Zuverlässigkeit ○ Servers are restarted every day [...] hosted data becomes unavailable Wünsche und Berichte der DatenbenutzerInnen 6
  • 8. Wer kann sich an der Qualitäts-Verbesserung beteiligen? Publishers Algorithms Community 8
  • 9. Beteiligung an der Qualitäts-Verbesserung (1/2) Datenbereitsteller Korrektheit und Vollständigkeit der Metadaten und Daten Verfügbarkeitsgarantie Kontaktadresse und Bereitschaft für Feedback/Diskussionen Algorithmen Automatische Verbesserung Qualitätskontrolle (Verfügbarkeitsüberprüfung, Fehlende oder falsche Informationen) Verbesserung der Metadaten ( z.b. Korrektes Format, Grösse, Encoding) 9
  • 10. Beteiligung an der Qualitäts-Verbesserung (2/2) Community Feedback an den Datenbereitsteller (z.b. Wenn daten nicht verügbar sind, oder für Verbesserungsvorschläge) “Forken” von Daten Einen bestehenden Datensatz kopieren und die verbesserte Version bereitstellen …. Mehr Informationen dazu später in der Präsentation 10
  • 13. Was ist ? ✓ 3 Partners: 1. Semantic Web Company 2. Donau Universität Krems 3. WU Wien ✓ 30 Monate Projektlaufzeit von Okt. 2015 - Mai 2018 ✓ 2 Usecase Partner: data.gv.at & opendataportal.at ✓ Ziel: Verbesserung der Datenqualität durch Qualitätsmonitoring & Kontrolle 13
  • 14. Metriken zur Datenqualitätsmessung auf offenen Datenportalen 14
  • 15. Verschiedene Dimensionen und Details (1/2) Wie ausführlich sind die Daten beschrieben? Gibt es Informationen zur Lizenz, Format, Grösse, Beschreibung, zeitliche und räumliche Ausdehnung, Kontaktstellen, unterschiedliche Sprachen Wie komplett sind die Daten? Fehlende Werte, Fehlende Headers bei CSV Verfügbarkeit von Daten? Sind die Daten ein einer offenen Lizenz und Format verfügbar? CC-BY, CSV vs. XLS 15
  • 16. Konformanz mit existierenden Standards? Dateiformat Lizenz ID Datumsangaben (ISO standard?) Wie akkurate sind die Daten beschrieben? Richtiges Dateiformat, Grösse, Encoding, Updatezyklus, zeitliche & räumliche Ausdehnung Wie einheitlich sind die Daten veröffentlicht? Gleiches Schema für unterschiedliche Versionen ( e.g. gleiche Headers und anzahl Spalten) Verschiedene Dimensionen und Details (2/2) 16
  • 17. In ADEQUATe: 11 Dimensionen & 46 Metriken 17
  • 18. Open Data Portal Watch 261 Open Data portals Weekly snapshots & Quality assessment 6 QUality dimensions 19 quality metrics Focused on metadata http://data.wu.ac.at/portalwatch/ 18
  • 20. Identifizieren - Beheben - Zurückgeben 20 1 47 11 2 48 15 1 47 11 2 48 15 1 1 47 11 2 47 15 2
  • 21. Identifizieren - Beheben - Zurückgeben 21
  • 22. Identifizieren - Beheben - Zurückgeben 22 Kontrolle von automatisierten Datenverbesserungen: Formate, Encodings, Identifikation von Konzepten Behebung von Datenfehlern Anreicherungen und Transformationen von Daten https://github.com/antontarasenko/gpq/blob/master/notebooks/contracts_intro.ipynb
  • 23. Kontakt und Team 23 Jürgen Umbrich Vienna University of Economics and Business Juergen.umbrich @ wu.ac.at Johann Höchtl Donau-Universität Krems Johann.hoechtl @ donau-uni.ac.at http://adequate.at/ http://vienna.theodi.org