OPEN DATA AND
  DATA DRIVEN JOURNALISM

Möglichkeiten, Chancen und Tools

Robert Harm
http://twitter.com/RobertHarm
http://twitter com/RobertHarm



open3.at – Verein zur Förderung von openSociety, openGovernment und openData
Am Anfang war…




                                                                     2
     Quelle: http://www.slideshare.net/parycek/opening-edem2010-fn
Definition Open Data

Alle nicht personenbezogenen Daten aus Politik,
     nicht-personenbezogenen           Politik
öffentlicher Verwaltung und Wissenschaft werden der
Allgemeinheit in vollem Umfang zeitnah in offenen Formaten

über offene Schnittstellen maschinenlesbar ohne
Einschränkungen möglichst k t f i zur V fü
Ei   hä k        ö li h t kostenfrei  Verfügung gestellt.
                                                   t llt


8 Open Government Data Prinzipien
http://opendata-network.org/2009/11/open-government-data-principles/


                                                                       3
Um welche Daten geht es?




 Quelle: http://www.slideshare.net/opendata/open-data-network-warum-eine-freie-gesellschaft-offene-daten-braucht
                                                                                                                   4
Stufen der Wiederverwendbarkeit
1.   Daten im Web verfügbar (egal welches Format)

2.   Daten in strukturierten Formaten verfügbar
     (zB Excel statt eingescanntes Bild)

3.   Daten in einem nicht-proprietären Format
     verfügbar (zB csv statt xls)

4.   Verwendung von URLs
     zur eindeutigen Identifizierung
                 g                 g

5.   Kontext durch Verlinkung zu anderen Daten

                                                    5
The Three Laws of Open Government Data[1]


   If it can’t be spidered or indexed, it doesn’t
   exist

   If it isn t available in open and machine
         isn’t
   readable format, it can’t engage

   If a legal framework doesn’t allow it to be
   repurposed, doesn t
   repurposed it doesn’t empower

[1] David Eaves, http://eaves.ca/2009/09/30/three-law-of-open-government-data/

                                                                                 6
Potential und der gesellschaftliche
                  g
Nutzen von “offenen Regierungsdaten”


   Politik und öffentliche Verwaltung werden
   offen, transparent und bürgerorientiert

   Gesellschaftliche Prozesse und
   Missstände werden sichtbar und so
   adressierbar

   Individuelle qualifizierte Entscheidungen
   können getroffen werden
  Quelle: Donau-Uni Krems, Zentrum für E-Government
                                                      7
open data - neues
        Zugangsmodell zu Daten




Quelle: Daniel Dietrich, http://www.slideshare.net/ddie/opendata-warum-eine-freie-gesellschaft-offene-daten-braucht
                                                                                                                      8
Wunsch nach mehr Transparenz?




Download der Studie unter http://www.sas.de/open
                             p               p

                                                   9
Rolle von Journalisten und
Bloggern




                             10
What is Data Driven Journalism?




                                                                       11
      Quelle: http://www.slideshare.net/mirkolorenz/data-driven-adam
Journalisten und Entwickler früher




      Quelle: http://www.slideshare.net/amclean/data-driven-journalism-telling-stories-online   12
Journalisten und Entwickler heute




     Quelle: http://www.slideshare.net/amclean/data-driven-journalism-telling-stories-online   13
What does this mean for journalism?

Making the news:
  finding new stories from datasets
  bigger picture by linking datasets
    gg p           y      g
  more pairs of eyes to spot patterns
  harnessing more external experience
  responding to interest from public
  putting stories into context
  p
  publishing datasets with stories
           g
                                        14
What does this mean for journalism?

spreading the news:
   visually respresenting information
   demand-driven
   demand driven delivery
   datasets for others to reuse
   enabling users to comment/flag
   integration with other services
   connecting to stories
              g
                                        15
Beispiel NYT / Arbeitslose




         http://nyti.ms/9MdhtL   16
Beispiel www.offenerhaushalt.de




                                  17
Datenquellen

-   Weltbank (http://data.worldbank.org/)
-   UNO (http://data.un.org/)
-   Eurostat (http://bit ly/cBkW4o)
             (http://bit.ly/cBkW4o)
-   CKAN-Repository (http://www.ckan.net/)
-   DBpedia (http://dbpedia.org)
-   ....

                                        18
Welchen Beitrag können
Journalisten/Medienorganisationen leisten?


1.   Eigene Daten unter einer offenen Lizenz
     veröffentlichen

2.   Zusammenarbeit mit existierenden
     Communities

3.   Einsatz und Unterstützung von b t h d
     Ei     t   d U t tüt          bestehenden
     Initiativen und Technologien

4.   Innovationen, Innovationen, Innovationen

                                                19
Tools
scraperwiki.com – Extraktion von Daten aus Webseiten
outwit.com – Firefox-Plugin für Extraktion von zB Tabellen

gephi.org - Visualisierung von Netzwerken & komplexen Systemen
uuorld.com – mapping tool
ManyEyes – Visualisierung (http://bit ly/atoEXj)
                             (http://bit.ly/atoEXj)
swivel.com – see, understand and share numbers
nodexl.codeplex.com – Netzwerkanalyse mit Excel
Textmining it A t
T t i i mit Automap (http://bit.ly/bVmn56)
                          (htt //bit l /bV 56)
Visualisierungen mit Tableau Public (http://bit.ly/cw7oOB)
getpivot.com – Visualisierungslösung von Microsoft
Freebase Gridworks - open data cleansing tool (http://bit.ly/aBbAZA)



                                                                 20
Tools
Digital Method Initiative
http://wiki.digitalmethods.net/Dmi/ToolDatabase
    Bubble Lines
    Compare Lists
    Delicious Scraper
    Extract URLs
    Google News/Image/Blog Search Scraper
    Issue Discovery Tool
    Language D t ti
    L            Detection
    Significant Words
    Tag Cloud Generator
    Tree Map Generator
    Twitter Scraper
    Wikipedia Scraper
         p           p
    ….
                                                  21
Weiterführende Links
Opendata
   Ö: http://www.open3.at
   Ö: http://gov.opendata.at
   BRD: http://opendata-network.org
   UK: http://okfn.org/
   US: http://sunlightfoundation.com/
   Map of OpenData Initiatives: http://bit.ly/bZkZ7p

Datenjournalismus
   http://onlinejournalismblog.com/category/databases/
   http://recherche-info.de/
   http://recherche info de/
   http://www.tobiaskut.de/tag/datenjournalismus/
   DDJ Mailingliste http://wiki.opendata-network.org/DDJ-Mailinglist

                                                                  22
Weiterführende Informationen
Grundlagentexte
A fundamental way newspaper sites need to change | Adrian Holovaty | Sept, 2006 http://bit.ly/d0R2Du
Journalism Needs Data in 21st Century | Zach Beauvais | Aug. 2009 http://rww.to/9ugsLh

Weitere Texte
Datenjournalismus: Spannende Recherche im Netz (GER) | Christiane Schulzki-Haddouti | März 2010
   p        y
http://bit.ly/cQ6aaF

Will journalists of the future need to know how to code? | Mercedes Bunz | January 2010
http://bit.ly/9h1XhS

The golden age of computer-assisted reporting is at hand | Mathew Ingram | Mai 2009
http://bit.ly/awS9Vj

Hacks and Hackers play with data-driven news | Judith Townend | Februar 2010 http://bit.ly/cthgY0

Using Data Visualization as a Reporting Tool Can Reveal Story's Shape | Steve Meyers | April 2009
http://bit.ly/aJkryj



                                                                                                    23
Danke für die Aufmerksamkeit!
D k fü di A f       k   k it!




                                   Robert Harm
               http://twitter.com/RobertHarm
                           http://www.open3.at




                                          24

Opendata and data-driven-journalism

  • 1.
    OPEN DATA AND DATA DRIVEN JOURNALISM Möglichkeiten, Chancen und Tools Robert Harm http://twitter.com/RobertHarm http://twitter com/RobertHarm open3.at – Verein zur Förderung von openSociety, openGovernment und openData
  • 2.
    Am Anfang war… 2 Quelle: http://www.slideshare.net/parycek/opening-edem2010-fn
  • 3.
    Definition Open Data Allenicht personenbezogenen Daten aus Politik, nicht-personenbezogenen Politik öffentlicher Verwaltung und Wissenschaft werden der Allgemeinheit in vollem Umfang zeitnah in offenen Formaten über offene Schnittstellen maschinenlesbar ohne Einschränkungen möglichst k t f i zur V fü Ei hä k ö li h t kostenfrei Verfügung gestellt. t llt 8 Open Government Data Prinzipien http://opendata-network.org/2009/11/open-government-data-principles/ 3
  • 4.
    Um welche Datengeht es? Quelle: http://www.slideshare.net/opendata/open-data-network-warum-eine-freie-gesellschaft-offene-daten-braucht 4
  • 5.
    Stufen der Wiederverwendbarkeit 1. Daten im Web verfügbar (egal welches Format) 2. Daten in strukturierten Formaten verfügbar (zB Excel statt eingescanntes Bild) 3. Daten in einem nicht-proprietären Format verfügbar (zB csv statt xls) 4. Verwendung von URLs zur eindeutigen Identifizierung g g 5. Kontext durch Verlinkung zu anderen Daten 5
  • 6.
    The Three Lawsof Open Government Data[1] If it can’t be spidered or indexed, it doesn’t exist If it isn t available in open and machine isn’t readable format, it can’t engage If a legal framework doesn’t allow it to be repurposed, doesn t repurposed it doesn’t empower [1] David Eaves, http://eaves.ca/2009/09/30/three-law-of-open-government-data/ 6
  • 7.
    Potential und dergesellschaftliche g Nutzen von “offenen Regierungsdaten” Politik und öffentliche Verwaltung werden offen, transparent und bürgerorientiert Gesellschaftliche Prozesse und Missstände werden sichtbar und so adressierbar Individuelle qualifizierte Entscheidungen können getroffen werden Quelle: Donau-Uni Krems, Zentrum für E-Government 7
  • 8.
    open data -neues Zugangsmodell zu Daten Quelle: Daniel Dietrich, http://www.slideshare.net/ddie/opendata-warum-eine-freie-gesellschaft-offene-daten-braucht 8
  • 9.
    Wunsch nach mehrTransparenz? Download der Studie unter http://www.sas.de/open p p 9
  • 10.
    Rolle von Journalistenund Bloggern 10
  • 11.
    What is DataDriven Journalism? 11 Quelle: http://www.slideshare.net/mirkolorenz/data-driven-adam
  • 12.
    Journalisten und Entwicklerfrüher Quelle: http://www.slideshare.net/amclean/data-driven-journalism-telling-stories-online 12
  • 13.
    Journalisten und Entwicklerheute Quelle: http://www.slideshare.net/amclean/data-driven-journalism-telling-stories-online 13
  • 14.
    What does thismean for journalism? Making the news: finding new stories from datasets bigger picture by linking datasets gg p y g more pairs of eyes to spot patterns harnessing more external experience responding to interest from public putting stories into context p publishing datasets with stories g 14
  • 15.
    What does thismean for journalism? spreading the news: visually respresenting information demand-driven demand driven delivery datasets for others to reuse enabling users to comment/flag integration with other services connecting to stories g 15
  • 16.
    Beispiel NYT /Arbeitslose http://nyti.ms/9MdhtL 16
  • 17.
  • 18.
    Datenquellen - Weltbank (http://data.worldbank.org/) - UNO (http://data.un.org/) - Eurostat (http://bit ly/cBkW4o) (http://bit.ly/cBkW4o) - CKAN-Repository (http://www.ckan.net/) - DBpedia (http://dbpedia.org) - .... 18
  • 19.
    Welchen Beitrag können Journalisten/Medienorganisationenleisten? 1. Eigene Daten unter einer offenen Lizenz veröffentlichen 2. Zusammenarbeit mit existierenden Communities 3. Einsatz und Unterstützung von b t h d Ei t d U t tüt bestehenden Initiativen und Technologien 4. Innovationen, Innovationen, Innovationen 19
  • 20.
    Tools scraperwiki.com – Extraktionvon Daten aus Webseiten outwit.com – Firefox-Plugin für Extraktion von zB Tabellen gephi.org - Visualisierung von Netzwerken & komplexen Systemen uuorld.com – mapping tool ManyEyes – Visualisierung (http://bit ly/atoEXj) (http://bit.ly/atoEXj) swivel.com – see, understand and share numbers nodexl.codeplex.com – Netzwerkanalyse mit Excel Textmining it A t T t i i mit Automap (http://bit.ly/bVmn56) (htt //bit l /bV 56) Visualisierungen mit Tableau Public (http://bit.ly/cw7oOB) getpivot.com – Visualisierungslösung von Microsoft Freebase Gridworks - open data cleansing tool (http://bit.ly/aBbAZA) 20
  • 21.
    Tools Digital Method Initiative http://wiki.digitalmethods.net/Dmi/ToolDatabase Bubble Lines Compare Lists Delicious Scraper Extract URLs Google News/Image/Blog Search Scraper Issue Discovery Tool Language D t ti L Detection Significant Words Tag Cloud Generator Tree Map Generator Twitter Scraper Wikipedia Scraper p p …. 21
  • 22.
    Weiterführende Links Opendata Ö: http://www.open3.at Ö: http://gov.opendata.at BRD: http://opendata-network.org UK: http://okfn.org/ US: http://sunlightfoundation.com/ Map of OpenData Initiatives: http://bit.ly/bZkZ7p Datenjournalismus http://onlinejournalismblog.com/category/databases/ http://recherche-info.de/ http://recherche info de/ http://www.tobiaskut.de/tag/datenjournalismus/ DDJ Mailingliste http://wiki.opendata-network.org/DDJ-Mailinglist 22
  • 23.
    Weiterführende Informationen Grundlagentexte A fundamentalway newspaper sites need to change | Adrian Holovaty | Sept, 2006 http://bit.ly/d0R2Du Journalism Needs Data in 21st Century | Zach Beauvais | Aug. 2009 http://rww.to/9ugsLh Weitere Texte Datenjournalismus: Spannende Recherche im Netz (GER) | Christiane Schulzki-Haddouti | März 2010 p y http://bit.ly/cQ6aaF Will journalists of the future need to know how to code? | Mercedes Bunz | January 2010 http://bit.ly/9h1XhS The golden age of computer-assisted reporting is at hand | Mathew Ingram | Mai 2009 http://bit.ly/awS9Vj Hacks and Hackers play with data-driven news | Judith Townend | Februar 2010 http://bit.ly/cthgY0 Using Data Visualization as a Reporting Tool Can Reveal Story's Shape | Steve Meyers | April 2009 http://bit.ly/aJkryj 23
  • 24.
    Danke für dieAufmerksamkeit! D k fü di A f k k it! Robert Harm http://twitter.com/RobertHarm http://www.open3.at 24