2. la presentazione è estratta dai contributi open pubblicati in
internet e dalla partecipazione diretta all’opendataday e
all’opengeodata, corso di formazione PA, in Roma. In
particolare:
. Formez, Gianfranco Andriola
. Comune Firenze, Emanuele Geri
. Open Knowledge Foundation, Maurizio Napolitano
. Lombardia Informatica, Daniele Crespi
supporto grafico: mary heilmann art - europaconcorsi
(ponti, incroci, infrastruttura)
lunedì 5 maggio 14
3. gli Open Data sono:
dati leggibili dalle macchine
Open Definition di Open Knowledge Foundation
«un contenuto o un dato si definisce aperto se
chiunque è in grado di utilizzarlo, ri-utilizzarlo e
ridistribuirlo, soggetto, al massimo, alla richiesta
di attribuzione e condivisione allo stesso modo»
La Open Knowledge Foundation è
‘Fondazione per la conoscenza aperta’ è una Organizzazione non profit con lo scopo di promuovere l'apertura dei
contenuti e i dati aperti. Fu fondata il 24 maggio 2004 a Cambridge (Regno Unito). La fondazione ha pubblicato la
definizione di Conoscenza aperta e partecipa a diversi progetti come il: Comprehensive Knowledge Archive
Network e supporta lo sviluppo della Open Database License
http://opendatamanual.org/ - Documento redatto dall’Open Knowledge Foundation
il responsabile per l’Italia della Knowledge foundation è
Maurizio Napolitano - Fondazione Bruno Kessler
filosofia
e
pratica
open
lunedì 5 maggio 14
4. "Un giorno le macchine risolveranno tutti i problemi,
ma mai nessuna di esse riuscirà a formularne uno"
A. Einstein
HREF: fondazione per la qualità dell’informazione
es.. il Data journalism
http://www.innovatoripa.it
lunedì 5 maggio 14
5. open data:
categorie
dati cartografici
scientifici, medici, bioscienze
genetica, chimica ...
dati anagrafici
dati governativi
dati territoriali
attivazione, verificaimpatto e monitoraggio
politiche sociali
gestione del territorio
i tag più diffusi portale
dati.gov.it:
popolazione
territorio
20122013
ambiente
cartografia
statistica
20062011
turismo
elezioni
commercio
La PA da sempre raccoglie
e archivia informazioni
sulle tematiche più
disparate. Oggi la PA ha la
possibilità di restituire il
patrimonio informativo
accumulato e aggiornato
alla comunità e agli
operatori economici di
settore. FORMEZ Pa
lunedì 5 maggio 14
6. L'open data si richiama alla più ampia disciplina dell’open government:tutte le
attività dei Governi e delle Amministrazioni dello Stato devono essere aperte e
disponibili per favorire azioni efficaci e garantire un controllo diffuso sulla
gestione della cosa pubblica.
trasparenza partecipazione collaborazione
open data: la legislazione italiana
Codice dell'Amministrazione Digitale (D. Lgs. n. 82/2005)
prevede il principio di
“disponibilità dei dati pubblici” (enunciato all’art. 2, comma 1, e declinato dall’art. 50, comma1)
consiste nella possibilità, per soggetti pubblici e privati, “di accedere ai dati senza restrizioni non
riconducibili a esplicite norme di legge ”(art.1, lett. o)
(art. 11, D. Lgs. n.150/2009)
"accessibilità totale (...) delle informazioni concernenti ogni aspetto dell’organizzazione, degli
indicatori relativi agli andamenti gestionali e all’utilizzo delle risorse per il perseguimento delle
funzioni istituzionali, dei risultati dell’attività di misurazione e valutazione ”
obiettivi di (art. 12, D. Lgs. n. 82/2005).
efficienza, efficacia, economicità, imparzialità, trasparenza, semplificazione e partecipazione”
lunedì 5 maggio 14
7. quando un dato è aperto?
scegliere il proprio piano pensionistico in USA
prospetto
ad hoc
dati da
enti pubblici
che rilasciano
propri dati in
formato open
•Department of Labor
•Securities and Exchange
Commission
•U.S. Census Bureau
•Equal Employment Opportunity
Commission
•Bureau of Labor Statistic
economia
BrightScope 3 ml in 2012
previsti 10 nel 2013 Utenti: prospetto ad hoc
a costo vantaggioso
(da 700 a 80 dollari)
lunedì 5 maggio 14
8. se uno Stato realizza
un’infrastruttura
siamo poi noi utenti
e operatori a dare
il valore a quel bene
secondo domande e
opportunità di mercato,
o per erogare
servizi di pubblica utilità.
open data : economia della conoscenza
infrastruttura stradale : economia tradizionale
lunedì 5 maggio 14
9. rimane da risolvere socialmente la
perdita e la riconversione dell’attuale
struttura di erogazione di servizi
lunedì 5 maggio 14
10. i dati come il carburante nella II Rivoluzione Industriale
La terza
Rivoluzione
Industriale
I Carbone II Petrolio III Dati
altre correnti, mondo dei makers,
terza rivoluzione industriale
riferendosi alla stampa 3D/4D
«Mentre i "nativi digitali" erano concentrati su quello che
potevano fare in modo nuovo con le tecnologie, i "nativi
dei dati" sono soprattutto interessati a quello che le nuove
tecnologie possono fare per loro» Monica Rogati
nativi digitali nativi dei dati
lunedì 5 maggio 14
11. essere guidati
dalla domanda
file non strutturati in formati
immagine come .gif, .jpg, .png,
o in formati proprietari come
Microsoft Word o Adobe Pdf
inserire i dati nel
contesto
supportare
conversazioni
intorno ai dati
creare capacità
competenze e
network
collaborare
sui dati come
una risorsa
comune
dati strutturati ma codificati
con un formato proprietario
(es. in formato Microsoft Excel)
dati strutturati e codificati in
un formato non proprietario
(es. in formato .csv)
dati strutturati e codificati in
un formato non proprietario e
dotati di un URI che li rende
indirizzabili sulla rete e quindi
utilizzabili direttamente online
Linked Open Data (LOD),
ovvero dati aperti (classificati a
quattro stelle) che hanno
collegamenti mediante link ad
altri dataset
ascolto richieste
e risposta con dati
aggiornamento
manuali - analisi
struttura scelte
supporto
descrizione dati
formato - qualità
permessi commenti
contatti per domande
discussioni off line
link per lavorare
guida analisi
interesse esterno
alla comunità
feedback per
migliorare datasets
API nuove risorse
connessioni datasets
riuso
http://www.w3.org/2012/06/pmod/pmod2012_submission_5.pdf
Tim DavisTim Berners Lee
the five stars of Open Data engagement
obiettivi
creare comunità
intorno ai dati
e passare dagli
ingredienti
di una pietanza al
momento in cui
la si mangia
4
5
3
2
1
4
5
3
2
1
lunedì 5 maggio 14
12. Prodotto del più ampio progetto delle Linee guida per i siti web della PA, strutturato in
due parti principali:
• Parte I - PA e dati aperti, introduce il concetto di Open Government, la prassi
dell'Open Data e presenta un approfondito quadro normativo sui due temi. Questa
prima parte si articola nei seguenti quattro capitoli: 1. Open Government; 2.Open
Data; 3.Quadro Normativo; 4.Come avviare il processo di apertura dei dati
• Parte II – Come procedere per aprire i dati della PA, contiene la descrizione
degli aspetti tecnici, organizzativi e giuridici da affrontare prima di rendere
disponibili i dati dell’Amministrazione. La seconda parte si articola nei seguenti
cinque capitoli: 5.Organizzarsi per l’apertura dei dati; 6.Identificazione dei dati; 7.
Analisi dei dataset; 8.Pubblicazione del Dataset; 9.Diffusione del Dataset
Vademecum su Open Data
Licenza italiana per i dati aperti
Progettata per permettere a tutte le pubbliche amministrazioni italiane di diffondere i
propri dati, la licenza I è stata sviluppata da Formez PA e ha lo scopo di promuovere la
“liberazione” e valorizzazione dei dati pubblici secondo la linea già tracciata dal
Ministero per la pubblica amministrazione e l'innovazione con la pubblicazione del
nuovo Codice dell’amministrazione digitale, che all’Articolo 52 pone in primo piano la
responsabilità delle pubbliche amministrazioni nel rendere disponibili i propri dati in
modalità digitale.
italian
Open Data License
(IODL)
www.formez.it/iodl
Fonte portale dati.gov
Discussione online
Per alimentare la discussione online sul Portale Dati.gov.ti, sulla Licenza IODL e più in
generale sul tema open data è stato creato un gruppo su Innovatori PA, community
promossa da Formez PA e Forum PA che raccoglie più di 4000 operatori del settore
pubblico. Su Innovatori PA vengono inoltre segnalate iniziative, convegni, seminari online
dedicati ai temi dell’open data e dell’open government.
http://www.innovatoripa.it/groups/open-government
http://www.spaghettiopendata.org
•Creative Commons by
•internet CCO
•autocertificazione
Open Data Istitute
https://certificates.theodi.org/
Altre Licenze
lunedì 5 maggio 14
13. NAME identificativo univoco
TITLE titolo dataset (lo legge utente )
THEME area tematica associata (Eurovoc 1)
DESCRIPTION descrizione estesa dataset
CREATOR/name nome produttore dataset
M BOX e-mail
PUBLISHER nome di chi pubblica
M BOX MANTEINER responsabile pubblicazione
ISSUED/CREATED data di creazione e rilascio
MODIFIED data di modifica
LICENZA formato licenza
LANDING PAGE URL dove è descritto (.. può scaricare)
THEME (groups) insieme al quale è associato (Eurovoc 2)
SPATIAL copertura spaziale
DISTRIBUTION (resources) forme in cui il dataset è disp. (API ..)
TITLE nome della risorsa
FORMAT formato della risorsa (estensione)
ACCES/DOWNLOAD link download o API o end point spqrl
CREATED data creazione risorsa
MODIFIED data modifica risorsa
metadati per cataloghi open data - CKAN
campi descrittivi definiti da Agenzia Italia Digitale
lunedì 5 maggio 14
15. 2 esempi in Italia di open-geo-data
Firenze
Lombardia
http://www.opengeodata.it
i dati
• statici
(biblioteche, musei ..)
• variabili
(semafori, rastrelliere
bici ..)
• dinamici
(eventi nei luoghi)
• in tempo reale
(posti nei parcheggi,
sensori ..)
lunedì 5 maggio 14
16. Piattaforma Tecnologica - open data
piattaforma di pubblicazione degli open data sviluppata e promossa dalla
Open Knowledge Foundation utilizzata per il catalogo nazionale di molti
paesi (USA, UK, Brasile, Parlamento Europeo…)
CKAN
è un software open source che permette di catalogare i dataset e
descriverli traverso una serie di metadati che da un lato aiutano gli utenti
a navigare tra le informazioni e dall’altro favoriscono l’indicizzazione degli
stessi dataset sui motori di ricerca.
CKAN
è costruito con Python per il backend e Javascript per quello che
riguarda il frontend. Il suo motore di database è PostgreSQL e la sua
ricerca è alimentato da SOLR. CKAN ha una architettura modulare che
permette estensioni da sviluppare per fornire funzionalità aggiuntive. Il
sistema di catalogazione utilizza il proprio modello interno per archiviare i
metadati sui diversi record, e li presenta in una interfaccia web che
permette agli utenti di selezionare e cercare tra i metadati
CKAN
la peculiarità principale è Harvesting, cioè permette l’importazione
automatica dei dataset pubblicati dagli altri data store tramite APICKAN
lunedì 5 maggio 14
17. le interfacce di accesso ai contenuti
cataloghi dataset
è un framework che può generare
animazioni bidimensionali o
tridimensionali d’altissimo livello su
qualunque device o sistema operativo.
famo.us d3js.org
libreria javascript per la visualizzazione
dati .. numerici
lunedì 5 maggio 14
18. UN ESEMPIO
di Programma/Progetto per la creazione di dataset open da un sistema
di rilevamento effettuato tramite sensori disposti sul territorio
esiste in Italia dal 2008
ISPRA: Istituto Superiore per la Protezione e Ricerca Ambientale
dal quale dipende il Servizio Mareografico Nazionale.
Il SMN fornisce dati, pareri e consulenze a chiunque ne faccia richiesta e supporta gli
enti locali e gli altri enti pubblici e di diritto pubblico.
lunedì 5 maggio 14
19. by sciamlab e insideout10
M A R E O G R A F I C O
maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamaresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareog
maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareventopesceacquaqualitài
for open data
maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareventopesceacquaqualitàpressionevlbrezzavelamaretrotaondepression
lunedì 5 maggio 14
20. for open data
mareografico
data open
data
linked
open
data
oggi
data 6/12
mesi
open data
6/18
mesi
linked
open data
PROGRAMMA
Step I° Step II°
- portale open L(O)D
by sciamlab e insideout10
lunedì 5 maggio 14
21. benefit open data = rendere leggibili i dati alle macchine
by sciamlab e insideout10
for open data
mareografico
gli Open Data
aiutano a prendere
decisioni migliori nella
nostra vita, e
consentono di essere
più attivi nella
società.
rendere open data strutturale
distinguere in categorie i dataset
1. STATICI - es. ubicazione
2. VARIABILI - sensori
3. DINAMICI - eventi
4. IN TEMPO REALE
API di publisching per
dataset variabili
perchè
•Trasparenza e controllo
democratico
•partecipazione
•Aumento possibilità di scelta
•Prodotti e servizi privati,
nuovi o
migliorati
•Innovazione
•Miglioramento e maggiore
efficienza dei servizi pubblici
•Misurazione dell'impatto delle
politiche
•Nuove conoscenze da fonti di dati
combinati e modelli di grandi
volumi di dati
Open data ha una grande valenza economica.
Diversi studi hanno stimato il valore economico
dei dati aperti a diverse decine di miliardi di euro
ogni anno nella sola Unione europea .
Nuove combinazioni di dati possono creare nuove conoscenze e intuizioni, e
nuovi campi di applicazione .Abbiamo visto come nella Londra del 19 ° secolo, il
dottor Snow scoprì la relazione tra l’inquinamento dell'acqua potabile e il
colera, combinando i dati su morti di colera con la posizione dei pozzi d'acqua .
BIG DATA
OPEN DATA
LINKED
OPEN DATA
smart cities
sensori
business
intelligence
open
gov
community
corporate
data
lunedì 5 maggio 14
22. by sciamlab e insideout10
for open data
mareografico
dati grezzi
grezzi e subito perché i dati scadono, e perché
sappiamo gestirli anche se non rifiniti e
certificati
Gratis perché gli introiti che una PA ottiene dalla
vendita di tali dati è minima rispetto agli introiti di
fiscalità generale
dati grezzi
L(O)D
i dati isolati hanno poco valore
nella cloud L(O)D possono essere incrociati
nuovi servizi
Riuso: creazione valore aggiunto
parteciapazione attiva
linked open data
open data
benefit interoperabilità
• per i Cittadini e Imprese
opportunità - conoscenza -
business
• per le Organizzazioni pubbliche
distribuire il proprio valore e
conoscenze
open data
reti di
misura
• mareografico
• qualità acqua
• onde anomale
• altre reti di misura
lunedì 5 maggio 14
23. by sciamlab e insideout10for open data
mareografico
Tutte le stazioni sono dotate di un sistema locale di gestione e memorizzazione dei dati e di un apparato
di trasmissione (UMTS) in tempo reale alla sede centrale del SMN a Roma. Inoltre in 9 stazioni strategiche
per la misura di fenomeni particolari (onde anomale) è presente un secondo sistema di trasmissione dati
via satellite con tecnologia IRIDIUM che garantisce il collegamento anche in presenza di situazioni di black-
out del sistema UMTS.
Da quando la nuova Rete Mareografica Nazionale è pienamente operativa, il SMN mette a disposizione
degli utenti informazioni aggiornate relative a serie storiche, osservazioni in tempo reale, previsione dei
dati di marea astronomica, analisi dei dati a fini progettuali e scientifici.
I dati mareografici e le costanti di marea locali aggiornate sono disponibili, il SMN ha inoltre provveduto ad
effettuare un’operazione di recupero e riorganizzazione dei dati storici della rete preesistente, in forma
digitale, in modo da poter affiancare alle osservazioni storiche quelle rilevate dalla nuova rete nazionale. La
Rete Mareografica Nazionale utilizza esclusivamente stazioni di monitoraggio alimentate da energia
prodotta con pannelli fotovoltaici.
sir
SMN
Compito del SMN è
quello di provvedere al
r i l i e v o e d a l l a
elaborazione delle
grandezze relative al
clima marittimo,
allo stato dei litorali
ed ai livelli marini,
pubblicare gli elementi
osservati ed elaborati,
predisporre criteri,
metodi e standard di
raccolta, analisi e
consultazione dei dati
raccolti
gestire la rete
ondametrica nazionale
Il SMN fornisce dati,
pareri e consulenze a
chiunque ne faccia
richiesta e supporta gli
enti locali e gli altri
enti pubblici e di
diritto pubblico
•CONFRONTO TRA
STAZIONI
•PREVISIONI MAREA
•ARCHIVIO DATI
RETI DI MISURA STAZIONI
SENSORI
MAREOGRAFICO
QUALITA’ ACQUA
ONDE ANOMALE
36
ASTA IDROMETRICA
IDROMETRO A GALLEGGIANTE
MAREOGRAFO A ULTRASUONI
SCENARIO
SENSORE BAROMETRICO
SONDA MULTIPARAMETRICA
DIREZIONE VENTO
LIVELLO PIEZOMETRICO
LIVELLO RADAR
TEMPERATURA ACQUA
TEMPERATURA ARIA E RH %
VELOCITA’ VENTO
lunedì 5 maggio 14
24. by sciamlab e insideout10
for open data
mareografico
• piattafforma informatica in uso
• sistemi di acquisizione e
trasmissione dati dai sensori
• sistemi di parametrizzazione e
salvataggio dati
• qualità dataset esistenti e
definizione attività e tecnologie
per la trasformazione in open data
3 stelle e successivamente in LOD
• quantità dataset e loro relazioni
• thesauri e ontologie base di
settore (ambiente) e della
organizzazione pubblica (Eurovoc)
• possibili relazioni gerarchiche e
associative tra i termini e studio
modellazione ontologie
• predisposizioni e ambiti di riuso
• competitors e potenziali sviluppi
della piattaforma e service API
analisi
open data for
individuazione necessità e
definizione contratto di
licenze - riuso dei dati
•IODL - Italian Open
Data License http://
www.dati.gov.it/iodl/2.0/
•Creative Commons by
•internet CCO
•autocertificazione Open
Data Istitute https://
certificates.theodi.org/
•.. others
licenze
•tecnico
• piattaforma open data
• CKAN + Tools (API)
• Redlink API’s
• trasformazione
dataset
• industrializzazione
metadati associati
• thesauri - ontologie
•comunicazione
• disegno interfacce per
categoria utenza
• individuazione canali di
disseminazione
•sviluppo
• progetto della cloud:
rilievo dei dati marini
• individuazione e
colegamento reti terze
• predisposizione
sviluppo API (imprese)
• inserimento nella cloud
L(O)D
• collegamento con altri
dataset: “Ambiente”,
“mare, costa, difesa
del suolo”, “mare,
inquinamento ”.
progetto
lunedì 5 maggio 14
25. DisseminateExploitIntegrateAsses
on my open data
Nella prima fase vengono valutati i potenziali dataset secondo diversi parametri: la disponibilità dei dati;
la frequenza di aggiornamento; la loro ‘pulizia’. I dati vengono valutati anche contro i casi di uso comune.
Al termine di questa fase gli use cases, i dataset e le attività di integrazione sono chiaramente definite.
Nella fase di integrazione i dati vengono arricchiti per raggiungere la qualità a 5stelle, e renderli conformi
al sistema di valutazione della cloud LOD. I dati vengono poi trasformati in un dataset di dati collegati
per mezzo di procedure personalizzate, ripetute periodicamente al fine di mantenere sincronizzati i
dataset con le risorse originali. Durante il processo di arricchimento, i dati possono essere
ulteriormente integrati con i dati provenienti dal LOD creando connessioni significative e aumentando
esponenzialmente il valore di dati. Al termine di questa fase una serie di ‘set di dati’ viene pubblicato e
collegato con gli standard Open Data.
Nella fase di valorizzazione i dati pubblicati sono utilizzati per soddisfare i casi d'uso originali, il riuso dei
dataset con il flusso di lavoro editoriale, tagging dei contenuti, migliorando la SEO col significativo
supporto di schema.org e fornendo campioni di mashup per i widget interattivi. Il risultato di questa fase
è lo sfruttamento della cloud LOD nel flusso di lavoro esistente.
Durante la fase di disseminazione dei risultati il progetto sarà promosso al fine di aumentare la propria
visibilità, coinvolgere la comunità nel suo sfruttamento e raccogliere prezioso feedback.
cloud LOD
by sciamlab e insideout10for open data
lunedì 5 maggio 14
26. architettura by sciamlab e insideout10for open data
input
output
CKAN
REDLINK
IIIIIIIIII
IIIIIIIIIIIIIIIII
IIIIIIIIIIII
opensourcecatalog
frameworksemantico
Content analisys
Linked data Publishing
Sparql end point
layer di pubblicazione catalogo - API commerce
IIIIII
reti ISPRA altre reti
layer di elaborazione e confronto parametri
interfaccia
Enti
interfaccia
cittadini interfaccia
operatori
connettori
open data repository
open data service
ricerca
dati
portale
sensori
cms
repository metadati
motore di ricerca
indice metadati
data store
API - Sparql
Semantic search
API
-service-
-alert-
harvesting metadata - ontology
lunedì 5 maggio 14
27. for Mareografico
Siamo due aziende, Sciamlab e Insideout10, specializzate in
tecnologie open e framework semantici che hanno già
molta esperienza: nella creazione di open data; nella
trasformazione di dataset open in L(O)D; nei progetti di
riuso dei dati realizzando connessioni tra reti ed API. La
metodologia sviluppata nell’ambito delle tecnologie open
data è arrivata ad un livello di maturazione tale da
permetterci di affrontare e risolvere qualsiasi complessità
derivata dai sistemi legacy; mentre preferiamo ancora
adattare professionalmente le tecnologie semantiche
modellando linguaggi e ontologie. Le applicazioni realizzate
in quest’ambito sono quelle su cui si basa ad esempio, il
portale nazionale http://www.dati.gov.it: per la creazione,
gestione e pubblicazione di archivi di dataset open; e il
framework di tecnologie semantiche www.redlink.co per
l’arricchimento dei contenuti e la trasformazione in L(O)D.
chi siamo - cosa
by sciamlab e insideout10for open data
lunedì 5 maggio 14
28. by sciamlab e insideout10for open data
come
con chi
.. for mareografico
74 65 982 3STEP STEP
SAPIENZA INNOVAZIONE
‘n
3
2
1
ACQUISIZIONE
STATO DELL’ARTE:
dalla trasmissione in
frequenza alle reti
digitali al dataset open
LOD
• sensori: tecnologie
in uso per la
rilevazione dei dati e
loro trasmissione
• semantica: domini
informativi e
ontologie
modellazione su:
ambiente, mare,
alertsicurezza
• ambiti d’uso e
progetto esecutivo
piattaforma
PIATTAFORMATECNOLOGICA
CATALOGODATASET
SENSORI
PIATTAFORMATECNOLOGICA
SEMANTICADATASET
sciamlab srl
6 9
PIATTAFORMAINTERFACCE
TEST
PIATTAFORMAAPI
sicurezzaALERT
service‘MAREOGRAFICO’
insideout10 srl
3 96
RETE SAILORNET
DESIGNNEWMARKET
MANUTENZIONEEVOLUTIVA
RETE MAREOGRAFICO
ALTRE RETI
MONITORAGGIO
AMBIENTALE
9
lunedì 5 maggio 14
29. GRAZIE
i n s i d e o u t 1 0
mausa out
lunedì 5 maggio 14