A.M. Digrandi, Raccolta dati e produzione di informazione statistica ufficiale sul trasporto marittimo - Micro e big data per le analisi economiche sul trasporto marittimo
Convegno L’informazione statistica ufficiale sul trasporto marittimo tra integrazione e innovazione
Ancona, Sala Marconi, Molo Santa Maria
27 febbraio 2019
Programmazione 2014-2020: procedura di designazione delle Autorità di Audit
Ähnlich wie A.M. Digrandi, Raccolta dati e produzione di informazione statistica ufficiale sul trasporto marittimo - Micro e big data per le analisi economiche sul trasporto marittimo
Ähnlich wie A.M. Digrandi, Raccolta dati e produzione di informazione statistica ufficiale sul trasporto marittimo - Micro e big data per le analisi economiche sul trasporto marittimo (20)
Una breve introduzione ad Elsa Morante, vita e opere
A.M. Digrandi, Raccolta dati e produzione di informazione statistica ufficiale sul trasporto marittimo - Micro e big data per le analisi economiche sul trasporto marittimo
1. Micro e big data per le analisi economiche sul
trasporto marittimo
Angela Maria Digrandi
Responsabile dell’Ufficio territoriale per le Marche, l’Abruzzo e la Puglia | Istat
L’informazione statistica ufficiale sul trasporto marittimo tra integrazione e
innovazione
Ancona | 27 febbraio 2019 Sala Marconi | Molo Santa Maria
Ancona- Autorità portuale 27 febbraio 2019
2. Acquisizione e trattamento dei dati: fonti amministrative e strumenti
• Implementazione e gestione degli archivi amministrativi
• Strumenti statistici di controllo e correzione degli errori
La rete territoriale per la produzione dei dati
• Organizzazione
• Rapporti inter istituzionali
Le innovazioni
• Sperimentazione di sistemi innovativi per la raccolta dati
Indice
Ancona- Autorità portuale 27 febbraio 2019
3. Utilizzo degli archivi amministrativi per l’identificazione dell’unità di
rilevazione e per la costruzione della filiera informativa
Attraverso il linkage con i dati contenuti nell’archivio Asia (Archivio
Statistico delle Imprese Attive) dell’Istat si è proceduto a:
- ricostruire i codici fiscali (attraverso i codici di partita IVA)
- inserire lo stato di attività o meno dell’impresa in Asia (ultimo stato data
inizio)
- Attribuire la corretta ragione sociale
Acquisizione e trattamento dei dati: fonti amministrative e strumenti
Ancona- Autorità portuale 27 febbraio 2019
Implementazione e gestione degli archivi amministrativi
4. Risultati
• una anagrafica delle unità di rilevazione costantemente aggiornata
• un archivio della struttura delle relazioni tra Soggetto
Gestore/Proprietario della nave e Agente marittimo/spedizioniere
Ancona- Autorità portuale 27 febbraio 2019
Acquisizione e trattamento dei dati: fonti amministrative e strumenti
Implementazione e gestione degli archivi amministrativi
5. Ancona- Autorità portuale 27 febbraio 2019
ANAGRAFICA
AGENZIE
Codice Agenzia 3xxx
Ragione Sociale
Indirizzo
Corso Vittorio
Emanuele II
Cap 7xx123
Comune Taranto
Prov TA
Tel
Fax 099
E-mail a@i.net
P.IVA / C.F. yyyyyyyyyyyy
ARCHIVIO RISPONDENTI*
Codice Utente Agenzia TAR00
Stato Dell'utenza Attiva
Data Di Variazione Dello Stato ---
Password Iniziale tr99999978s
Ragione Sociale Agenzia xxxxsrl
P.IVA / C.F. Agenzia yyyyyyyyyy
Indirizzo Agenzia d@email.it
Cap Agenzia
Corso Vittorio
Emanuele II
Comune Agenzia 74123
Prov Agenzia Taranto
Ragione Sociale Compilatore TA
Referente Compilatore DAxx srl
E-mail Referente Dxxx
ANAGRAFICA SPEDIZIONIERI
Codice Spedizioniere 144
Ragione Sociale DAxxsrl
Indirizzo via Roma
Cap 74123
Comune Taranto
Prov TA
Tel 099
Fax 099
E-mail dxxx@email.it
Referente P Dxxx
Note
Acquisizione e trattamento dei dati: fonti amministrative e strumenti
Implementazione e gestione degli archivi amministrativi
6. Archivio della struttura delle relazioni tra soggetto
Gestore/Proprietario della nave e Agente marittimo/
Spedizioniere
Ancona- Autorità portuale 27 febbraio 2019
RISPONDENTI INFO ACCESSO SISTEMA
Codice Utente TAR0
Ragione Sociale Agenzia srl
Pwd Iniziale txxxxxxxxx
Accesso 2
Data Primo Accesso 2013-01-11 17:03:35
Data Ultimo Accesso 2019-01-04
Data Creazione Utente 2013-01-03 11:58:21
MODELLI INSERITI UTENTI
Codice TAR0000
Ordine xx
Tipo 2x
Anno 2018
Data Del Viaggio 05/12/2018
Imo 9xyyyyyyy
Nome Della Nave Vxxxxxxxxx
Codice Del Porto Dichiarante IT00ITTAR
Data Di Arrivo 20181206085833
Stato D
Modello Da Upload no
Ta1rec 0
Ta2rec 0
Ta3rec 0
Ta4rec 0
Ta51rec 0
Ta52rec 0
Ta6rec 1
Ta7rec 0
Ta7arec 0
Acquisizione e trattamento dei dati: fonti amministrative e strumenti
Implementazione e gestione degli archivi amministrativi
7. Ancona- Autorità portuale 27 febbraio 2019
A. AGENZIA MARITTIMA (SOGGETTO ACCREDITATO)
NOME e COGNOME _____________________________________________________________________
RAGIONE SOCIALE ______________________________________________________________________
INDIRIZZO SOCIETÀ ____________________________________________________________________
P. IVA ___________________________________________________________________________________
COD. FISC. ______________________________________________________________________________
CITTA’____________________PROVINCIA_______________________________ CAP________________
tel. fax.
E-mail ________________________________________________________
Posta elettronica certificata (PEC)_________________________________
B. EVENTUALE SOGGETTO INCARICATO ALL’INVIO DEI DATI
NOME e COGNOME _____________________________________________________________________
RAGIONE SOCIALE ______________________________________________________________________
INDIRIZZO SOCIETÀ____________________________________________________________________
P. IVA ___________________________________________________________________________________
COD. FISC. ______________________________________________________________________________
CITTA’____________________PROVINCIA_______________________________ CAP________________
tel. fax.
E-mail ________________________________________________________
Posta elettronica certificata (PEC)_________________________________
Titolaredeidatieresponsabiledeltrattamento
Aisensidell’art.24delRegolamento(UE)2016/679,titolaredeltrattamentodeidatipersonaliraccolticonlapresenteindagine
l’Istat – Istituto nazionale di statistica, Via Cesare Balbo, 16 – 00184 Roma che per le fasi del processo statistico di rispetti
competenzahaattribuitospecificicompitiefunzioniconnessialtrattamentodeidatipersonali(art.2–quaterdeciesd.lgs.196/200
alDirettorecentraleperlestatisticheambientalieterritorialieilDirettorecentraleperlaraccoltadatidell’Istat.
https://indata.istat.it/tramar,
marestat@istat.it,
Implementazione e gestione degli archivi amministrativi
8. L’identificazione dell’unità di rilevazione e la costruzione della filiera
informativa:
Le unità di rilevazione sono i rispondenti (Agenti marittimi), ma le unità di
analisi sono i viaggi di arrivo e partenza di ciascuna nave che rientri nel
campo di osservazione dell’indagine TRAMAR.
Il record dei microdati dell’indagine TRAMAR contiene:
• Le informazioni sul porto O/D
• I dati identificativi del rispondente, cioè un’anagrafica costituita da
ragione sociale dell’agenzia-Indirizzo della sede - Codice Fiscale – Partita
IVA (la doppia informazione su C.F. e P. IVA viene richiesta dal 2019)
• Il codice identificativo del singolo viaggio di arrivo e partenza (VISIT ID)
rilasciato dalla Capitaneria
• Il codice di accesso al sistema protetto di inserimento dati reso
disponibile da Istat, INDATA
Acquisizione e trattamento dei dati: fonti amministrative e strumenti
9. Criticità preliminari all’applicazione di strumenti statistici:
1. Valutazione di completezza e tempestività: presenza di dati mancanti
al tempo t1 (mese di riferimento dell’evento); ritardo nel
completamento della rilevazione ( t3, a 3 mesi dalla data di
riferimento dell’evento)
2. Difficoltà nell’ottenimento di una misura accurata dai dati mancanti o
incongruenti; imprecisione/assenza di variabili strategiche
caratterizzanti l’evento
3. Difficoltà nell’individuazione di viaggi eventualmente mancanti: viaggi
registrati con dati parzialmente differenti tra i vari sistemi di
acquisizione; viaggi registrati da Agenzie/Spedizionieri che utilizzano
riferimenti a ragioni sociali parzialmente o del tutto diversi per
indicare gli stessi attori
Ancona- Autorità portuale 27 febbraio 2019
Strumenti statistici di controllo e correzione degli errori
10. L’identificazione dell’unità di rilevazione e la costruzione della filiera
informativa: criticità…
• informazioni sul porto O/D. Criticità: erronea codifica/mancata codifica
• Dati identificativi del rispondente (Ragione sociale-Indirizzo-Codice
Fiscale–Partita IVA. Criticità: mancato aggiornamento delle variazioni
anagrafiche e/o delle modifiche di forma societaria. Richieste di nuovi ID
di accesso al sistema senza comunicazione degli ID da eliminare
• Codice identificativo del singolo viaggio, VISIT ID, rilasciato dalla
Capitaneria. Criticità: assenza del VISIT ID; casi isolati di VISIT ID
duplicati per viaggi diversi di una stessa nave.
Ancona- Autorità portuale 27 febbraio 2019
Acquisizione e trattamento dei dati: fonti amministrative e strumenti
12. • Imputazione di osservazioni mancati al tempo t1 (check mirror)
• Data cleaning process attraverso l’uso di algoritmi che eliminano la
ridondanza e l’errore sistematico
• Linkage con fonti informative di pari livello al tempo t1 e al tempo t-1
Ancona- Autorità portuale 27 febbraio 2019
Strumenti statistici di controllo e correzione degli errori
13. Ancona- Autorità portuale 27 febbraio 2019
Analisi di copertura:
metodo del
check mirror
fra porti di origine e i
porti di destinazione:
il caso Puglia
Strumenti statistici di controllo e correzione degli errori
• Imputazione di osservazioni mancati al
tempo t1 (check mirror)
14. • Linkage con fonti informative di pari livello al tempo t1 (sistemi
informativi delle Capitanerie) e al tempo t-1
Ancona- Autorità portuale 27 febbraio 2019
Chiave di linkage: Tipo del
viaggio (A/P), Data del viaggio,
Codice IMO e Codice del Porto
Dichiarante
Esito record linkage v.a. %
Dichiarazioni NON presenti in Tramarint 1,248 37.91
1 Dichiar. Capitaneria : 0 Mod. Tram 1,243 37.76
2 Dichiar. Capitaneria : 0 Mod. Tram 5 0.15
Dichiarazioni presenti in Tramarint 2,044 62.09
1 Dichiar. Capitaneria : 1 Mod. Tram 2,024 61.48
1 Dichiar. Capitaneria : 2 Mod. Tram 18 0.55
2 Dichiar. Capitaneria : 1 Mod. Tram 2 0.06
Totale 3,292 100.00Data del linkage 26/10/2018
Strumenti statistici di controllo e correzione degli errori
15. Ancona- Autorità portuale 27 febbraio 2019
Chiave di linkage: Tipo del viaggio (A/P), Data del viaggio, Codice IMO
e Codice del Porto Dichiarante
Al 26/10/2018
Esito record linkage v.a. %
Modelli NON presenti nel file della
Capitaneria 394 16.16
1 Mod. Tram : 0 Dichiar. Capitaneria 389 15.96
2 Mod. Tram : 0 Dichiar. Capitaneria 4 0.16
3 Mod. Tram : 0 Dichiar. Capitaneria 1 0.04
Modelli presenti nel file della
Capitaneria 2,044 83.84
1 Mod. Tram : 1 Dichiar. Capitaneria 2,024 83.02
1 Mod. Tram : 2 Dichiar. Capitaneria 2 0.08
2 Mod. Tram : 1 Dichiar. Capitaneria 18 0.74
Totale 2,438 100.00
Modelli presenti in
TRAMAR relativi al
Porto di XXXXXX
per esito del linkage
con le Dichiarazioni
presenti nei file
della Capitaneria -
anno 2018
Strumenti statistici di controllo e correzione degli errori
16. Data cleaning process attraverso l’uso di algoritmi che
eliminano la ridondanza e l’errore sistematico
Ancona- Autorità portuale 27 febbraio 2019
24 52 97 115 63
24 52 97 115 63
18 45 28 18
18 45 28 18
Mag Giu Lug Ago Set
Porto A isola totale
agenzia X
Porto B terraferma totale
agenzia x
Strumenti statistici di controllo e correzione degli errori
Caso:
Movimenti di navi in
Cabotaggio insulare
17. • Rete degli Uffici Territoriali Istat
• Rapporti inter istituzionali
Organizzazione
Ancona- Autorità portuale 27 febbraio 2019
Abruzzo 4
Calabria 3
Campania 2
Emilia Romagna 2
Friuli 2
Lazio 1
Liguria 3
Marche 2
Puglia 9
Sardegna 4
Sicilia 4
Toscana 2
Veneto 2
La rete territoriale per la produzione dei dati
18. Obiettivi:
Aprirsi alle collaborazioni per posizionarsi in breve sulla
frontiera internazionale dell’informazione statistica di
qualità sulla portualità e sull’economia del mare in genere
Conoscere bene il traffico portuale può avere ricadute
positive anche per le misure del turismo marino e costiero,
e della loro sostenibilità
Ancona- Autorità portuale 27 febbraio
2019
La rete territoriale per la produzione dei dati
19. Le alleanze tra Compagnie di navigazione
determinano l’opportunità di scambio di informazioni
specifiche tra attori presenti nei porti e Uffici territoriali
dell’Istat.
Ad esempio una stessa nave, nello stesso viaggio, può avere
carichi che, in virtù delle alleanze fra compagnie es. (2M ),
vengono gestiti contestualmente da due Agenti marittimi
diversi. In un caso del genere, un solo modello TRAMAR di
arrivo nave potrebbe non coprire l’intera informazione…
Ancona- Autorità portuale 27 febbraio 2019
Le reti
22. 0,0 20,0 40,0 60,0 80,0 100,0 120,0
merce sbarcata - tonnellate (migliaia)
merce imbarcata - tonnellate (migliaia)
contenitori
rinfusa liquida
rinfusa solida
ro ro
passeggeri sbarcati (migliaia)
passeggeri imbarcati (migliaia)
Indicatori chiave dei movimenti merci e passeggeri nei Porti afferenti le ADSP.
Composizione percentuale rispetto al totale di tutti i porti italiani
Ancona- Autorità portuale 27 febbraio 2019
Rapporti inter istituzionali
23. • Procedure di security card
• Sistemi automatizzati di registrazione dei transiti di veicoli
e passeggeri
• Uso dei dati AIS per il monitoraggio della copertura
Sperimentazioni di sistemi innovativi e BIG Data
Ancona- Autorità portuale 27 febbraio 2019
24. Interoperabilità e Open Data
Con il termine open data si fa riferimento alla pratica di mettere a
disposizione sul Web dati che possono essere liberamente
utilizzati, riutilizzati e redistribuiti, con la sola limitazione, al
massimo, del requisito di attribuzione e condivisione nello stesso
modo (http://opendefinition.org).
SEGRETO STATISTICO: i dati raccolti nell'ambito di rilevazioni statistiche
comprese nel programma statistico nazionale da parte degli uffici di
statistica non possono essere esternati se non in forma aggregata, in
modo che non se ne possa trarre alcun riferimento relativamente a
persone identificabili e possono essere utilizzati solo per scopi statistici.
Ancona- Autorità portuale 27 febbraio 2019
25. Interoperabilità e Open Data
Digitalizzazione delle informazioni e Big Data per applicazioni
marittime avrebbero ricadute informative su:
• Turismo
• Navigazione
• Sicurezza marittima
• Pesca
Tutti aspettano di poter accedere a dati digitalizzati ma… E’
necessaria la dovuta cooperazione tra le varie autorità civili e fra
queste e le autorità militari
Ancona- Autorità portuale 27 febbraio 2019
26. Interoperabilità e Open Data
WEB SEMANTICO: insieme di modelli e standard Web in cui le risorse
vengono descritte e correlate fra loro in modo formale attraverso l'uso
opportuno di metadati. In questo modo si abilitano gli agenti automatici a
comprendere il significato dei dati e delle informazioni
E’ possibile individuare tre livelli di interoperabilità:
1. Tecnica
2. Semantica
3. Organizzativa
LINEE GUIDA PER L’INTEROPERABILITÀ SEMANTICA ATTRAVERSO I
LINKED OPEN DATA
Ancona- Autorità portuale 27 febbraio 2019
27. BIG DATA AIS: vari livelli territoriali di analisi
Centri VTS attivi a gennaio 2019
Messina- Villa S.G -Reggio Calabria
Bari
Brindisi
Genova
La Maddalena
La Spezia
Palermo
Savona
Taranto
Trapani
Trieste
Venezia
Movimenti nel
golfo di Napoli
ottobre 2018
Movimenti nel
Porto di Brindisi
ottobre 2018
28. I dati vengono pubblicati in tempo
reale su varie piattaforme Web come
Vessel Finder, Marine Traffic,
MyShipTracking che tracciano istante
per istante il traffico AIS a livello
mondiale.
Per diventare dati statistici
integrabili, tali dati devono essere
standardizzati, devono cioè essere
sottoposti ad analisi di coerenza delle
classificazioni, e devono essere
corredati dai necessari metadati.
Ancona- Autorità portuale 27 febbraio 2019
DIG DATA: AIS
31. Interoperabilità …a livello micro
- Condivisione di procedure di monitoraggio off line
- Adozione di sistemi di rilevazione dati che possano entrare nel
processo di integrazione (previa valutazione in termini di
tempestività, ampiezza delle serie di dati, stabilità e
accessibilità delle fonti utilizzate) consentendo lo scambio di
metadati
- Piano degli accosti per navi con rotte RoRo, Crociere,
Container
Ancona- Autorità portuale 27 febbraio 2019
32. Conclusioni
Dobbiamo
necessariamente
arrivare a una
convergenza
tecnologica, ma il
percorso statistico
è complesso
perché nulla è
migliorabile se non
è misurabile
Buon
lavoro a
tutti noi
Ancona- Autorità portuale 27 febbraio 2019
Ludwig Mies van der
Rohe (si trova pure in
un poema di Robert
Browning del 1855).