L’iniziativa SDMX in Istat: dai progetti pilota a Stat2015

1. Dario Camol
PSS/D - Integration technologies
Plug-in Excel e Windows Application come interfacce di
accesso al SEP
L’iniziativa SDMX in Istat: dai
progetti pilota a Stat2015
Rome, 29/01/2013

2. Perchè l’Istat ha creato tool per gli utenti finali
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015
Rome, 29/01/2013
 dall’esperienza nata dalla fase pilota del SDMX Single Exit Point, l’Istat ha
potuto sintetizzare le seguenti conclusioni:
 una difficoltà generalizzata degli end-users nell’approcciarsi ad SDMX
ed in generale ad XML
 un approccio “pratico” è sicuramente preferibile
gli end-user hanno richiesto esplicitamente dei tool più
user&friendly
 quindi si è deciso di progettare due tools:
 SDMX MS Excel plug-in
 per coloro che hanno in Excel il loro strumento di utilizzo
principale
 SDMX client windows application
 per gli utenti che hanno bisogno di scaricare quantità di dati
ingenti e processarle in tool tipo SAS,SPS o importarli in un
database

3. Perchè l’Istat ha creato tool per gli utenti finali
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015
Rome, 29/01/2013
<?xml version="1.0" encoding="utf-8"?>
<soap:Envelope xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema"
xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/">
<soap:Body>
<GetGenericData xmlns="http://ec.europa.eu/eurostat/sri/service/2.0">
<Query>
<QueryMessage xmlns="http://www.SDMX.org/resources/SDMXML/schemas/v2_0/message"
xmlns:common="http://www.SDMX.org/resources/SDMXML/schemas/v2_0/common"
xmlns:query="http://www.SDMX.org/resources/SDMXML/schemas/v2_0/query" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.SDMX.org/resources/SDMXML/schemas/v2_0/message SDMXMessage.xsd">
<Header>
<ID>NSICLIENT</ID>
<Test>false</Test>
<Prepared>2011-08-01T13:27:28</Prepared>
<Sender id="NSICLIENT" />
<Receiver id="NSIWS" />
</Header>
<Query>
<query:DataWhere>
<query:And>
<query:Time><query:StartTime>2004</query:StartTime><query:EndTime>2011</query:EndTime></query:Time>
<query:Dataflow>31_163</query:Dataflow>
<query:And>
<query:Or><query:Dimension id="FREQ">A</query:Dimension></query:Or><query:Or><query:Dimension
id="REF_AREA">IT</query:Dimension></query:Or><query:Or><query:Dimension
id="AGGR">FAM_COMPORT</query:Dimension></query:Or><query:Or><query:Dimension
id="MEASURE">1</query:Dimension></query:Or><query:Or><query:Dimension id="GRUPPO_SPESA">1</query:Dimension><query:Dimension
id="GRUPPO_SPESA">2</query:Dimension><query:Dimension
id="GRUPPO_SPESA">3</query:Dimension></query:Or><query:Or><query:Dimension
id="COMPORT_SPESA">1</query:Dimension><query:Dimension id="COMPORT_SPESA">2</query:Dimension></query:Or>
</query:And>
</query:And>
</query:DataWhere>
</Query>
</QueryMessage>
</Query>
</GetGenericData>
</soap:Body>
</soap:Envelope>
Concetti Descrizione Codice
Dataflow Consumi delle famiglie 86_133
Frequenza Annuale A
Territorio Italia IT
Aggr
Famiglie per comportamento
di spesa
FAM_COMPORT
Misura Valori percentuali 1
Gruppo spesa Pane, pasta, carne 1,2,3
Comportamento spesa Diminuisce la quantità 2
Intervallo di tempo 2004,2011 2004,2011
Consumo delle famiglie di pane, pasta, carne in Italia per anno (2004-2011)

4. Rome, 29/01/2013
<?xml version="1.0" encoding="ISO-8859-1"?>
<CompactData xmlns="http://www.SDMX.org/resources/SDMXML/schemas/v2_0/message"
xmlns:common="http://www.SDMX.org/resources/SDMXML/schemas/v2_0/common"
xmlns:compact="http://www.SDMX.org/resources/SDMXML/schemas/v2_0/compact"
xmlns:sts_c="urn:sdmx:org.sdmx.infomodel.keyfamily.KeyFamily=ESTAT:STS:compact"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.SDMX.org/resources/SDMXML/schemas/v2_0/message SDMXMessage.xsd
urn:sdmx:org.sdmx.infomodel.keyfamily.KeyFamily=ESTAT:STS:compact EUROSTAT_STS_Compact.xsd
http://www.SDMX.org/resources/SDMXML/schemas/v2_0/compact SDMXCompactData.xsd">
<Header>…</Header>
<sts_c:DataSet>
<sts_c:SiblingGroup JD_TYPE=“STOCKS" JD_CATEGORY="W“ AVAILABILITY=“A” TITLE_COMPL="Elements of the full national
etc."/>
<sts_c:SiblingGroup JD_TYPE=“PIPES" JD_CATEGORY="W“ AVAILABILITY=“A” TITLE_COMPL=“Pipes of the full national France."/>
<sts_c:Series FREQ="M" JD_TYPE=“STOCKS" JD_CATEGORY="W" VIS_CTY=“C" STS_BASE_YEAR="2000"
COLLECTION="A" AVAILABILITY="A" TIME_FORMAT="P1M">
<sts_c:Obs TIME_PERIOD="2005-01" OBS_VALUE="111.11" OBS_STATUS="A” />
<sts_c:Obs TIME_PERIOD="2005-02" OBS_VALUE="222.22" OBS_STATUS="A” />
</sts_c:Series>
<sts_c:Series FREQ="M" JD_TYPE=“PIPES" JD_CATEGORY="W" VIS_CTY=“C" STS_BASE_YEAR="2000"
COLLECTION="A" AVAILABILITY="A" TIME_FORMAT="P1M">
<sts_c:Obs TIME_PERIOD="2005-01" OBS_VALUE=“123.11" OBS_STATUS="A“ />
</sts_c:Series>
</sts_c:DataSet>
</CompactData>
Perchè l’Istat ha creato tool per gli utenti finali
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015

5. Excel plug-in/win application
Rome, 29/01/2013
 Nato come parte del WP4 nell’ambito del progetto Eurostat ESSNet on
SDMX phase 2
 Il ExcelSDMX GetData è un Microsot Excel Add-in, sviluppato per essere
integrato direttamente in Excel dove è possibile importare i dati disponibili
da un generico web service SDMX 2.0 compliant
 L’applicativo dispone di una interfaccia semplice e di immediato utilizzo
predisposta alla navigazione attraverso i metadati strutturali SDMX (DSD)
ed alla creazione della query
 I dati sono scaricati e leggibili nell’ Excel worksheet nei formati:
• “Time series” più usabile da un utente statistico
• “CSV”
 Add-in permette di accedere a più webservice, scaricarne i dati e porterli
confrontare importando i dati nei diversi fogli di uno stesso worksheet
Excel
 I sistema permette il salvataggio su disco in formato CSV o SDMX.
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015

6. Rome, 29/01/2013
Excel plug-in/win application workflow
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015
o Richiesta categorie e dataflows
o Selezione dataflow
o Richiesta dimensioni e time
dimension
o Creazione query SDMX
o Invio richiesta dati
o Visualizzazione dati
 Invio categorie e dataflows
 Invio dimensioni e codelist
 Parsing ed esecuzione della
query – Invio dati
Utente SDMX Web Service
QueryStructure
QueryStructure
GetGenericData
GetCompactData
GetCrossSectional..

7. Rome, 29/01/2013
SDMX web service 2.0
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015

8. Rome, 29/01/2013
Soluzioni adottate: tecnologie
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015
o Microsoft Visual Studio 2010
o .NET Framework 4.0
o Language: C#
o Microsoft.Office.Tools kit
o Add-In : Microsoft Excel 2007/2010

9. Rome, 29/01/2013
Soluzioni adottate: riuso SDMX-RI
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015
EXCEL
plug-in

10. Rome, 8/06/2012
Excel plug-in/win application
SDMX Technical
Workshop

11. Rome, 8/06/2012
Excel plug-in/win application – Dimensions setting
SDMX Technical
Workshop

12. Rome, 8/06/2012
Excel plug-in/win application – Format selection
SDMX Technical
Workshop

13. Rome, 8/06/2012
Excel plug-in/win application - Output
SDMX Technical
Workshop

14. Rome, 8/06/2012
Excel plug-in/win application – Additional features
SDMX Technical
Workshop

15. Rome, 8/06/2012
Excel plug-in/win application – Additional features
SDMX Technical
Workshop

16. Rome, 8/06/2012
Excel plug-in/win application – Additional features
SDMX Technical
Workshop

17. Rome, 8/06/2012
Excel plug-in/win application
SDMX Technical
Workshop

18. Rome, 29/01/2013
Ulteriori sviluppi
L’iniziativa SDMX in Istat:
dai progetti pilota a
Stat2015
EUROSTAT GRANT
«Horizontal and vertical integration»
• Gestione contemporanea di più webservice
• Creazione dinamica e personalizzata dell’output

19. L’iniziativa SDMX in Istat
Grazie.
Rome, 29/01/2013