Erfarenheter av deltagarorienterad kvalitetsgranskning mellan olika statistikproducerande organisationer

1. 20.8.2013 Christina Telasuo 1
Genomlysning av Statistik
• Erfarenheter av deltagarorienterad
kvalitetsgranskning mellan olika
statistikproducerande organisationer

2. 20.8.2013 Christina Telasuo 2
Innehåll
• Bakgrund
• Syfte
• Inledningsfas
• Frågeformuläret
• Verksamhetsmodell och -process
• Slutrapport
• Uppföljning
• Erfarenheter

3. 20.8.2013 Christina Telasuo 3
Bakgrund
• Deltagarorienterad kvalitetsgranskning
– Samarbete mellan olika
statistikproducerande organisationer
• Finska Tullen, statistikenheten och
Skogsforskningsinstitutet i Finland
– Pilot

4. 20.8.2013 Christina Telasuo 4
Bakgrund
• Utgångspunkt: European Statistics Code of Practice och Eurostats Quality
Assurance Framwork
• Utvecklad av Statistikcentralen för internt bruk
• Ett kvalitetsgranskningsförfarande som gick under namnet genomlysning
av statistik eller mer formellt; deltagarorienterad kvalitetsgranskning
• 2011 användning mellan olika statistikproducerande organisationer
påbörjas
• Medverkande organisationer :
Finska Tullen, Skogsforskningsinstitutet i Finland, Jord- och
skogsbruksministeriets informationstjänstcentral , Vilt- och
fiskeriforskningsinstitutet och Finlands miljöcentral

5. 20.8.2013 Christina Telasuo 5
Syfte med deltagarorienterad kvalitetsgranskning
Systematisk och sammanhängande metod för kvalitetsgranskning av olika
statistiska produktionsprocesser/enheter
• Syfte
– Förbättra statistikens kvalitet
– En del av det övergripande kvalitetsarbetet
– Kompleterar traditionella självgranskningsmetoder och externa kontroll
eller översyn
• Mål
– Värdera och ifrågasätta gällande arbetssätt, metoder och tekniker
– Identifiera och finna användbar praxis inom produktionen som skulle
kunna spridas till andra
– Öka kunskapen genom att sammanföra experter från olika
organisationer
– Underlätta diskussion mellan organisationer

6. 20.8.2013 Christina Telasuo 6
Inledningsfasen av kvalitetsgranskningen
• Värderingsgruppen
• Experter (2-4 personer, kan vara från olika organisationer)
• Ingen direkt koppling till produktionen av den statistik som ska
granskas
• Värderarna ska vara objektiva och självständiga
• Målgruppen
• Producenter av den statistik som ska granskas (1-10 personer)
• Målgruppen bestämmer de deltagande personerna inom sin grupp

7. 20.8.2013 Christina Telasuo 7
Frågeformulär
• Utvecklad av Statistikcentralen
• Reviderad för att vara organisationsneutral av de andra
producenterna av statistik
• Utgångspukt:
– ESS – Quality Assurance Framework
– ESS – DESAP
• Development of a Self Assessment Programme
• The generic checklist for a systematic quality assessment of
surveys in the European Statistical System

8. 20.8.2013 Christina Telasuo 8
Frågeformulär
• Cirka 130 frågor
• De flesta är alternativfrågor
– ja/nej
– stämmer helt/delvis/inte als
– fält för kommentarer efter varje fråga
• Kan besvaras av olika personer och delas upp

9. 20.8.2013 Christina Telasuo 9
Frågeformulär
• Uppdelad i tio huvudsakliga områden
– 1. Administrativa uppgifter
– 2. Planering och ledarskap
– 3. Interaktion med användarna
– 4. De anställdas kompetens och introduktion av nya
medarbetare
– 5. Informationsteknologi
– 6. Datainsamling
– 7. Bearbetning av data
– 8. Distribution
– 9. Dokumentation och arkivering
– 10. Uppföljning, utvärdering, utveckling

10. 20.8.2013 Christina Telasuo 10
Verksamhetsmodell
• Välja deltagarna i grupperna
• Frågeformuläret
– Genomgång av frågeformuläret
– Granskningen börjar med att målgruppen fyller i frågeformuläret
• Självgranskning
– Värderingsgruppen tillhandahålls det ifyllda formuläret samt kompleterande material
• Första mötet
– Produktionsprosessen diskuteras med utgångspukt av svaren
• Värderingsgruppen gör en första version av slutrapporten och skickar den till målgruppen
för kommentarer
• Konsensusmöte – revidering av slutrapporten
– Värderings- och målgruppen är överens om:
• Utvecklingsförslag
• Andra nödvändiga ändringar i produktionsprosessen
• Slutrapport

11. 20.8.2013 Christina Telasuo 11
Deltagarorienterad kvalitetsgranskning som
process
Stage 1:
Target team: Self
Assessment
(questionary+docu
ments)
Stage 2:
Audit team analyses the
Questionary and
documents
Stage 3:
First meeting
Discussion of questionary
and other documents
Stage 4
Audit team produce
first draft of report
and send it to target
team
Stage 5:
Consensus
meeting, revising
the report
Outcome
Final report:
Development
proposals
Good
practices
Other
evaluations
Experiences of auditing
Preparations and
communication

12. 20.8.2013 Christina Telasuo 12
Slutrapport
Utvecklingsförslag
God praxis och användbara arbetssätt
och -procedurer
Slutsatser och iakttagelser
Erfarenheter av granskningen

13. 20.8.2013 Christina Telasuo 13
Slutrapport
Störst betydelse = risk management
• Kvalitetssäkring
– Hur undvika fel i produktionsprocessen
– Valideringsprocessen
• Hur hantera uppkommande fel
– Vilka delar i produktionsprocessen är ”svarta hål”
– Var finns största riskerna för fel
• Revisioner
– Dokumentering av revisioner
– Uppföljning av revisioner

14. 20.8.2013 Christina Telasuo 14
Uppföljning
• Slutrapport
–Instrument for management
–Utvecklingsförslagen kan användas
som underlag för ökade budgetmedel
–Underlag för verksamhetsplaner

15. 20.8.2013 Christina Telasuo 15
Erfarenheter
• Effektivt sätt att öka kunskap för alla
inblandade
– Arbetssätt
– Metoder och tekniker
– Produktion
– Distribution

16. 20.8.2013 Christina Telasuo 16
Erfarenheter
• Mellan organisationner
– Kommunikation
– Diskussion
– Utbyte av idéer och gad praxis
• Risk management
– Användarnas behov
 Mycket kostnadseffektivt