Om ”kurset”. Et slags inspirasjonskurs. Det er mer en veiledning, vi gir noen råd og tips til de som kanskje går og planlegger en spørreundersøkelse eller er interesserte av andre årsaker.
6. Faser i utviklingen av et spørreskjema
1.
2.
3.
Spesifisering av databehov
4.
5.
Utforming av selve spørreskjemaet
Operasjonalisering
Utforming av spørsmål og
svaralternativer
Testing
8. Hva gjør vi i spesifiseringsfasen?
•
•
Spesifiserer informasjonsbehovet til oppdragsgiver
Innhente kunnskap om feltet man skal undersøke fra potensielle
svarpersoner
9. Forts. hva gjør vi i spesifiseringsfasen?
•
God spesifisering krever svar på disse spørsmålene:
– Hva ønsker oppdragsgiver informasjon om?
– Hva skal informasjonen brukes til?
– Hvem skal bruke informasjonen?
– Hva slags tabeller skal lages?
– Gode svar på dette sikrer at oppgavegiver får de opplysningene de
faktisk ønsker svar på, og at skjemaet ikke består av flere spørsmål
enn nødvendig.
– Hva slags opplysninger besitter respondentene?
– Hvor lett tilgjengelig er informasjonen?
– Disse spørsmålene sikrer at skjemaet er godt tilpasset virkeligheten
til svarpersonene – og at oppgavebyrden ikke blir høyere enn
nødvendig.
12. Operasjonalisering
Det kognitive perspektivet på spørsmålsdesign
• Metode basert på vitenskaper som kognitiv
psykologi, sosialpsykologi, sosiolingvistikk og
analytisk filosofi
• Fra mekanisk hendelsesforløp til komplisert
kommunikasjonsprosess
Respondentperspektivet på
svarprosessen
12
13. Operasjonalisering
Hvorfor gjøre noe nummer av det?
• … fordi det ikke er gitt at vi
setter respondenten i fokus
• …fordi man tidligere så
datainnsamling som en
enkel, mekanisk prosess
• Data fra mennesker er ikke
epler på trærne
– som vi kan plukke opp i en kurv
14. Operasjonalisering
Eksempel på tilsynelatende enkelt spørsmål
Hender det at du selv blir utsatt for plaging
eller ubehagelig erting av
arbeidskamerater?
Vil du si ja, en eller flere ganger i uken,
ja, en eller flere ganger i måneden
eller nei?
14
15. Operasjonalisering
Å lese/høre et spørsmål og gi et svar er en
komplisert kognitiv prosess (oppgaven)
Figur 1. En enkel modell for svarprosessen i intervjuundersøkelser
Tolkning
av spørsmålets
meningsinnhold
Fremhenting
av innformasjon
som synes
nødvendig for å
besvare spørsmålet
Vurdering
av hvilket svar
denne
informasjonen gir
grunnlag for
Formulering
av et svar
Kilde: Tourangeau 1984
15
16. Operasjonalisering
Eksempel på spørsmål som kan produsere ”feil”
• Hvor bekymret er du for at dine barn kan bli
utsatt for fysisk vold eller overfall på vei til skolen?
• svært bekymret,
• ganske bekymret,
• lite bekymret,
• ikke bekymret,
• vet ikke
17. Utforming av spørsmål
Tips om spørsmålsformuleringer
• Erstatt begreper som må forklares i separat veiledning
(tekst)
• Still ett spørsmål av gangen
• Erstatt spørsmål med ”og” med flere spørsmål
•Erstatt spørsmål med ”eller” med flere spørsmål
• Spørsmål med ”hvis” trenger filterspørsmål
• Balanserte spørsmål og svaralternativer
17
18. Utforming av spørsmål
Viktig! Enkelt språk
• Å lage spørsmål og svar er å kommunisere
• Begreper
• Dagligspråk, fagspråk
– Ulike sosiale sammenhenger
• Tenk konkret
• Tenk enkelt
• Tenk entydig
• Vær presis
18
19. Utforming av spørsmål
Eksempel på spørsmål som kan produsere ”feil”
• Sist gang du var i utlandet, hadde du da med deg varer
utover det som er tillatt å bringe inn i Norge toll- og
avgiftsfritt?
20. Utforming av spørsmål
Problemer som kan føre til feil i svarene I
• Svarpersonen tolker spørsmålet ”feil”
– tenker bare alkohol og tobakk
• Svarpersonen glemmer eller har andre
hukommelsesproblemer
– kan ha glemt hvor mye man handlet
• Svarpersonene gjør ”feilaktige vurderinger” eller
har ”feilaktige strategier” for å anslå en størrelse
– varierer hva folk forstår med en ”enhet”
21. Utforming av spørsmål
Problemer som kan føre til feil i svarene II
• Svarpersonen har problemer med å formulere ett
svar
– ”hva menes egentlig med bekymring?”
• Mer eller mindre overlagt gale svar
– mange vil være forbeholdne i forhold til å fortelle
fremmede at de har gjort noe ulovlig
• Unnlate å følge instruksjoner
– mange legger ikke merke til instrukser, eller bryr seg ikke
om instrukser
24. Utforming av spørsmål
Eksempel på tolkningsproblem
Vil du si at din helse er
utmerket,
god,
ikke så god
eller dårlig?
24
25. Utforming av spørsmål
Eksempel på tolkningsproblem
Vil du si at din helse er utmerket, god, ikke så god
eller dårlig?
Da du svarte på dette spørsmålet, tenkte du på ….
helsa di sammenlignet med andre på din alder?
helsa di sammenlignet med da du var ung?
helsa di i den siste tida sammenlignet med tidligere?
25
26. Utforming av spørsmål
Eksempel på tolkningsproblem
Vil du si at din helse er utmerket, god, ikke så god eller dårlig?
Resultatet fra en metodeundersøkelse:
Sammenlignet med andre
22 %
Sammenlignet med da jeg var ung
43 %
Den siste tiden sammenlignet med tidligere?
42 %
27. Utforming av spørsmål
KORT FOR MENN
En kan tenke seg at kvinner og menn kan føle seg tiltrukket av både samme kjønn
og motsatt kjønn. Hvordan ville du plassere deg på en skala over tiltrekning
til kvinner? Sett ring rundt det tallet som passer best for deg.
0 -------1-------2-------3-------4--------5-------6
Vet ikke
Ingen
Sterk
tiltrekning
tiltrekning
til kvinner
til kvinner
Hvordan ville du plassere deg på en skala over tiltrekning til menn? Sett ring
rundt det tallet som passer best for deg.
0 -------1-------2-------3-------4--------5-------6
Vet ikke
Ingen
Sterk
tiltrekning
tiltrekning
til menn
til menn
27
28. Utforming av spørsmål
Hvor fornøyd eller misfornøyd er du med skolen du
går på?
50
40
30
20
10
yd
fo
rn
ø
rt
Sv
æ
N
ok
s
å
fo
rn
øy
d
el
le
r
Ve
rk
en
å
ok
s
N
Sv
æ
rt
m
m
is
fo
rn
øy
d
is
fo
rn
øy
d
0
Nordmenn
Innvandrere
29. Utforming av skjemaet
Hva gjør vi i forhold til spørsmålsflyt/rekkefølge?
•
Vi forsøker å lage en spørsmålsflyt som oppfattes som naturlig og logisk
av svarpersonene
•
Vi forsøker å lage et navigeringssystem som gjør at svarpersonene får
de spørsmålene de skal, og at de ledes effektivt gjennom skjemaet
•
Starten, midten og slutten er viktig…
30. Utforming av skjemaet
Visuelle virkemiddel
• Bruk visuelle virkemiddel til å styre
oppmerksomheten
•Bruk så enkle virkemiddel som mulig
•Vær konsekvent
• Fjern virkemiddel som ikke har noe budskap
•Hjelpetekst plasseres der det er bruk for den
30
32. Hvilke(t) innsamlingsmodus bør velges?
Selvutfylling
Intervju
Papirskjema
Telefon
Webskjema
Personlig møte
Eller flermodus?
32
33. Rent praktisk
• Spørsmål bør
testes kvalitativt og
kvantitativt for å
kvalitetssikres
• Test – revisjon 1 –
ny test – revisjon 2
– kvantitativ
undersøkelse –
revisjon 3 osv
Utvikling av spørsmål
deretter test
Revisjon
av spørsmål
Ny test
Revisjon av
spørsmål
Ny test
34. Metoder i skjemautviklingsprosessen
Før utkastet:
• Fokusgrupper med brukere (av informasjonen) og
respondenter
• Intervjuer med brukere (og noen ganger bestillere)
• Kartlegging av oppdraget fra bestillerne (OBS ulike nivå!)
Når utkastet er på plass:
• Ekspertevalueringer
• Kognitive intervjuer (individuelle)
• Brukertester / Eyetracker (elektroniske spørreskjema)
35. Umulig å lage perfekte spørreskjema?
• Ja, men mulig å lage undersøkelser som er gode nok
• Optimalt, men ikke perfekt
• Vi kan redusere målefeil ved å planlegge, teste og
gjennomføre pilot
36. Tips for videre lesning:
Dillman, Don A., Jolene D. Smyth og Leah Melani Christian (2009): Internet, mail
and mixed-mode Surveys. The tailored Design Method. New Yersey: Wiley
Haraldsen, Gustav (1999): Spørreskjemametodikk etter kokebokmetoden. Oslo: Ad
Notam Gyldendal
Leeuw, Edith D. de, Joop J. Hox og Don A Dillman (2008): International Handbook
of Survey Methodology. New York: Psychology Press
Robert M. Groves, Floyd J. Fowler Jr., Mick P. Couper, James M. Lepkowski, Elanor
Singer og Roger Tourangeau (2009):
Survey Methodology. New York: Wiley
Roger Tourangeau, Lance J. Rips and Kenneth Rasinski (2000): The Psychology of
Survey Response. New York: Cambridge University Press
38. "At man, naar det i sandhed skal lykkes een
at føre et Menneske hen til et bestemt Sted
først og fremmest maa passe paa
at finde ham hvor han er
og begynde der."
Søren Kierkegaard: "Brudstykke af en
ligefrem Meddelelse " (1859)