Oplægget blev holdt ved InfinIT-arrangementet "Kan usability-arbejde virkelig betale sig?" der blev afholdt den 25. september 2013. Læs mere om arrangementet her: http://infinit.dk/dk/hvad_kan_vi_goere_for_dig/viden/reportager/kan_usability-arbejde_virkelig_betale_sig-.htm

1. You manage what you measure
Om at måle på brugervenlighed, og at måle mangel på
brugervenlighed
eBay
23.9.2013
SnitkerGroup
Usability Specialist, CEO Thomas Visby Snitker

2. 2

3. Hvad er problemet med at måle og styre brugervenlighed?
For eksempel, et website;
• Problemer med brugervenligheden koster noget: omsætning, brugere osv
• Brugerne vælger konkurrenten – de synes det er for besværligt, langsomt, indviklet,
overfladisk eller …
• Brugerne laver fejl som skal rettes gennem Support/Service/Kundecenter
• Brugerne bruger for lidt tid på sitet, der mangler relevant indhold/funktionalitet
• Brugervenligheden indgår ikke i de strategiske mål og i de regelmæssige målinger/KPI’er
• Den daglige ledelse har svært ved at skabe overblik over brugervenligheden af sitet.
• Man måler ikke afkastet på investeringen.
• Man måler ikke brugervenligheden og kan derfor ikke styre den.
• Brugervenligheden indgår ikke i udviklingen af sitet
3 SnitkerGroup

4. At måle og styre
• Hvad kan vi måle og styre?
• Hvornår i processen?
• Hvad kan vi miste og opnå?
• Hvad kræver det af os?
SnitkerGroup 4

5. Christian Rohrer
• Director of Customer Intelligence
eBay, Inc. (2007-2008)
• Chief Design Officer & VP, McAfee (nu)
• When To Use Which User Research Methods
• Jakob Nielsen's Alertbox on useit.com
• October 6, 2008
SnitkerGroup 5

6. SnitkerGroup 6

7. SnitkerGroup 7

8. SnitkerGroup 8

9. Faseopdelt efter produktets/tjenestens stadie
Product Development Phase
Strategize Optimize Assess
Goal: Inspire, explore
and choose new
directions and
opportunities
Inform and
optimize designs
in order to
reduce risk and
improve
usability
Measure product
performance against
itself or its
competition
Approach: Qualitative and
Quantitative
Mainly
Qualitative
(formative)
Mainly Quantitative
(summative)
Typical
methods:
Ethnographic
field studies,
focus groups,
diary studies,
surveys, data
mining or
analytics
Cardsorting,
field studies,
participatory
design, paper
prototype and
usability studies,
desirability
studies,
customer emails
Usability
benchmarking, online
assessments, surveys,
A/B testing
SnitkerGroup 9

10. SnitkerGroup 10

11. Forstå målgruppen,
konteksten og behovet
SnitkerGroup 11
Optimér
UX/Usability KPI
Tilpas konceptet
Tilpas flows og designs
Tilpas den
samlede
brugeroplevelse

12. SnitkerGroup 12
UX KPI

13. Hvad er Usability-KPI?
Usability KPI:
• Hvad gør kendte brugere når de skal løse kendte opgaver på sitet?
• Hvilken succesrate har kendte brugere når de skal løse kendte opgaver på sitet? (Succes,
mislykket, katastrofe)
• Hvor lang tid tager opgaveløsningen dem? (Optimal tid vs reel tid)
• Hvor tilfredse er de med at bruge sitet?
• Output: et scorecard, fx pr kvartal
• Strategisk udviklingsfokus
SnitkerGroup 13

14. At måle og styre
• Hvad kan vi måle og styre?
• Hvornår i processen?
• Hvad kan vi miste og opnå?
• Hvad kræver det af os?
SnitkerGroup 14

15. Et eksempel – e-handel
Spiludbyder, abonnementsprodukt
• Værdien af hver sign-up er 3.000 kr
• De ville udsende breve til 140.000 personer
• Totalt kunne kampagne indbringe 420 mio kr. Men konverteringen var kun 24%
• Testen viste at ingen af seks testpersoner kunne gennemføre processen uden
problemer.
Anslået 25% af brugerne ville afstå fra at gennemføre processen.
Anslået 25% af brugerne ville kontakte Kundeservice for at kunne gennemføre
processen.
Anslået 50% af brugerne ville blive frustrerede og vil ikke anbefale deres venner at
gennemføre processen.
• En løsning som blev tilrettet på baggrund af testen løftede konverteringen fra 24% til
28%.
• Tabet ved den testede løsning var 4% af 420 mio kr= 16,8 mio kr
15 SnitkerGroup

16. Et eksempel – en mellemstor virksomheds hjemmeside
Førende leverandør af betalingssystemer (2,5+ mia.kr omsætning årligt)
• 120.000 besøgende årligt
• Testen viste at ingen af ti testpersoner kunne finde informationer og løse
testopgaverne uden problemer.
Anslået 50% af brugerne kunne ikke løse de vigtigste opgaver.
Anslået 50% af brugerne ville afstå fra at besøge hjemmesiden igen.
Anslået 25% af brugerne ville kontakte Kundeservice for at kunne få svar.
• Mistede gevinster pga hjemmesiden:
– 60.000 (potentielle) kunder årligt der ikke kan finde de vigtigste informationer
– 60.000 (potentielle) kunder årligt der ikke vil besøge sitet igen
– 30.000 (potentielle) kunder årligt der ringer eller skriver i stedet for at betjene sig
selv
• Mistede gevinster ved den bruger-optimerede løsning er 0.
16 SnitkerGroup

17. Et eksempel – intranet
Intranet med ca. 2.000 brugere
• Værdien af hver medarbejders time er 500 kr
• Testen viste at det tager 10 minutter at rejseafregne og 2 minutter at finde specifikke
oplysninger i personalehåndbogen. Opgaverne forekommer en gang månedligt.
• Totalt koster intranet-brugen til disse to opgaver:
12/60 * 500 * 2.000 = 200.000 kr/md = 2.400.000 kr/årl
• Intranettet tilpasses derefter så tidsforbruget ved de to opgaver halveres til 6
minutter/mdl.
• Omkostningen ved den efter testen tilrettede løsning kan ligge på ca 100.000 kr/md.
En besparelse på 2.400.000 kr/årl
17 SnitkerGroup

18. At måle og styre
• Hvad kan vi måle og styre?
• Hvornår i processen?
• Hvad kan vi miste og opnå?
• Hvad kræver det af os?
SnitkerGroup 18

19. Hvad kræver det at gøre noget ved brugervenligheden?
Mindre involvering Mellem involvering Høj involvering
• Spørgeskemaer
• Adfærdstracking
• Logfilsanalyse
• Samle input fra
kundeservice
• Spørg-din-kollega-test
• Interne evalueringer
• Usability KPI
• Ekspertevaluering
• Brugerworkshops
• Fokusgrupper
• Personas
• Brugervenlighedstest
19 SnitkerGroup

20. Hvad kræver det at gøre noget ved brugervenligheden? Og hvilken type udbytte får man?
Mindre involvering Mellem involvering Høj involvering
• Spørgeskemaer
• Adfærdstracking
• Logfilsanalyse
• Samle input fra
kundeservice
• Spørg-din-kollega-test
• Interne evalueringer
• Usability KPI
• Ekspertevaluering
• Brugerworkshops
• Fokusgrupper
• Personas
• Brugervenlighedstest
- HVAD, HVOR MANGE
- Kun få eller ingen rigtige
brugere
– HVAD, HVOR MANGE
– HVORDAN kan vi
forbedre?
– HVORFOR går det
godt/skidt?
– Kun få eller ingen rigtige
brugere
– HVAD, HVEM
– HVORDAN kan vi
forbedre?
– HVORFOR går det
godt/skidt?
– HVORFOR er det ikke
optimalt?20 SnitkerGroup

21. Fx Google Analytics
Hvem er
bruger-
ne?
Hvor
mange
og hvor
kom-mer
de fra?
Hvad
ønsker
de at
opnå?
Hvilke
sider ser
de?
Hvor
forlader
de sitet?
Hvor
længe er
de på
sitet?
Hvilket
udbytte
har de?
Kan de
finde
rundt?
Hvor
glade er
de for
sitet?
Hvor
bruger-
venligt
er sitet?
? ! ? ! ! ! ? ? ? ?
21 SnitkerGroup

22. Hvad U-KPI gør udover Google Analytics
Hvem er
bruger-
ne?
Hvor
mange
og hvor
kom-mer
de fra?
Hvad
ønsker
de at
opnå?
Hvilke
sider ser
de?
Hvor
forlader
de sitet?
Hvor
længe er
de på
sitet?
Hvilket
udbytte
har de?
Kan de
finde
rundt?
Hvor
glade er
de for
sitet?
Hvor
bruger-
venligt
er sitet?
! ! ! ! ! ! ! ! ! !
Usability KPI:
• Hvad gør kendte brugere når de skal løse kendte opgaver på sitet?
• Hvilken succesrate har kendte brugere når de skal løse kendte opgaver på sitet? (Succes,
mislykket, katastrofe)
• Hvor lang tid tager opgaveløsningen dem? (Optimal tid vs reel tid)
• Hvor tilfredse er de med at bruge sitet?
22 SnitkerGroup

23. Hvordan måles brugervenlighed?
• Usability: the extent to which a product can be used by specified users to achieve
specified goals with effectiveness, efficiency and satisfaction in a specified
context of use.
ISO 9241-11
23 SnitkerGroup

24. Hvordan måles brugervenlighed?
• effectiveness, efficiency and satisfaction;
– Task completion;
Er brugerne i stand til at løse relevante opgaver?
Følger brugerne den tiltænkte vej gennem sitet?
Error rate:
Er der problemer; Laver de fejl, misforstår de tekster, bliver de forvirrede over
funktionalitet eller opbygningen osv?
– Time on task;
Hvor lang tid tager det?
Tager det for lang tid?
– Satisfaction;
Hvor tilfredse er de med oplevelsen?
Vil de anbefale andre at bruge sitet?
24 SnitkerGroup

25. Hvad er usability KPI?
• En let og systematisk måling brugervenligheden ud fra de tre ISO
brugervenlighedsparametre
• En kvartalsmåling af brugervenligheden vhja eksisterende adfærdstracking
– fx Google Analytics eller SiteCatalyst
• Udbytte: score på de tre ISO parametre (task completion/error rate, time on task,
satisfaction), og en sum
25
U KPI = succesrate x (optimal tid / median tid)
Et eksempel: En defineret opgave burde tage 40 sekunder (optimal tid), men
testpersonerne bruger 100 sekunder (median tid). 9 af 15 klarer at fuldføre
opgaven = succesrate på 60 procent. Regnestykket bliver så:
U KPI = 0,60 x (40 / 100) = 0,24 = 24%
SnitkerGroup

26. Hvordan gennemføres usability KPI?
• Opsætning af målepunkter (1-2 dage)
– Møde/workshop
– Opsætning af adfærdstracking koder på websitet
– Opsætning af KPI og specifikation af testopgaver
• Nul-punktsmåling (2-3 dage)
– Rekruttering og honorering af respondenter
– 5 brugervenlighedstest (kvalitativt) og
– 5 brugervenlighedstest gennem adfærdstracking (kvantitativt)
– Rapportering
• Måling efter 3 mdr, 6 mdr og 9 mdr.
– 10 brugervenlighedstest gennem adfærdstracking (kvantitativt)
– Rapportering
26 SnitkerGroup

27. Opsummering: Brug brugerne! Kombiner metoderne. Mål og styr!
• Mange kilder til viden om brugerne og brugen (fx på www)
– Kvalitative undersøgelser
• enkelt- eller gruppe-interview
• .. mens de løser deres opgaver (lab-test eller feltundersøgelser)
– Kvantitative undersøgelser
• spørgeskemaer (surveys), før under eller efter brug
• med målgruppen eller brugergruppen
– Tekniske undersøgelser
• performance og tilgængelighed (svar- og loadtid mv)
• Adfærds- og trafikanalyse (trafiktal og -mønstre)
• tracking (trafikspor og konverteringsrater)
• Brug kilderne i hele processen fra projektstart til launch og
løbende tilpasning
– Strategisk og taktisk
SnitkerGroup 27

28. Hvad kan man ellers gøre?
• Meld dig ind i Brugercentrisk Netværksgruppe
- tre netværksgrupper for folk der arbejder brugercentrisk
(gerne vil arbejde mere brugercentrisk) og som ønsker at
udvide deres horisont sammen med ligesindede.
- 4-6 møder årligt ude hos medlemmerne.
- Oplæg om fx metoder og konkrete cases.
- Workshops om deltagernes egne udfordringer.
• Læs mere og bliv medlem: www.brugercentrisk.dk
28 SnitkerGroup

29. SnitkerGroup
Nytorv 17 | 1450 København K | 70 27 42 83 | info@snitkergroup.com
Thomas Visby Snitker
Usability Specialist
thomas@snitkergroup.com
+45 5180 0766
Hent gratis min egen ”Brug brugerne” (2001, 140 sider):
google ‘brugbrugerne.pdf’