SlideShare ist ein Scribd-Unternehmen logo
1 von 35
Downloaden Sie, um offline zu lesen
Testa
användningen

på plats
på distans
automatiserat

Magnus Burell
HM film




Exempel på användningstest: http://vimeo.com/25181153
Så funkar vanliga anv.test
Traditionellt användningstest
          ”tänka högt”
+ Hur systemet/webbplatsen         -  Få personer (3 - 12st)
   fungerar i verklig använding
                                   -  Ganska dyrt
+ Få svar på varför något är
   ett problem                     -  Konstlad testsituation

+ Förtydliga, ställa följdfrågor
   och improvisera

+ Fånga detaljer, kroppsspråk
”Med 5 användare hittar du
  80% av de allvarligaste
användbarhetsproblemen”
           men


Vi testar för sällan
Varför?
•  Vi nöjer oss med att testa funktion, inte
   användningskvalitet
•  Vi har inte tid
  –  Rekrytera
  –  Genomföra
  –  Analysera och Presentera
•  Vi behöver testa mindre saker, ofta
Vad är, Varför, När passar
Distanstestning
Vad är distans-användnings-test?

    Exempel distanstest
På 5 dagar
300 klickade på inbjudan
    90 startade testet
       58 slutförde
Det är en djungel där ute...




Bild: http://www.slideshare.net/usableinterface/unmoderated-remote-usability-testing-good-or-evil-4446847
Vad kan testas?
Bild: htttp://www.usertesting.com
                                    Vilka kör distanstester?
Två sorters distanstester

  Modererat                 Automatiserat
•  Med testledare          •  Själv via
   live via skärmdelning      webbaserade verktyg
•  Filmer                  •  Filmer eller rapporter
•  Få deltagare            •  Många deltagare
                              (ofta fler än 50st)
Modererat
Modererat
                                  Skärmdelning
                                       Spela in skärm och röst




 Bild: http://voiceontheweb.biz/skype-world/skype-software/skype-41-beta-launched-will-that-be-video-or-desktop-sharing/
Modererat               För- och nackdelar
  + Naturligare testmiljö       -  Risk för teknikstrul

  + Hittar lika många fel som   -  Kräver bra uppkoppling
    på-plats-tester                och lite teknik-orädda
                                   deltagare
  + Geografiskt spridda
    användare                   -  Missar kroppspråk

  + Observatörer från tredje    ? Svårare skapa förtroende
    plats                         och trygg testsituation

  ? Får ärligare svar över
    telefon
Automatiserat
Automatiserat
                           Varianter
  1.  Scenariobaserade
     –    Testa flöden
     –    Rapport: Loop11, Userzoom
     –    Film: Openhallway

  2.  Klicktester
     –    testa enstaka sidor, jämföra två designvarianter
     –    Intuition HQ, Verifyapp

  3.  Kortsortering
     –    testa innehållstruktur och rubriker
     –    Optimalsort

  (Visualiserad webbanalys)
     –    ClickTale
Automatiserat

            Ger kvalitativa och
           kvantitativa resultat
       •  Film – skärm, röst, ansiktsuttryck
       •  Kommentarer och enkätsvar
       •  Rapporter och visualiseringar
Exempel på rapportdata
•  Andel klarade, misslyckade, avbrutna
   uppgifter
•  Tid och klick per uppgift
•  Första klick
•  Klickflöde (besök i vilken ordning)
•  Var deltagarna gjort ”fel” eller avbrutit
•  Heatmaps – musrörelser, klick
•  Skattningar
•  Fritextsvar
Loop11.com
Openhallway.com




  Bild: www.hemnet.se/inspiration testat med openhallway.com
intuitionHQ.com
Optimalsort   Bild: http://www.optimalworkshop.com/optimalsort.htm
UserZoom.com
Automatiserat          Gör så här
 1.  Bestäm vad du vill testa och välj passande verktyg

 2.  Skriv och stäm av testfrågor

 3.  Rekrytera deltagare
       via webbplats, kundpanel, e-post, Facebook, Twitter


 4.  Sjösätt och se resultaten börja trilla in

 5.  Analysera och agera

 6.  Testa igen
Automatiserat          Tips!

  •  1-5 tydliga avgränsade uppgifter
  •  Varva med skattningsfrågor och
     kommentarsmöjligheter
  •  Testa testet!
  •  Max 10-15 minuter

  •  Hellre flera korta test än ett långt
Automatiserat            För- och nackdelar

  + Billigare                -  Begränsat till specifika,
                                avgränsade testfrågor
  + Snabbare
                             -  Följdfrågor
  + Mindre konstlat
    naturlig testmiljö       -  Missar kroppspråk

  + Geografiskt utspridda
    användare

  + Fler användare
Välja verktyg
Ofta enkelt att komma igång, men
•  Svenskt gränssnitt?
•  Prismodell?
•  Vilket resultat och data?
•  Spara ner filmer och rapporter?
•  Rekrytering?
  –  Egna användare
  –  Panel med utländska användare
  –  Panel med svenska användare
  –  Live-rekrytering (Ethio)
Vad är svårt med
 distanstester?
När passar distanstester
            •  Komplettera dina
               traditionella
               användningstester
            •  Testa avgränsade
               frågor i varje iteration
            •  När du varken har
               tid/råd att testa
            •  … i influensatider
Testa gratis redan idag!
•  Avsätt 30 minuter
•  Välj en uppgift på er webbplats
•  Testa gratis med Loop11.com eller
   Openhallway.com
•  Skicka länken till vänner
3 praktiska boktips




                                  Gratis!

Remote research                  Användbarhet i pratiken   Praktisk brukerstestning
http://www.rosenfeldmedia.com/   gratis wikibok            http://www.brukskvalitet.no/
books/remote-research/           http://anvandbarhet.se/   praktiskbrukertesting/
Lästips
Välja verktyg
http://remoteresear.ch/tools/

http://www.alistapart.com/articles/quick-and-dirty-remote-user-
   testing/


För- och nackdelar distanstest
http://www.uxmatters.com/mt/archives/2010/01/unmoderated-
   remote-usability-testing-good-or-evil.php

http://johnnyholland.org/2010/06/02/pros-and-cons-of-remote-
   usability-testing/
Hör av dig
om du vill prata distanstester
          magnus.burell@inuse.se
          0761 - 36 37 57
          Twitter: @mburell




          Inuse Consulting
          60 konsulter - Stockholm, Göteborg, Malmö
          www.inuse.se
          blogg: www.inuseful.se

Weitere ähnliche Inhalte

Ähnlich wie Testa användningen - på plats, på distans, automatiserat – Magnus Burell, Inuse

Digitala prov och examination är verksamhetsutveckling
Digitala prov och examination är verksamhetsutvecklingDigitala prov och examination är verksamhetsutveckling
Digitala prov och examination är verksamhetsutvecklingMats Brenner
 
HT16 - DA156A - Användbarhet 2
HT16 - DA156A - Användbarhet 2HT16 - DA156A - Användbarhet 2
HT16 - DA156A - Användbarhet 2Anton Tibblin
 
HT17 - DA156A - Användbarhet med fokus på IT
HT17 - DA156A - Användbarhet med fokus på ITHT17 - DA156A - Användbarhet med fokus på IT
HT17 - DA156A - Användbarhet med fokus på ITAnton Tibblin
 
HT23 - DA106A - Användbarhet (2)
HT23 - DA106A - Användbarhet (2)HT23 - DA106A - Användbarhet (2)
HT23 - DA106A - Användbarhet (2)Anton Tibblin
 
AB-testning från A till Ö
AB-testning från A till ÖAB-testning från A till Ö
AB-testning från A till ÖConversionista
 
Mät dina webbsatsningar, 13 oktober av Jens Wedin
Mät dina webbsatsningar, 13 oktober av Jens WedinMät dina webbsatsningar, 13 oktober av Jens Wedin
Mät dina webbsatsningar, 13 oktober av Jens WedinAntrop
 
Digital tillgänglighet - offentlig publicering
Digital tillgänglighet - offentlig publiceringDigital tillgänglighet - offentlig publicering
Digital tillgänglighet - offentlig publiceringMats Brenner
 
Digital tillgänglighet - projekt WAMDIA.EU
Digital tillgänglighet - projekt WAMDIA.EUDigital tillgänglighet - projekt WAMDIA.EU
Digital tillgänglighet - projekt WAMDIA.EUMats Brenner
 
Att göra användningstester
Att göra användningstesterAtt göra användningstester
Att göra användningstesterNiclas Siljedahl
 
Mall för story. ljud och bilder till film
Mall för story. ljud och bilder till filmMall för story. ljud och bilder till film
Mall för story. ljud och bilder till filmJens Bjare
 
Examinationsformer - presentation Luleå 140212
Examinationsformer - presentation Luleå 140212Examinationsformer - presentation Luleå 140212
Examinationsformer - presentation Luleå 140212Mats Brenner
 
HT19 - DA156A - Användbarhet (2)
HT19 - DA156A - Användbarhet (2)HT19 - DA156A - Användbarhet (2)
HT19 - DA156A - Användbarhet (2)Anton Tibblin
 
HT18 - DA156A - Användbarhet (2)
HT18 - DA156A - Användbarhet (2)HT18 - DA156A - Användbarhet (2)
HT18 - DA156A - Användbarhet (2)Anton Tibblin
 
Sluta gissa, börja testa - Workshop på #AllapratarUX 2013 - Jeanin Day & Shar...
Sluta gissa, börja testa - Workshop på #AllapratarUX 2013 - Jeanin Day & Shar...Sluta gissa, börja testa - Workshop på #AllapratarUX 2013 - Jeanin Day & Shar...
Sluta gissa, börja testa - Workshop på #AllapratarUX 2013 - Jeanin Day & Shar...Daytona
 
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612Mats Brenner
 
Testare i continuousvärlden - vad gör jag om dagarna.
Testare i continuousvärlden - vad gör jag om dagarna.Testare i continuousvärlden - vad gör jag om dagarna.
Testare i continuousvärlden - vad gör jag om dagarna.ADDQ
 
Digitala prov och examination - är verksamhetsutveckling
Digitala prov och examination - är verksamhetsutvecklingDigitala prov och examination - är verksamhetsutveckling
Digitala prov och examination - är verksamhetsutvecklingMats Brenner
 
16 misstag jag gjort inom digital analys (och hur du undviker dem)
16 misstag jag gjort inom digital analys (och hur du undviker dem)16 misstag jag gjort inom digital analys (och hur du undviker dem)
16 misstag jag gjort inom digital analys (och hur du undviker dem)Daniel Hansson
 

Ähnlich wie Testa användningen - på plats, på distans, automatiserat – Magnus Burell, Inuse (20)

Digitala prov och examination är verksamhetsutveckling
Digitala prov och examination är verksamhetsutvecklingDigitala prov och examination är verksamhetsutveckling
Digitala prov och examination är verksamhetsutveckling
 
HT16 - DA156A - Användbarhet 2
HT16 - DA156A - Användbarhet 2HT16 - DA156A - Användbarhet 2
HT16 - DA156A - Användbarhet 2
 
HT17 - DA156A - Användbarhet med fokus på IT
HT17 - DA156A - Användbarhet med fokus på ITHT17 - DA156A - Användbarhet med fokus på IT
HT17 - DA156A - Användbarhet med fokus på IT
 
HT23 - DA106A - Användbarhet (2)
HT23 - DA106A - Användbarhet (2)HT23 - DA106A - Användbarhet (2)
HT23 - DA106A - Användbarhet (2)
 
AB-testning från A till Ö
AB-testning från A till ÖAB-testning från A till Ö
AB-testning från A till Ö
 
Mät dina webbsatsningar, 13 oktober av Jens Wedin
Mät dina webbsatsningar, 13 oktober av Jens WedinMät dina webbsatsningar, 13 oktober av Jens Wedin
Mät dina webbsatsningar, 13 oktober av Jens Wedin
 
Digital tillgänglighet - offentlig publicering
Digital tillgänglighet - offentlig publiceringDigital tillgänglighet - offentlig publicering
Digital tillgänglighet - offentlig publicering
 
Digital tillgänglighet - projekt WAMDIA.EU
Digital tillgänglighet - projekt WAMDIA.EUDigital tillgänglighet - projekt WAMDIA.EU
Digital tillgänglighet - projekt WAMDIA.EU
 
Session 27 Pontus Engelbrektsson
Session 27 Pontus EngelbrektssonSession 27 Pontus Engelbrektsson
Session 27 Pontus Engelbrektsson
 
Att göra användningstester
Att göra användningstesterAtt göra användningstester
Att göra användningstester
 
Mall för story. ljud och bilder till film
Mall för story. ljud och bilder till filmMall för story. ljud och bilder till film
Mall för story. ljud och bilder till film
 
Examinationsformer - presentation Luleå 140212
Examinationsformer - presentation Luleå 140212Examinationsformer - presentation Luleå 140212
Examinationsformer - presentation Luleå 140212
 
HT19 - DA156A - Användbarhet (2)
HT19 - DA156A - Användbarhet (2)HT19 - DA156A - Användbarhet (2)
HT19 - DA156A - Användbarhet (2)
 
HT18 - DA156A - Användbarhet (2)
HT18 - DA156A - Användbarhet (2)HT18 - DA156A - Användbarhet (2)
HT18 - DA156A - Användbarhet (2)
 
Testroll i förändring
Testroll i förändringTestroll i förändring
Testroll i förändring
 
Sluta gissa, börja testa - Workshop på #AllapratarUX 2013 - Jeanin Day & Shar...
Sluta gissa, börja testa - Workshop på #AllapratarUX 2013 - Jeanin Day & Shar...Sluta gissa, börja testa - Workshop på #AllapratarUX 2013 - Jeanin Day & Shar...
Sluta gissa, börja testa - Workshop på #AllapratarUX 2013 - Jeanin Day & Shar...
 
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612
 
Testare i continuousvärlden - vad gör jag om dagarna.
Testare i continuousvärlden - vad gör jag om dagarna.Testare i continuousvärlden - vad gör jag om dagarna.
Testare i continuousvärlden - vad gör jag om dagarna.
 
Digitala prov och examination - är verksamhetsutveckling
Digitala prov och examination - är verksamhetsutvecklingDigitala prov och examination - är verksamhetsutveckling
Digitala prov och examination - är verksamhetsutveckling
 
16 misstag jag gjort inom digital analys (och hur du undviker dem)
16 misstag jag gjort inom digital analys (och hur du undviker dem)16 misstag jag gjort inom digital analys (och hur du undviker dem)
16 misstag jag gjort inom digital analys (och hur du undviker dem)
 

Testa användningen - på plats, på distans, automatiserat – Magnus Burell, Inuse

  • 2. HM film Exempel på användningstest: http://vimeo.com/25181153
  • 4. Traditionellt användningstest ”tänka högt” + Hur systemet/webbplatsen -  Få personer (3 - 12st) fungerar i verklig använding -  Ganska dyrt + Få svar på varför något är ett problem -  Konstlad testsituation + Förtydliga, ställa följdfrågor och improvisera + Fånga detaljer, kroppsspråk
  • 5. ”Med 5 användare hittar du 80% av de allvarligaste användbarhetsproblemen” men Vi testar för sällan
  • 6. Varför? •  Vi nöjer oss med att testa funktion, inte användningskvalitet •  Vi har inte tid –  Rekrytera –  Genomföra –  Analysera och Presentera •  Vi behöver testa mindre saker, ofta
  • 7. Vad är, Varför, När passar Distanstestning
  • 9. På 5 dagar 300 klickade på inbjudan 90 startade testet 58 slutförde
  • 10. Det är en djungel där ute... Bild: http://www.slideshare.net/usableinterface/unmoderated-remote-usability-testing-good-or-evil-4446847
  • 12. Bild: htttp://www.usertesting.com Vilka kör distanstester?
  • 13. Två sorters distanstester Modererat Automatiserat •  Med testledare •  Själv via live via skärmdelning webbaserade verktyg •  Filmer •  Filmer eller rapporter •  Få deltagare •  Många deltagare (ofta fler än 50st)
  • 15. Modererat Skärmdelning Spela in skärm och röst Bild: http://voiceontheweb.biz/skype-world/skype-software/skype-41-beta-launched-will-that-be-video-or-desktop-sharing/
  • 16. Modererat För- och nackdelar + Naturligare testmiljö -  Risk för teknikstrul + Hittar lika många fel som -  Kräver bra uppkoppling på-plats-tester och lite teknik-orädda deltagare + Geografiskt spridda användare -  Missar kroppspråk + Observatörer från tredje ? Svårare skapa förtroende plats och trygg testsituation ? Får ärligare svar över telefon
  • 18. Automatiserat Varianter 1.  Scenariobaserade –  Testa flöden –  Rapport: Loop11, Userzoom –  Film: Openhallway 2.  Klicktester –  testa enstaka sidor, jämföra två designvarianter –  Intuition HQ, Verifyapp 3.  Kortsortering –  testa innehållstruktur och rubriker –  Optimalsort (Visualiserad webbanalys) –  ClickTale
  • 19. Automatiserat Ger kvalitativa och kvantitativa resultat •  Film – skärm, röst, ansiktsuttryck •  Kommentarer och enkätsvar •  Rapporter och visualiseringar
  • 20. Exempel på rapportdata •  Andel klarade, misslyckade, avbrutna uppgifter •  Tid och klick per uppgift •  Första klick •  Klickflöde (besök i vilken ordning) •  Var deltagarna gjort ”fel” eller avbrutit •  Heatmaps – musrörelser, klick •  Skattningar •  Fritextsvar
  • 22. Openhallway.com Bild: www.hemnet.se/inspiration testat med openhallway.com
  • 24. Optimalsort Bild: http://www.optimalworkshop.com/optimalsort.htm
  • 26. Automatiserat Gör så här 1.  Bestäm vad du vill testa och välj passande verktyg 2.  Skriv och stäm av testfrågor 3.  Rekrytera deltagare via webbplats, kundpanel, e-post, Facebook, Twitter 4.  Sjösätt och se resultaten börja trilla in 5.  Analysera och agera 6.  Testa igen
  • 27. Automatiserat Tips! •  1-5 tydliga avgränsade uppgifter •  Varva med skattningsfrågor och kommentarsmöjligheter •  Testa testet! •  Max 10-15 minuter •  Hellre flera korta test än ett långt
  • 28. Automatiserat För- och nackdelar + Billigare -  Begränsat till specifika, avgränsade testfrågor + Snabbare -  Följdfrågor + Mindre konstlat naturlig testmiljö -  Missar kroppspråk + Geografiskt utspridda användare + Fler användare
  • 29. Välja verktyg Ofta enkelt att komma igång, men •  Svenskt gränssnitt? •  Prismodell? •  Vilket resultat och data? •  Spara ner filmer och rapporter? •  Rekrytering? –  Egna användare –  Panel med utländska användare –  Panel med svenska användare –  Live-rekrytering (Ethio)
  • 30. Vad är svårt med distanstester?
  • 31. När passar distanstester •  Komplettera dina traditionella användningstester •  Testa avgränsade frågor i varje iteration •  När du varken har tid/råd att testa •  … i influensatider
  • 32. Testa gratis redan idag! •  Avsätt 30 minuter •  Välj en uppgift på er webbplats •  Testa gratis med Loop11.com eller Openhallway.com •  Skicka länken till vänner
  • 33. 3 praktiska boktips Gratis! Remote research Användbarhet i pratiken Praktisk brukerstestning http://www.rosenfeldmedia.com/ gratis wikibok http://www.brukskvalitet.no/ books/remote-research/ http://anvandbarhet.se/ praktiskbrukertesting/
  • 34. Lästips Välja verktyg http://remoteresear.ch/tools/ http://www.alistapart.com/articles/quick-and-dirty-remote-user- testing/ För- och nackdelar distanstest http://www.uxmatters.com/mt/archives/2010/01/unmoderated- remote-usability-testing-good-or-evil.php http://johnnyholland.org/2010/06/02/pros-and-cons-of-remote- usability-testing/
  • 35. Hör av dig om du vill prata distanstester magnus.burell@inuse.se 0761 - 36 37 57 Twitter: @mburell Inuse Consulting 60 konsulter - Stockholm, Göteborg, Malmö www.inuse.se blogg: www.inuseful.se