Gebruikerstest lab demonstrator - Jan-Henk Annema (IBBT-CUO-K.U.Leuven)
•Download as PPTX, PDF•
0 likes•369 views
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
Similar to Gebruikerstest lab demonstrator - Jan-Henk Annema (IBBT-CUO-K.U.Leuven)
Similar to Gebruikerstest lab demonstrator - Jan-Henk Annema (IBBT-CUO-K.U.Leuven) (20)
More from imec.archive
More from imec.archive (20)
Gebruikerstest lab demonstrator - Jan-Henk Annema (IBBT-CUO-K.U.Leuven)
- 1. Gebruikerstest lab demonstrator Jan-HenkAnnema IBBT-CUO-K.U.Leuven
- 2. Inleiding Wat is een gebruikerstest? Test van een systeem met echte gebruikers die echte taken uitvoeren Met als doel het verbeteren van gebruiksvriendelijkheid van het systeem: Effectiviteit, efficiëntie, en tevredenheid Testen tijdens het ontwikkelingsproces 2
- 3. Inleiding Gebruiksvriendelijkheid bij Teleclassing: Systeem niet dagelijks gebruikt Steeds nieuwe studenten Samenhang met presence ervaring 3
- 4. Methode Gebruikerstest - les Een docent Zes studenten – drie lokaal / drie remote Twee keer 20 minuten les Pauze waarin van locatie gewisseld werd Na afloop focusgroep om ervaringen te bespreken 4
- 5. Methode Instructies voor gebruikers Zoveel mogelijk gedragen als tijdens normale les Docent: Vooraf les voorbereiden: gebruik PowerPoint, PDF, afbeelding, en video Schrijf naam, etc. op bord Vraag studenten zich voor te stellen Student: Stel minstens één vraag tijdens de les 5
- 6. Methode 6 Lokale site Remote site
- 7. Methode Gebruikerstest – interactivewhiteboard Een docent Voert 45 min opdrachten uit met interactivewhiteboard Denkt ondertussen hardop na Interactivewhiteboard al eerder aan expert evaluatie onderworpen 7
- 8. Resultaten Testen verliepen technisch vlot Logischerwijs een aantal aandachtspunten tijdens gebruik, maar: gewenning gebruiker gemakkelijk aanpasbaar kwestie van apparatuur 8
- 9. Resultaten Verdere ervaringen Op dit moment nog weinig gevoel van samen les volgen Voorkeur voor locatie afhankelijk van interesse in les Aanwezigheid assistent op remote locatie gemist Zeker geïnteresseerd om het systeem te gebruiken 9
- 10. Conclusie Testen technisch vlot verlopen Aantal aandachtspunten Kleine details kunnen belangrijk zijn Nood van test met echte gebruikers duidelijk Verdere testen blijven nodig Testgebruikers zeker geïnteresseerd in mogelijkheden Goede basis voor verdere ontwikkeling 10
Editor's Notes
- Gebruikers worden geobserveerdData wordt geanalyseerdBelangrijk: gebruiksvriendelijkheid wordt getest tijdens het ontwikkelproces om de verdere ontwikkeling van het product te kunnen bijsturen indien nodig
- Niet dagelijks: Het is geen tekstverwerker, e-mailapplicatie, die je dagelijks gebruikt, en precies weet hoe alles werkt -> misschien wekelijks gebruikt, en dan een periode niet… kan vervelend zijn als de docent niet meer weet hoe het systeem werkt -> vertraagd de les, studenten verliezen interesse, etc… Ook zijn er steeds nieuwe studenten die voor het eerst gebruik van het systeem maken. - Samenhang met presence ervaring: Stel dat de manier van communceren tussen de docent en de studenten op afstand op een omslachtige manier verloopt, dat er bijv. veel stappen nodig zijn om iets tegen elkaar te kunnen zeggen. De docent en studenten zijn zich dan bewust van de stappen die ze steeds moeten ondernemen, van de technologie en de afstand die er tussen zit, en dat is natuurlijk niet bevorderlijk voor het gevoel van presence… samen de les te volgen etc…
- Docent was gevraagd vooraf een les voor te bereiden, kreeg voor de les kort uitleg over het systeem en de gelegenheid om het systeem uit te proberenFocusgroep met docent, de 6 studenten en beide onderzoekers - ervaringen bespreken - rond vooraf opgestelde lijst met onderwerpen: - wat wel/niet goed was aan de huidige implementatie - ervaringen tijdens de les (communicatie / aandacht / etc. )
- - Zoveel mogelijk gedragen als bij een normale les -> eventuele problemen die men tegen zou komen oplossen zoals men normaal zou doen, zonder hulp van de onderzoekers Instructies om te zorgen dat de verschillende mogelijkheden van het systeem zo veel mogelijk gebruikt worden tijdens de les en te voorkomen dat sommige opties niet aan bod zouden komen
- Er werden 4 camera’s gebruikt om de test op te nemen en later terug te kijken en verder te analyserenLinks: lokale siteRechts: remote siteOp beide locaties zat een onderzoeker -> met een vooropgesteld lijst van observatiepunten – hoe verloopt interactie?– hoe wordt de apparatuur gebruikt? – volgend de studenten de les aandachtig?– etc…
- Interactivewhiteboard -> centraal gedeelte om les te geven -> nog eens apart getestHardop nadenken - onderzoeker inzicht geven in hoe de gebruiker denkt dat het systeem werkt, en om misvattingen op te sporen - methode die vaak gebruikt wordt in gebruikerstesten, maar die niet mogelijk was in de testles, zou natuurlijk erg verstorenVoorbeeld geven van opdracht: u toont een .pdf bestand van een interessant artikel aan de studenten de eerste kolom van tabel 3 is vooral interessant, om dit te benadrukken omcirkelt u deze kolom.Expertevaluatie:- Eerder in de ontwikkeling is het interactivewhiteboard al aan een expert evaluatie onderworpen ->In een expert evaluatie wordt een systeem aan de hand van richtlijnen en heuristieken door een onderzoeker geevalueerd en worden aanbevelingen gegeven voor aanpassingen tijdens de verdere ontwikkeling
- Test verliep vlot, technisch werkte alles naar behorenEr waren een paar aandachtspunten die we tijdens het gebruik van het systeem tegenkwamen-> maar dat is logisch, er zal geen enkel systeem in deze fase van ontwikkeling direct perfect zijnSteeds een kort voorbeeld:Gewenning:docent vergeet aan te geven hoe lang de pauze exact duurt… wil terug beginnen, maar remote studenten zijn er nog niet. Tegen de lokale studenten buiten het lokaal op de gang zei hij dat de les weer ging beginnen, maar de remote studenten waren nog niet weer terug in het lokaal -> vroeg zich hardop af hoe hij ze kon bereiken. Gelukkig waren ze snel terug en kon de test verder gaan -> de docent moet dus herinneren duidelijk aan te geven hoe lang de pauze zal duren… Verder het komt ook door de testsituatie dat niet duidelijk was hoe lang de pauze zou duren, deze les was korter dan normaal en de pauze dus ook. Normaal zal er vaker een pauze van een bepaalde lengte gebruikelijk zijn, bijv. een kwartierGemakkelijk aanpasbaar:Door de opstelling van de camera’s was het nu niet altijd duidelijk tegen welke studenten de docent het had, maar dat is makkelijk te aan te passen door verplaatsen van de camera’s … icoontjes, knoppenApparatuur: zo was de het interactivewhiteboard in de video van de docent op de remote site niet altijd even goed zichtbaar. Dit zou gemakkelijk opgelost kunnen worden door een andere camera of andere instellingen te gebruiken. In de video-opnames van de test, gemaakt met een andere camera, was het whiteboard namelijk wel duidelijk zichtbaar
- Weinig gevoel samen les volgen: door ontbreken van interactie mogelijkheden tussen studenten: scherm en microfoons zouden dit oplossen natuurlijkVoorkeur locatie -> weinig interesse -> makkelijker eens praten met andere studenten -> maar geeft ook aan dat het geen slechte locatie is om de les te volgen veel interesse -> alerter te blijven met aanwezigheid van de docentAssistent van docent aanwezig op remote site om te assisteren in de les, toezicht houden -> veel praten zou irritant zijn voor medestudenten voor het geval technische problemen mochten optreden Belangrijk natuurlijk: studenten zagen potentieel van zo’n lesomgeving in en waren zeker geïnteresseerd om het systeem verder te gebruiken
- Aantal aandachtspunten tegen, maar dat is ook logisch in zo’n ontwikkelingsprocesKleine details die belangrijk kunnen zijn, denk bijv. aan de docent die vergeten was aan te geven hoelang de pauze zou duren… Ook zoals ik tijdens de inleiding al zei kunnen kleine vertragingen in de communicatie tussen de docent en de remote studenten al snel de afstand benadrukken en het gevoel van presence doen afnemen. Belangrijk dus om op de details te letten.Nood van test met echte gebruikers:- Een aantal aandachtspunten tegen waar we zelf vooraf niet aan gedacht hadden (voorbeeld zou de verplaatsbare sidebar van whiteboard kunnen zijn, als daar naar gevraagd wordt) Verdere testen nodig voor testen van: kijken hoe aanpassingen en uitbreidingen uitpakken