Nutzerbasierte Usability-Tests

Nutzerbasierte Usability-Tests
Klassische User-Tests, Exe-Tracking und Remote-Usability-Tests.

User-Test: Grundprinzip

› Repräsentative User nutzen eine Anwendung in einem Usability-Labor und werden bei
der Nutzung beobachtet.
› Typischer Ablauf eines User-Tests:
› Rekrutierung: Die Zielgruppe wird definiert und repräsentative User als Probanden rekrutiert.
› Testdurchführung: Die Probanden werden zum User-Test eingeladen und nutzen die Anwendung unter
Beobachtung. Alle Probleme, die während der Nutzung auftreten, werden notiert.
› Auswertung der Ergebnisse: Die Probleme werden interpretiert und es werden konkrete
Verbesserungsvorschläge gemacht.

› Aufgabenorientierung: User-Tests sind in der Regel aufgabenorientiert, d.h. die
Probanden erfüllen „typische“ Aufgaben mit der Anwendung.
› Vergleichsdaten: Um die gewonnen daten vergleichen zu können, werden häufig die
Angebote von Mitbewerbern mitgetestet. > Best Practices, Worst Practices

© 2008 //SEIBERT/MEDIA GMBH

User-Test: Daten

› Die erhobenen Daten: Bei einem User-Test werden zahlreiche unterschiedliche Daten
erhoben, die anschließend ausgewertet werden können.
› Vor dem Test: Vorbefragung
› Personenspezifische Daten: Alter, Geschlecht, Englischkenntnisse, Online-Erfahrung, etc.
› Applikationsspezifische Daten: Erfahrung im Umgang mit der Anwendung, Erfahrung mit vergleichbaren
Anwendungen, etc.

› Während des Tests: Testdaten
› Screen Recording: Der Bildschirm des Testrechners wird aufgenommen, inkl. Mausklicks,
Mausbewegungen und Tastenanschläge. So kann die komplette Sitzung nachvollzogen werden.
› User Video: Zusätzlich wird der User aufgenommen, um aus dessen Gestik und Mimik zusätzliche Schlüsse
ziehen zu können.
› Audio Recording: Während der Nutzung spricht der User alles, was ihm zu der Anwendung durch den Kopf
schießt, laut aus (Methode lauten Denkens).


User-Test: Daten

› Nach dem Test:
› Nachbefragung: Online-Befragung mit standardisierten Fragen zu Design, Navigation, Informationsumfang,
Hilfe, etc. (System Usability Sale).
› Nachbesprechung: Spezielle Usability-Probleme aus dem Test werden direkt im Anschluss noch einmal
gesondert besprochen.

› Durch die Kombination von Beobachtung und Befragung werden unterschiedliche Daten
gewonnen. > Höherer Erkenntnisgewinn


User-Test: Ergebnis

› Ergebnis: Das Ergebnis ist ein umfassender Usability-Bericht, der folgende Inhalte
umfasst:
› Qualitative Analyse:
› Aufzählung und detaillierte Beschreibung aller gefundenen Usability-Probleme.
› Einschätzung, wie aufwändig die Behebung ist und wie ernst (severe) das Problem ist.
› Konkreter Verbesserungsvorschlag.
› Beispielfilme für die wichtigsten Probleme.

› Quantitative Analyse:
› Daten aus dem Screen Recording (Time on Task, Anzahl der Klicks, etc.)
› Daten aus der Analyse (Abbrecherquote, Anzahl der Fehler, etc.)
› Daten aus der Nachbefragung (Schulnoten für Design, Navigation, Informationsumfang, etc.)


User-Test: Vor- und Nachteile

› Vorteile:
› Vollständige Information (alle Usability-Probleme werden gefunden)
› Hohe Validität (die gefundenen Usability bestehen tatsächlich)
› Überzeugendes Instrument (Entscheider glauben an die Ergebnisse)

› Nachteile :
› Relativ teuer
› Relativ zeitintensiv
› Anspruchsvolle Testumgebung notwendig


User-Test: Beispiel

Time on Task

246 244
250
223
215

200

151
150

99
100
86
74

50
23 20 21
18

0
Aufrufen Suchen Auswählen

STA Travel Opodo McFlight Travel Overland


User-Test: Beispiel

Nachbefragung

4,5

4

3,5

3

2,5

2

1,5

1

0,5

0
Die Farben der Das Design der Man benoetigt eine Es gibt auf der Die Oberflaeche Die Navigation der Mir war jederzeit Es hat mir Spass
Website gefallen Seiten finde ich gut. Einfuehrung bevor Seite ausreichend war alles in allem Seite ist klar, wohin mich gemacht, die Seite
mir gut. man die Seite Informationen, wenn einfach zu unkompliziert. Links fuehren zu benutzen.
nutzen kann. man mal nicht verwenden. wuerden, bevor ich
weiss, wie es weiter sie angeklickt habe.
geht.


Eye-Tracking: Grundprinzip

› Bei einer Eye-Tracking-Studie werden die Blickbewegungen repräsentativer User mithilfe
eines Eye-Trackers aufgezeichnet.
› Typischer Ablauf einer Eye-Tracking-Studie:
› Der Ablauf gleicht dem bei einem klassischen User-Test, lediglich die erhobenen Daten unterschieden sich.

› Beim Eye-Tracking geht es um Aufmerksamkeit. > Aufmerksamkeit als Voraussetzung für
das Ausführen bestimmter Aktionen.
› Eye-Tracking ermöglicht als einzige Methode zuverlässige Aussagen darüber, ob und wie
intensiv verschiedene Oberflächen-Elemente wahrgenommen werden.


Eye-Tracking: Daten

› Die erhobenen Daten: Beim Eye-Tracking werden zwei verschiedene Arten von Daten
erhoben.
› Fixation: Ein bestimmter Punkt auf der Oberfläche wird mit den Augen fokussiert.
› Sakkaden: Der Sprung von einer Fixation zur nächsten.

› In der Praxis wird Eye-Tracking zudem nicht isoliert eingesetzt, sondern in Kombination
mit einem klassischen User-Test.
› Alle Daten aus einem klassischen User-Test werden also ebenfalls erhoben.


Eye-Tracking: Ergebnis

› Ergebnisse: Beim Eye-Tracking werden die Ergebnisse in der Regel visualisiert (Bilder).
› Es entstehen im wesentlichen zwei verschiedene Arten von Ergebnissen:
› Blickverdichtungen (Heatmaps, Attention Maps, Areas of Interest): Wo haben die User hingeschaut, wie
lange haben die User dort hingeschaut.
› Blickverläufe (Scanpath): Wie sind die Blickverläufe der User über einen bestimmten Zeitraum hinweg.

› Die Daten können sowohl aggregiert (alle User zusammen) als auch individuell (jeder
User einzeln) betrachtet werden.
› Einschränkung: Beim Eye-Tracking werden Blicke gemessen, nicht Wahrnehmung!
› Die User können Elemente anschauen, ohne diese wahrzunehmen (im Sinne von kognitiv verarbeiten).
› Die User können nehmen Elemente auch in der Peripherie des Sehfeldes wahr, das nicht getrackt werden
kann.


Eye-Tracking: Vor- und Nachteile

› Vorteile:
› Bildgebendes Verfahren (keine Befragung oder Beobachtung)
› Einzige Methode zur Messung der Aufmerksamkeit
› Große Überzeugungskraft

› Nachteile:
› Teuer und zeitintensiv
› Fixation ≠ Aufmerksamkeit
› Peripherie des Sehfeldes wird nicht erfasst


Eye-Tracking: Beispiel


Remote Usability-Testing: Grundprinzip

› Remote Usability-Tests sind Tests mit Usern, die nicht in einem Labor durchgeführt
werden, sondern „aus der Entfernung“. Der User ist zu Hause an seinem eigenen
Rechner.
› Es gibt zwei unterschiedliche Arten von Remote Usability-Tests: Moderierte Tests vs.
Automatisierte Tests.
› Moderierte Tests: Wie klassischer User-Test, allerdings ist der User zu Hause und es findet nur ein Screen
und Voice Recording statt.
› Automatisierte Tests: User nutzen eine Website und geben Kommentare in einen separaten Frame ein.

› Vorteile: Die Nutzungssituation ist realistischer, weil die Probanden zu Hause sind und
ihren eigenen Rechner nutzen.
› Nachteile: An moderierten Tests nehmen nur technisch affine User teil, bei
automatisierten Tests ist das Feedback in der Regel sehr „zurückhaltend“.


Remote Usability-Testing: Moderierte Tests

› Typischer Ablauf eines moderierten Tests:
› Der User lädt eine Software aus dem Internet und installiert diese auf seinem Rechner. Dadurch ist es dem
Versuchsleiter möglich, den Screen des Probanden aufzunehmen.
› Der User wird angerufen und spricht über ein Headset mit dem Versuchsleiter. Das Telefongespräch wird
ebenfalls aufgenommen.
› Der User erhält vom Versuchsleiter bestimmte Aufgaben, und erledigt diese unter Anwendung der Methode
lauten Denkens.

› Die erhobenen Daten: Die erhobenen Daten sind identisch mit denen aus einem
klassischen User-Test (ohne User Video) und können genauso ausgewertet werden.


Remote Usability-Testing: Moderierte Tests

› Vorteile:
› Die Tests sind geografisch nicht beschränkt (regionale, nationale, internationale Tests möglich).
› Es gibt keine Verzerrung durch die Laborsituation (der User sitzt an seinem eigenen Rechner).

› Nachteile:
› Detaillierte Nachbesprechung über das Telefon ist kaum praktikabel.
› Der User redet weniger und hat ein geringeres Involvement.


Remote Usability-Testing: Automatisierte Tests

› Typischer Ablauf eines automatisierten Tests:
› Echte Nutzer werden während einer echten Session um Live-Feedback gebeten.
› Es wird ein zusätzlicher Frame geöffnet, in den die User Kommentare (Text) eingeben können.

› Die erhobenen Daten: Die Kommentare der User stellen das Datenmaterial dar, das
ausgewertet wird. Weitere Informationen stehen nicht zur Verfügung.


Remote Usability-Testing: Automatisierte Tests

› Vorteile:
› Sehr hohes Involvement (keine Testsituation)
› Wenig aufwändig (kein Versuchsleiter)
› Sehr viele Probanden

› Nachteile:
› Man ist noch stärker auf die Verbalisierungsfähigkeit der Probanden angewiesen.
› Sehr passive Methode, der User kann nicht „gekitzelt“ werden.
› Ähnelt der Methode der Befragung stark.


Nutzerbasierte Usability-Tests

Weitere ähnliche Inhalte

Ähnlich wie Nutzerbasierte Usability-Tests

Mehr von Martin Seibert

Nutzerbasierte Usability-Tests