SlideShare ist ein Scribd-Unternehmen logo
Nutzerbasierte Usability-Tests
Klassische User-Tests, Exe-Tracking und Remote-Usability-Tests.
User-Test: Grundprinzip

› Repräsentative User nutzen eine Anwendung in einem Usability-Labor und werden bei
  der Nutzung beobachtet.
› Typischer Ablauf eines User-Tests:
      › Rekrutierung: Die Zielgruppe wird definiert und repräsentative User als Probanden rekrutiert.
      › Testdurchführung: Die Probanden werden zum User-Test eingeladen und nutzen die Anwendung unter
        Beobachtung. Alle Probleme, die während der Nutzung auftreten, werden notiert.
      › Auswertung der Ergebnisse: Die Probleme werden interpretiert und es werden konkrete
        Verbesserungsvorschläge gemacht.

› Aufgabenorientierung: User-Tests sind in der Regel aufgabenorientiert, d.h. die
  Probanden erfüllen „typische“ Aufgaben mit der Anwendung.
› Vergleichsdaten: Um die gewonnen daten vergleichen zu können, werden häufig die
  Angebote von Mitbewerbern mitgetestet. > Best Practices, Worst Practices




                                                                                                  © 2008 //SEIBERT/MEDIA GMBH
User-Test: Daten

› Die erhobenen Daten: Bei einem User-Test werden zahlreiche unterschiedliche Daten
  erhoben, die anschließend ausgewertet werden können.
› Vor dem Test: Vorbefragung
      › Personenspezifische Daten: Alter, Geschlecht, Englischkenntnisse, Online-Erfahrung, etc.
      › Applikationsspezifische Daten: Erfahrung im Umgang mit der Anwendung, Erfahrung mit vergleichbaren
        Anwendungen, etc.

› Während des Tests: Testdaten
      › Screen Recording: Der Bildschirm des Testrechners wird aufgenommen, inkl. Mausklicks,
        Mausbewegungen und Tastenanschläge. So kann die komplette Sitzung nachvollzogen werden.
      › User Video: Zusätzlich wird der User aufgenommen, um aus dessen Gestik und Mimik zusätzliche Schlüsse
        ziehen zu können.
      › Audio Recording: Während der Nutzung spricht der User alles, was ihm zu der Anwendung durch den Kopf
        schießt, laut aus (Methode lauten Denkens).




                                                                                                   © 2008 //SEIBERT/MEDIA GMBH
User-Test: Daten

› Nach dem Test:
     › Nachbefragung: Online-Befragung mit standardisierten Fragen zu Design, Navigation, Informationsumfang,
       Hilfe, etc. (System Usability Sale).
     › Nachbesprechung: Spezielle Usability-Probleme aus dem Test werden direkt im Anschluss noch einmal
       gesondert besprochen.

› Durch die Kombination von Beobachtung und Befragung werden unterschiedliche Daten
  gewonnen. > Höherer Erkenntnisgewinn




                                                                                            © 2008 //SEIBERT/MEDIA GMBH
User-Test: Ergebnis

› Ergebnis: Das Ergebnis ist ein umfassender Usability-Bericht, der folgende Inhalte
  umfasst:
› Qualitative Analyse:
      › Aufzählung und detaillierte Beschreibung aller gefundenen Usability-Probleme.
      › Einschätzung, wie aufwändig die Behebung ist und wie ernst (severe) das Problem ist.
      › Konkreter Verbesserungsvorschlag.
      › Beispielfilme für die wichtigsten Probleme.

› Quantitative Analyse:
      › Daten aus dem Screen Recording (Time on Task, Anzahl der Klicks, etc.)
      › Daten aus der Analyse (Abbrecherquote, Anzahl der Fehler, etc.)
      › Daten aus der Nachbefragung (Schulnoten für Design, Navigation, Informationsumfang, etc.)




                                                                                               © 2008 //SEIBERT/MEDIA GMBH
User-Test: Vor- und Nachteile

› Vorteile:
      › Vollständige Information (alle Usability-Probleme werden gefunden)
      › Hohe Validität (die gefundenen Usability bestehen tatsächlich)
      › Überzeugendes Instrument (Entscheider glauben an die Ergebnisse)

› Nachteile :
      › Relativ teuer
      › Relativ zeitintensiv
      › Anspruchsvolle Testumgebung notwendig




                                                                             © 2008 //SEIBERT/MEDIA GMBH
User-Test: Beispiel

                                        Time on Task

                                                    246                                 244
   250
                                                                                               223
                                                                                  215

   200



                                                                          151
   150



                                             99
   100
                                                           86
                                        74


    50
          23         20   21
               18

     0
               Aufrufen                         Suchen                            Auswählen

                           STA Travel   Opodo       McFlight    Travel Overland


                                                                                        © 2008 //SEIBERT/MEDIA GMBH
User-Test: Beispiel

                                                                             Nachbefragung

     4,5



      4



     3,5


      3



     2,5



      2



     1,5


      1



     0,5



      0
           Die Farben der      Das Design der       Man benoetigt eine    Es gibt auf der     Die Oberflaeche      Die Navigation der     Mir war jederzeit   Es hat mir Spass
           Website gefallen   Seiten finde ich gut. Einfuehrung bevor Seite ausreichend       war alles in allem        Seite ist         klar, wohin mich   gemacht, die Seite
              mir gut.                                man die Seite    Informationen, wenn       einfach zu          unkompliziert.         Links fuehren       zu benutzen.
                                                      nutzen kann.         man mal nicht        verwenden.                              wuerden, bevor ich
                                                                       weiss, wie es weiter                                             sie angeklickt habe.
                                                                              geht.




                                                                                                                                                            © 2008 //SEIBERT/MEDIA GMBH
Eye-Tracking: Grundprinzip

› Bei einer Eye-Tracking-Studie werden die Blickbewegungen repräsentativer User mithilfe
  eines Eye-Trackers aufgezeichnet.
› Typischer Ablauf einer Eye-Tracking-Studie:
      › Der Ablauf gleicht dem bei einem klassischen User-Test, lediglich die erhobenen Daten unterschieden sich.

› Beim Eye-Tracking geht es um Aufmerksamkeit. > Aufmerksamkeit als Voraussetzung für
  das Ausführen bestimmter Aktionen.
› Eye-Tracking ermöglicht als einzige Methode zuverlässige Aussagen darüber, ob und wie
  intensiv verschiedene Oberflächen-Elemente wahrgenommen werden.




                                                                                                © 2008 //SEIBERT/MEDIA GMBH
Eye-Tracking: Daten

› Die erhobenen Daten: Beim Eye-Tracking werden zwei verschiedene Arten von Daten
  erhoben.
      › Fixation: Ein bestimmter Punkt auf der Oberfläche wird mit den Augen fokussiert.
      › Sakkaden: Der Sprung von einer Fixation zur nächsten.

› In der Praxis wird Eye-Tracking zudem nicht isoliert eingesetzt, sondern in Kombination
  mit einem klassischen User-Test.
      › Alle Daten aus einem klassischen User-Test werden also ebenfalls erhoben.




                                                                                           © 2008 //SEIBERT/MEDIA GMBH
Eye-Tracking: Ergebnis

› Ergebnisse: Beim Eye-Tracking werden die Ergebnisse in der Regel visualisiert (Bilder).
› Es entstehen im wesentlichen zwei verschiedene Arten von Ergebnissen:
      › Blickverdichtungen (Heatmaps, Attention Maps, Areas of Interest): Wo haben die User hingeschaut, wie
        lange haben die User dort hingeschaut.
      › Blickverläufe (Scanpath): Wie sind die Blickverläufe der User über einen bestimmten Zeitraum hinweg.

› Die Daten können sowohl aggregiert (alle User zusammen) als auch individuell (jeder
  User einzeln) betrachtet werden.
› Einschränkung: Beim Eye-Tracking werden Blicke gemessen, nicht Wahrnehmung!
      › Die User können Elemente anschauen, ohne diese wahrzunehmen (im Sinne von kognitiv verarbeiten).
      › Die User können nehmen Elemente auch in der Peripherie des Sehfeldes wahr, das nicht getrackt werden
        kann.




                                                                                               © 2008 //SEIBERT/MEDIA GMBH
Eye-Tracking: Vor- und Nachteile

› Vorteile:
      › Bildgebendes Verfahren (keine Befragung oder Beobachtung)
      › Einzige Methode zur Messung der Aufmerksamkeit
      › Große Überzeugungskraft

› Nachteile:
      › Teuer und zeitintensiv
      › Fixation ≠ Aufmerksamkeit
      › Peripherie des Sehfeldes wird nicht erfasst




                                                                    © 2008 //SEIBERT/MEDIA GMBH
Eye-Tracking: Beispiel




                         © 2008 //SEIBERT/MEDIA GMBH
Remote Usability-Testing: Grundprinzip

› Remote Usability-Tests sind Tests mit Usern, die nicht in einem Labor durchgeführt
  werden, sondern „aus der Entfernung“. Der User ist zu Hause an seinem eigenen
  Rechner.
› Es gibt zwei unterschiedliche Arten von Remote Usability-Tests: Moderierte Tests vs.
  Automatisierte Tests.
      › Moderierte Tests: Wie klassischer User-Test, allerdings ist der User zu Hause und es findet nur ein Screen
        und Voice Recording statt.
      › Automatisierte Tests: User nutzen eine Website und geben Kommentare in einen separaten Frame ein.

› Vorteile: Die Nutzungssituation ist realistischer, weil die Probanden zu Hause sind und
  ihren eigenen Rechner nutzen.
› Nachteile: An moderierten Tests nehmen nur technisch affine User teil, bei
  automatisierten Tests ist das Feedback in der Regel sehr „zurückhaltend“.




                                                                                                   © 2008 //SEIBERT/MEDIA GMBH
Remote Usability-Testing: Moderierte Tests

› Typischer Ablauf eines moderierten Tests:
      › Der User lädt eine Software aus dem Internet und installiert diese auf seinem Rechner. Dadurch ist es dem
        Versuchsleiter möglich, den Screen des Probanden aufzunehmen.
      › Der User wird angerufen und spricht über ein Headset mit dem Versuchsleiter. Das Telefongespräch wird
        ebenfalls aufgenommen.
      › Der User erhält vom Versuchsleiter bestimmte Aufgaben, und erledigt diese unter Anwendung der Methode
        lauten Denkens.

› Die erhobenen Daten: Die erhobenen Daten sind identisch mit denen aus einem
  klassischen User-Test (ohne User Video) und können genauso ausgewertet werden.




                                                                                                © 2008 //SEIBERT/MEDIA GMBH
Remote Usability-Testing: Moderierte Tests

› Vorteile:
      › Die Tests sind geografisch nicht beschränkt (regionale, nationale, internationale Tests möglich).
      › Es gibt keine Verzerrung durch die Laborsituation (der User sitzt an seinem eigenen Rechner).

› Nachteile:
      › Detaillierte Nachbesprechung über das Telefon ist kaum praktikabel.
      › Der User redet weniger und hat ein geringeres Involvement.




                                                                                                  © 2008 //SEIBERT/MEDIA GMBH
Remote Usability-Testing: Automatisierte Tests

› Typischer Ablauf eines automatisierten Tests:
      › Echte Nutzer werden während einer echten Session um Live-Feedback gebeten.
      › Es wird ein zusätzlicher Frame geöffnet, in den die User Kommentare (Text) eingeben können.

› Die erhobenen Daten: Die Kommentare der User stellen das Datenmaterial dar, das
  ausgewertet wird. Weitere Informationen stehen nicht zur Verfügung.




                                                                                              © 2008 //SEIBERT/MEDIA GMBH
Remote Usability-Testing: Automatisierte Tests

› Vorteile:
      › Sehr hohes Involvement (keine Testsituation)
      › Wenig aufwändig (kein Versuchsleiter)
      › Sehr viele Probanden

› Nachteile:
      › Man ist noch stärker auf die Verbalisierungsfähigkeit der Probanden angewiesen.
      › Sehr passive Methode, der User kann nicht „gekitzelt“ werden.
      › Ähnelt der Methode der Befragung stark.




                                                                                          © 2008 //SEIBERT/MEDIA GMBH

Weitere ähnliche Inhalte

Ähnlich wie Nutzerbasierte Usability-Tests

Fallstudie eResult User Experience Review - NOZ
Fallstudie eResult User Experience Review - NOZFallstudie eResult User Experience Review - NOZ
Fallstudie eResult User Experience Review - NOZ
eResult_GmbH
 
[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute
UserZoom Deutschland
 
Usability Methoden
Usability  MethodenUsability  Methoden
Usability Methoden
Nina Rebele
 
eparo – Usability 2.0 (Vortrag OMF 2009 – Rolf Schulte Strathaus)
eparo – Usability 2.0 (Vortrag OMF 2009 – Rolf Schulte Strathaus) eparo – Usability 2.0 (Vortrag OMF 2009 – Rolf Schulte Strathaus)
eparo – Usability 2.0 (Vortrag OMF 2009 – Rolf Schulte Strathaus)
eparo GmbH
 
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
USECON
 
TWT Usability Testing
TWT Usability Testing TWT Usability Testing
TWT Usability Testing
TWT
 
Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...
Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...
Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...
e-dialog GmbH
 
Webinar Scrum Events vor vs. in Zeiten von Corona - Teil 3 Sprint Review
Webinar Scrum Events vor vs. in Zeiten von Corona - Teil 3 Sprint ReviewWebinar Scrum Events vor vs. in Zeiten von Corona - Teil 3 Sprint Review
Webinar Scrum Events vor vs. in Zeiten von Corona - Teil 3 Sprint Review
JIPP.IT
 
UX-Metriken – überbewertet und unterschätzt
UX-Metriken – überbewertet und unterschätztUX-Metriken – überbewertet und unterschätzt
UX-Metriken – überbewertet und unterschätzt
Jens Jacobsen
 
Content Analytics einfach gemacht
Content Analytics einfach gemachtContent Analytics einfach gemacht
Content Analytics einfach gemacht
Datentreiber
 
Wie Ihr Content die Buyer Journey unterstützt und Nutzertests funktionieren
Wie Ihr Content die Buyer Journey unterstützt und Nutzertests funktionierenWie Ihr Content die Buyer Journey unterstützt und Nutzertests funktionieren
Wie Ihr Content die Buyer Journey unterstützt und Nutzertests funktionieren
evuxGmbH
 
IA Konferenz München 2011
IA Konferenz München 2011IA Konferenz München 2011
IA Konferenz München 2011
Alexander Beck
 
Zeix e healthsummit_2013_v1-1_slideshare
Zeix e healthsummit_2013_v1-1_slideshareZeix e healthsummit_2013_v1-1_slideshare
Zeix e healthsummit_2013_v1-1_slideshare
Zeix AG
 
Fallstudie: Usability-Test im Labor (neckermann.de)
Fallstudie: Usability-Test im Labor (neckermann.de)Fallstudie: Usability-Test im Labor (neckermann.de)
Fallstudie: Usability-Test im Labor (neckermann.de)
martin.beschnitt
 
Mobile Quality Night Vienna 2015 - Usecon mobile experience
 Mobile Quality Night Vienna 2015 -   Usecon mobile experience Mobile Quality Night Vienna 2015 -   Usecon mobile experience
Mobile Quality Night Vienna 2015 - Usecon mobile experience
Rudolf Grötz
 
etailment WIEN 2015 - Mirjam Techt (willhaben.at) "Mobile Commerce"
etailment WIEN 2015 - Mirjam Techt (willhaben.at) "Mobile Commerce"etailment WIEN 2015 - Mirjam Techt (willhaben.at) "Mobile Commerce"
etailment WIEN 2015 - Mirjam Techt (willhaben.at) "Mobile Commerce"
Werbeplanung.at Summit
 
Allgemeine Einführung in Usability Engineering
Allgemeine Einführung in Usability EngineeringAllgemeine Einführung in Usability Engineering
Allgemeine Einführung in Usability Engineering
Martin Seibert
 
User xperience entsteht nicht durch Zufall
User xperience entsteht nicht durch ZufallUser xperience entsteht nicht durch Zufall
User xperience entsteht nicht durch Zufall
Daniel Muther
 
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Dirk Lewandowski
 
result App-Forschung
result App-Forschungresult App-Forschung
result App-Forschung
result gmbh
 

Ähnlich wie Nutzerbasierte Usability-Tests (20)

Fallstudie eResult User Experience Review - NOZ
Fallstudie eResult User Experience Review - NOZFallstudie eResult User Experience Review - NOZ
Fallstudie eResult User Experience Review - NOZ
 
[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute
 
Usability Methoden
Usability  MethodenUsability  Methoden
Usability Methoden
 
eparo – Usability 2.0 (Vortrag OMF 2009 – Rolf Schulte Strathaus)
eparo – Usability 2.0 (Vortrag OMF 2009 – Rolf Schulte Strathaus) eparo – Usability 2.0 (Vortrag OMF 2009 – Rolf Schulte Strathaus)
eparo – Usability 2.0 (Vortrag OMF 2009 – Rolf Schulte Strathaus)
 
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
 
TWT Usability Testing
TWT Usability Testing TWT Usability Testing
TWT Usability Testing
 
Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...
Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...
Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...
 
Webinar Scrum Events vor vs. in Zeiten von Corona - Teil 3 Sprint Review
Webinar Scrum Events vor vs. in Zeiten von Corona - Teil 3 Sprint ReviewWebinar Scrum Events vor vs. in Zeiten von Corona - Teil 3 Sprint Review
Webinar Scrum Events vor vs. in Zeiten von Corona - Teil 3 Sprint Review
 
UX-Metriken – überbewertet und unterschätzt
UX-Metriken – überbewertet und unterschätztUX-Metriken – überbewertet und unterschätzt
UX-Metriken – überbewertet und unterschätzt
 
Content Analytics einfach gemacht
Content Analytics einfach gemachtContent Analytics einfach gemacht
Content Analytics einfach gemacht
 
Wie Ihr Content die Buyer Journey unterstützt und Nutzertests funktionieren
Wie Ihr Content die Buyer Journey unterstützt und Nutzertests funktionierenWie Ihr Content die Buyer Journey unterstützt und Nutzertests funktionieren
Wie Ihr Content die Buyer Journey unterstützt und Nutzertests funktionieren
 
IA Konferenz München 2011
IA Konferenz München 2011IA Konferenz München 2011
IA Konferenz München 2011
 
Zeix e healthsummit_2013_v1-1_slideshare
Zeix e healthsummit_2013_v1-1_slideshareZeix e healthsummit_2013_v1-1_slideshare
Zeix e healthsummit_2013_v1-1_slideshare
 
Fallstudie: Usability-Test im Labor (neckermann.de)
Fallstudie: Usability-Test im Labor (neckermann.de)Fallstudie: Usability-Test im Labor (neckermann.de)
Fallstudie: Usability-Test im Labor (neckermann.de)
 
Mobile Quality Night Vienna 2015 - Usecon mobile experience
 Mobile Quality Night Vienna 2015 -   Usecon mobile experience Mobile Quality Night Vienna 2015 -   Usecon mobile experience
Mobile Quality Night Vienna 2015 - Usecon mobile experience
 
etailment WIEN 2015 - Mirjam Techt (willhaben.at) "Mobile Commerce"
etailment WIEN 2015 - Mirjam Techt (willhaben.at) "Mobile Commerce"etailment WIEN 2015 - Mirjam Techt (willhaben.at) "Mobile Commerce"
etailment WIEN 2015 - Mirjam Techt (willhaben.at) "Mobile Commerce"
 
Allgemeine Einführung in Usability Engineering
Allgemeine Einführung in Usability EngineeringAllgemeine Einführung in Usability Engineering
Allgemeine Einführung in Usability Engineering
 
User xperience entsteht nicht durch Zufall
User xperience entsteht nicht durch ZufallUser xperience entsteht nicht durch Zufall
User xperience entsteht nicht durch Zufall
 
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
 
result App-Forschung
result App-Forschungresult App-Forschung
result App-Forschung
 

Mehr von Martin Seibert

Agiles Schätzen im Team - Joachim Seibert, OBJEKTspektrum 5/2012
Agiles Schätzen im Team - Joachim Seibert, OBJEKTspektrum 5/2012Agiles Schätzen im Team - Joachim Seibert, OBJEKTspektrum 5/2012
Agiles Schätzen im Team - Joachim Seibert, OBJEKTspektrum 5/2012
Martin Seibert
 
Sponsorenbeschreibung Tools4AgileTeams 2012
Sponsorenbeschreibung Tools4AgileTeams 2012Sponsorenbeschreibung Tools4AgileTeams 2012
Sponsorenbeschreibung Tools4AgileTeams 2012
Martin Seibert
 
//SEIBERT/MEDIA als Atlassian Platinum Expert
//SEIBERT/MEDIA als Atlassian Platinum Expert//SEIBERT/MEDIA als Atlassian Platinum Expert
//SEIBERT/MEDIA als Atlassian Platinum Expert
Martin Seibert
 
Continous Deployment - Schneller entwickeln
Continous Deployment - Schneller entwickelnContinous Deployment - Schneller entwickeln
Continous Deployment - Schneller entwickeln
Martin Seibert
 
Zendesk Bootcamps - Einleitung, Mobile Apps, Salesforce-Integration
Zendesk Bootcamps - Einleitung, Mobile Apps, Salesforce-IntegrationZendesk Bootcamps - Einleitung, Mobile Apps, Salesforce-Integration
Zendesk Bootcamps - Einleitung, Mobile Apps, Salesforce-Integration
Martin Seibert
 
Kulturchronik 2011
Kulturchronik 2011Kulturchronik 2011
Kulturchronik 2011
Martin Seibert
 
Agile retrospectives
Agile retrospectivesAgile retrospectives
Agile retrospectives
Martin Seibert
 
Profil und Selbstdarstellung
Profil und SelbstdarstellungProfil und Selbstdarstellung
Profil und Selbstdarstellung
Martin Seibert
 
IT Fragenkatalog für Confluence /JIRA Angebote mit Hosting von //SEIBERT/MEDIA
IT Fragenkatalog für Confluence /JIRA Angebote mit Hosting von //SEIBERT/MEDIAIT Fragenkatalog für Confluence /JIRA Angebote mit Hosting von //SEIBERT/MEDIA
IT Fragenkatalog für Confluence /JIRA Angebote mit Hosting von //SEIBERT/MEDIA
Martin Seibert
 
IT Fragenkatalog für Confluence /JIRA Angebote mit Fremdhosting
IT Fragenkatalog für Confluence /JIRA Angebote mit FremdhostingIT Fragenkatalog für Confluence /JIRA Angebote mit Fremdhosting
IT Fragenkatalog für Confluence /JIRA Angebote mit Fremdhosting
Martin Seibert
 
10 Gründe für //SEIBERT/MEDIA
10 Gründe für //SEIBERT/MEDIA10 Gründe für //SEIBERT/MEDIA
10 Gründe für //SEIBERT/MEDIA
Martin Seibert
 
Aufgabenmanagement mit Jira
Aufgabenmanagement mit JiraAufgabenmanagement mit Jira
Aufgabenmanagement mit Jira
Martin Seibert
 
//SEIBERT/MEDIA - Profilpräsentation samt einiger ausgewählter Projekte
//SEIBERT/MEDIA - Profilpräsentation samt einiger ausgewählter Projekte//SEIBERT/MEDIA - Profilpräsentation samt einiger ausgewählter Projekte
//SEIBERT/MEDIA - Profilpräsentation samt einiger ausgewählter Projekte
Martin Seibert
 
Design-Dienstleistungen von //SEIBERT/MEDIA
Design-Dienstleistungen von //SEIBERT/MEDIADesign-Dienstleistungen von //SEIBERT/MEDIA
Design-Dienstleistungen von //SEIBERT/MEDIA
Martin Seibert
 
Wiki-Workshop Presentation
Wiki-Workshop PresentationWiki-Workshop Presentation
Wiki-Workshop Presentation
Martin Seibert
 

Mehr von Martin Seibert (16)

Agiles Schätzen im Team - Joachim Seibert, OBJEKTspektrum 5/2012
Agiles Schätzen im Team - Joachim Seibert, OBJEKTspektrum 5/2012Agiles Schätzen im Team - Joachim Seibert, OBJEKTspektrum 5/2012
Agiles Schätzen im Team - Joachim Seibert, OBJEKTspektrum 5/2012
 
Sponsorenbeschreibung Tools4AgileTeams 2012
Sponsorenbeschreibung Tools4AgileTeams 2012Sponsorenbeschreibung Tools4AgileTeams 2012
Sponsorenbeschreibung Tools4AgileTeams 2012
 
//SEIBERT/MEDIA als Atlassian Platinum Expert
//SEIBERT/MEDIA als Atlassian Platinum Expert//SEIBERT/MEDIA als Atlassian Platinum Expert
//SEIBERT/MEDIA als Atlassian Platinum Expert
 
Continous Deployment - Schneller entwickeln
Continous Deployment - Schneller entwickelnContinous Deployment - Schneller entwickeln
Continous Deployment - Schneller entwickeln
 
Zendesk Bootcamps - Einleitung, Mobile Apps, Salesforce-Integration
Zendesk Bootcamps - Einleitung, Mobile Apps, Salesforce-IntegrationZendesk Bootcamps - Einleitung, Mobile Apps, Salesforce-Integration
Zendesk Bootcamps - Einleitung, Mobile Apps, Salesforce-Integration
 
Kulturchronik 2011
Kulturchronik 2011Kulturchronik 2011
Kulturchronik 2011
 
Agile retrospectives
Agile retrospectivesAgile retrospectives
Agile retrospectives
 
Profil und Selbstdarstellung
Profil und SelbstdarstellungProfil und Selbstdarstellung
Profil und Selbstdarstellung
 
IT Fragenkatalog für Confluence /JIRA Angebote mit Hosting von //SEIBERT/MEDIA
IT Fragenkatalog für Confluence /JIRA Angebote mit Hosting von //SEIBERT/MEDIAIT Fragenkatalog für Confluence /JIRA Angebote mit Hosting von //SEIBERT/MEDIA
IT Fragenkatalog für Confluence /JIRA Angebote mit Hosting von //SEIBERT/MEDIA
 
IT Fragenkatalog für Confluence /JIRA Angebote mit Fremdhosting
IT Fragenkatalog für Confluence /JIRA Angebote mit FremdhostingIT Fragenkatalog für Confluence /JIRA Angebote mit Fremdhosting
IT Fragenkatalog für Confluence /JIRA Angebote mit Fremdhosting
 
Fallstudie Wikidesign
Fallstudie WikidesignFallstudie Wikidesign
Fallstudie Wikidesign
 
10 Gründe für //SEIBERT/MEDIA
10 Gründe für //SEIBERT/MEDIA10 Gründe für //SEIBERT/MEDIA
10 Gründe für //SEIBERT/MEDIA
 
Aufgabenmanagement mit Jira
Aufgabenmanagement mit JiraAufgabenmanagement mit Jira
Aufgabenmanagement mit Jira
 
//SEIBERT/MEDIA - Profilpräsentation samt einiger ausgewählter Projekte
//SEIBERT/MEDIA - Profilpräsentation samt einiger ausgewählter Projekte//SEIBERT/MEDIA - Profilpräsentation samt einiger ausgewählter Projekte
//SEIBERT/MEDIA - Profilpräsentation samt einiger ausgewählter Projekte
 
Design-Dienstleistungen von //SEIBERT/MEDIA
Design-Dienstleistungen von //SEIBERT/MEDIADesign-Dienstleistungen von //SEIBERT/MEDIA
Design-Dienstleistungen von //SEIBERT/MEDIA
 
Wiki-Workshop Presentation
Wiki-Workshop PresentationWiki-Workshop Presentation
Wiki-Workshop Presentation
 

Nutzerbasierte Usability-Tests

  • 1. Nutzerbasierte Usability-Tests Klassische User-Tests, Exe-Tracking und Remote-Usability-Tests.
  • 2. User-Test: Grundprinzip › Repräsentative User nutzen eine Anwendung in einem Usability-Labor und werden bei der Nutzung beobachtet. › Typischer Ablauf eines User-Tests: › Rekrutierung: Die Zielgruppe wird definiert und repräsentative User als Probanden rekrutiert. › Testdurchführung: Die Probanden werden zum User-Test eingeladen und nutzen die Anwendung unter Beobachtung. Alle Probleme, die während der Nutzung auftreten, werden notiert. › Auswertung der Ergebnisse: Die Probleme werden interpretiert und es werden konkrete Verbesserungsvorschläge gemacht. › Aufgabenorientierung: User-Tests sind in der Regel aufgabenorientiert, d.h. die Probanden erfüllen „typische“ Aufgaben mit der Anwendung. › Vergleichsdaten: Um die gewonnen daten vergleichen zu können, werden häufig die Angebote von Mitbewerbern mitgetestet. > Best Practices, Worst Practices © 2008 //SEIBERT/MEDIA GMBH
  • 3. User-Test: Daten › Die erhobenen Daten: Bei einem User-Test werden zahlreiche unterschiedliche Daten erhoben, die anschließend ausgewertet werden können. › Vor dem Test: Vorbefragung › Personenspezifische Daten: Alter, Geschlecht, Englischkenntnisse, Online-Erfahrung, etc. › Applikationsspezifische Daten: Erfahrung im Umgang mit der Anwendung, Erfahrung mit vergleichbaren Anwendungen, etc. › Während des Tests: Testdaten › Screen Recording: Der Bildschirm des Testrechners wird aufgenommen, inkl. Mausklicks, Mausbewegungen und Tastenanschläge. So kann die komplette Sitzung nachvollzogen werden. › User Video: Zusätzlich wird der User aufgenommen, um aus dessen Gestik und Mimik zusätzliche Schlüsse ziehen zu können. › Audio Recording: Während der Nutzung spricht der User alles, was ihm zu der Anwendung durch den Kopf schießt, laut aus (Methode lauten Denkens). © 2008 //SEIBERT/MEDIA GMBH
  • 4. User-Test: Daten › Nach dem Test: › Nachbefragung: Online-Befragung mit standardisierten Fragen zu Design, Navigation, Informationsumfang, Hilfe, etc. (System Usability Sale). › Nachbesprechung: Spezielle Usability-Probleme aus dem Test werden direkt im Anschluss noch einmal gesondert besprochen. › Durch die Kombination von Beobachtung und Befragung werden unterschiedliche Daten gewonnen. > Höherer Erkenntnisgewinn © 2008 //SEIBERT/MEDIA GMBH
  • 5. User-Test: Ergebnis › Ergebnis: Das Ergebnis ist ein umfassender Usability-Bericht, der folgende Inhalte umfasst: › Qualitative Analyse: › Aufzählung und detaillierte Beschreibung aller gefundenen Usability-Probleme. › Einschätzung, wie aufwändig die Behebung ist und wie ernst (severe) das Problem ist. › Konkreter Verbesserungsvorschlag. › Beispielfilme für die wichtigsten Probleme. › Quantitative Analyse: › Daten aus dem Screen Recording (Time on Task, Anzahl der Klicks, etc.) › Daten aus der Analyse (Abbrecherquote, Anzahl der Fehler, etc.) › Daten aus der Nachbefragung (Schulnoten für Design, Navigation, Informationsumfang, etc.) © 2008 //SEIBERT/MEDIA GMBH
  • 6. User-Test: Vor- und Nachteile › Vorteile: › Vollständige Information (alle Usability-Probleme werden gefunden) › Hohe Validität (die gefundenen Usability bestehen tatsächlich) › Überzeugendes Instrument (Entscheider glauben an die Ergebnisse) › Nachteile : › Relativ teuer › Relativ zeitintensiv › Anspruchsvolle Testumgebung notwendig © 2008 //SEIBERT/MEDIA GMBH
  • 7. User-Test: Beispiel Time on Task 246 244 250 223 215 200 151 150 99 100 86 74 50 23 20 21 18 0 Aufrufen Suchen Auswählen STA Travel Opodo McFlight Travel Overland © 2008 //SEIBERT/MEDIA GMBH
  • 8. User-Test: Beispiel Nachbefragung 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Die Farben der Das Design der Man benoetigt eine Es gibt auf der Die Oberflaeche Die Navigation der Mir war jederzeit Es hat mir Spass Website gefallen Seiten finde ich gut. Einfuehrung bevor Seite ausreichend war alles in allem Seite ist klar, wohin mich gemacht, die Seite mir gut. man die Seite Informationen, wenn einfach zu unkompliziert. Links fuehren zu benutzen. nutzen kann. man mal nicht verwenden. wuerden, bevor ich weiss, wie es weiter sie angeklickt habe. geht. © 2008 //SEIBERT/MEDIA GMBH
  • 9. Eye-Tracking: Grundprinzip › Bei einer Eye-Tracking-Studie werden die Blickbewegungen repräsentativer User mithilfe eines Eye-Trackers aufgezeichnet. › Typischer Ablauf einer Eye-Tracking-Studie: › Der Ablauf gleicht dem bei einem klassischen User-Test, lediglich die erhobenen Daten unterschieden sich. › Beim Eye-Tracking geht es um Aufmerksamkeit. > Aufmerksamkeit als Voraussetzung für das Ausführen bestimmter Aktionen. › Eye-Tracking ermöglicht als einzige Methode zuverlässige Aussagen darüber, ob und wie intensiv verschiedene Oberflächen-Elemente wahrgenommen werden. © 2008 //SEIBERT/MEDIA GMBH
  • 10. Eye-Tracking: Daten › Die erhobenen Daten: Beim Eye-Tracking werden zwei verschiedene Arten von Daten erhoben. › Fixation: Ein bestimmter Punkt auf der Oberfläche wird mit den Augen fokussiert. › Sakkaden: Der Sprung von einer Fixation zur nächsten. › In der Praxis wird Eye-Tracking zudem nicht isoliert eingesetzt, sondern in Kombination mit einem klassischen User-Test. › Alle Daten aus einem klassischen User-Test werden also ebenfalls erhoben. © 2008 //SEIBERT/MEDIA GMBH
  • 11. Eye-Tracking: Ergebnis › Ergebnisse: Beim Eye-Tracking werden die Ergebnisse in der Regel visualisiert (Bilder). › Es entstehen im wesentlichen zwei verschiedene Arten von Ergebnissen: › Blickverdichtungen (Heatmaps, Attention Maps, Areas of Interest): Wo haben die User hingeschaut, wie lange haben die User dort hingeschaut. › Blickverläufe (Scanpath): Wie sind die Blickverläufe der User über einen bestimmten Zeitraum hinweg. › Die Daten können sowohl aggregiert (alle User zusammen) als auch individuell (jeder User einzeln) betrachtet werden. › Einschränkung: Beim Eye-Tracking werden Blicke gemessen, nicht Wahrnehmung! › Die User können Elemente anschauen, ohne diese wahrzunehmen (im Sinne von kognitiv verarbeiten). › Die User können nehmen Elemente auch in der Peripherie des Sehfeldes wahr, das nicht getrackt werden kann. © 2008 //SEIBERT/MEDIA GMBH
  • 12. Eye-Tracking: Vor- und Nachteile › Vorteile: › Bildgebendes Verfahren (keine Befragung oder Beobachtung) › Einzige Methode zur Messung der Aufmerksamkeit › Große Überzeugungskraft › Nachteile: › Teuer und zeitintensiv › Fixation ≠ Aufmerksamkeit › Peripherie des Sehfeldes wird nicht erfasst © 2008 //SEIBERT/MEDIA GMBH
  • 13. Eye-Tracking: Beispiel © 2008 //SEIBERT/MEDIA GMBH
  • 14. Remote Usability-Testing: Grundprinzip › Remote Usability-Tests sind Tests mit Usern, die nicht in einem Labor durchgeführt werden, sondern „aus der Entfernung“. Der User ist zu Hause an seinem eigenen Rechner. › Es gibt zwei unterschiedliche Arten von Remote Usability-Tests: Moderierte Tests vs. Automatisierte Tests. › Moderierte Tests: Wie klassischer User-Test, allerdings ist der User zu Hause und es findet nur ein Screen und Voice Recording statt. › Automatisierte Tests: User nutzen eine Website und geben Kommentare in einen separaten Frame ein. › Vorteile: Die Nutzungssituation ist realistischer, weil die Probanden zu Hause sind und ihren eigenen Rechner nutzen. › Nachteile: An moderierten Tests nehmen nur technisch affine User teil, bei automatisierten Tests ist das Feedback in der Regel sehr „zurückhaltend“. © 2008 //SEIBERT/MEDIA GMBH
  • 15. Remote Usability-Testing: Moderierte Tests › Typischer Ablauf eines moderierten Tests: › Der User lädt eine Software aus dem Internet und installiert diese auf seinem Rechner. Dadurch ist es dem Versuchsleiter möglich, den Screen des Probanden aufzunehmen. › Der User wird angerufen und spricht über ein Headset mit dem Versuchsleiter. Das Telefongespräch wird ebenfalls aufgenommen. › Der User erhält vom Versuchsleiter bestimmte Aufgaben, und erledigt diese unter Anwendung der Methode lauten Denkens. › Die erhobenen Daten: Die erhobenen Daten sind identisch mit denen aus einem klassischen User-Test (ohne User Video) und können genauso ausgewertet werden. © 2008 //SEIBERT/MEDIA GMBH
  • 16. Remote Usability-Testing: Moderierte Tests › Vorteile: › Die Tests sind geografisch nicht beschränkt (regionale, nationale, internationale Tests möglich). › Es gibt keine Verzerrung durch die Laborsituation (der User sitzt an seinem eigenen Rechner). › Nachteile: › Detaillierte Nachbesprechung über das Telefon ist kaum praktikabel. › Der User redet weniger und hat ein geringeres Involvement. © 2008 //SEIBERT/MEDIA GMBH
  • 17. Remote Usability-Testing: Automatisierte Tests › Typischer Ablauf eines automatisierten Tests: › Echte Nutzer werden während einer echten Session um Live-Feedback gebeten. › Es wird ein zusätzlicher Frame geöffnet, in den die User Kommentare (Text) eingeben können. › Die erhobenen Daten: Die Kommentare der User stellen das Datenmaterial dar, das ausgewertet wird. Weitere Informationen stehen nicht zur Verfügung. © 2008 //SEIBERT/MEDIA GMBH
  • 18. Remote Usability-Testing: Automatisierte Tests › Vorteile: › Sehr hohes Involvement (keine Testsituation) › Wenig aufwändig (kein Versuchsleiter) › Sehr viele Probanden › Nachteile: › Man ist noch stärker auf die Verbalisierungsfähigkeit der Probanden angewiesen. › Sehr passive Methode, der User kann nicht „gekitzelt“ werden. › Ähnelt der Methode der Befragung stark. © 2008 //SEIBERT/MEDIA GMBH