So geht UX Research heute
19. November 2013

Jakob Biesterfeldt
Managing Director, UserZoom GmbH
#uxwebinar
@jbiest
free WEBINAR

So geht UX Research heute
Unmoderated Remote Usability Testing

2	
  
free WEBINAR
Inhalt
•  Überblick und Kontext
•  Stärken und Schwächen von Unmoderated Remote Usability Testing (URUT)
•  F...
free WEBINAR
Überblick & Kontext
Usability	
  Labor	
  

Moderiert	
  

Remote	
  

Unmoderiert	
  

Qualita/v	
  

Usabil...
free WEBINAR
Überblick & Kontext
Unmoderated Remote Usability Testing (URUT, ARUT)

5	
  
free WEBINAR
Überblick & Kontext
1. Studie konzipieren und implementieren, testen
2. Teilnehmer einladen
3. Hunderte Nutze...
free WEBINAR
Stärken & Schwächen
ü  Kosten, Ressourcen, Skalierbarkeit, Agilität
ü 

„Wir haben keine Zeit / kein Budget...
free WEBINAR
Stärken & Schwächen

• 
• 
• 
• 
• 
• 
• 
• 
• 

Spart Zeit
Spart Geld
Skalierbar
Flexibel & agil
Statistisch...
free WEBINAR
Überblick & Kontext
•  Warum “heute”?
o 
o 
o 
o 
o 
o 

Websites und Web komplexer – Testing Bedarf steigt
K...
free WEBINAR
Funktionsweise URUT
•  Planung & Vorbereitung
o 
o 
o 
o 

Studienziele festlegen
Geschäftsziele – Web KPIs –...
free WEBINAR
Planung & Vorbereitung
Geschäftsziele
UX Zahlen, Daten, Fakten

Web Analytics KPIs

Foto: kevinzim http://www...
free WEBINAR
Planung & Vorbereitung
•  Studienziele, z.B.
o 
o 
o 

o 

o 

o 

o 

Usability Probleme identifizieren
User...
free WEBINAR
Planung & Vorbereitung
•  Studienziele, z.B.
o 
o 
o 

o 

o 

o 

o 

Usability Probleme identifizieren
User...
free WEBINAR
Planung & Vorbereitung
•  Studienziele, z.B.
o 
o 
o 

o 

o 

o 

o 

Usability Probleme identifizieren
User...
free WEBINAR
Planung & Vorbereitung
•  Studienziele, z.B.
o 
o 

o 

o 

o 

o 
o 

Usability Probleme identifizieren
Verg...
free WEBINAR
Rekrutierung von Teilnehmern
• 
• 
• 
• 

Internationale Online Panel Anbieter
On-Site Rekrutierung
E-Mail
So...
free WEBINAR
Rekrutierung von Teilnehmern
•  Teilnehmerprofile hängen von der Fragestellung/Zielsetzung der Studie ab.
o  ...
free WEBINAR
Planung & Vorbereitung
Zeit- und Budgetplanung
Laborstudie

URUT Studie

2 - 3 Tage

0,5 – 3 Tage

Zeitaufwan...
free WEBINAR
Planung & Vorbereitung
Wann was testen?
• 
• 
• 
• 
• 
• 

Iterativ im gesamten Entwicklungs- und Releasezykl...
free WEBINAR
Durchführung
Studienkonzeption & Implementierung
• 
• 
• 
• 
• 

Testskript
Aufgaben
(standardisierte) Frageb...
free WEBINAR
Durchführung
•  Fragen und Fragebögen
o 
o 
o 
o 
o 

o 

Vorerfahrung mit Website (à Logik zur Verzweigung ...
free WEBINAR
Durchführung

22	
  
free WEBINAR
Durchführung

23	
  
free WEBINAR
Durchführung
•  Testaufgaben
o 
o 
o 
o 
o 

“Core Tasks” – Typische Aufgaben, “New Tasks”
“High cost of fail...
free WEBINAR
Durchführung
•  Testaufgaben – Tipps
o 
o 
o 

o 
o 
o 

Aufgaben sollten einfach zu verstehen, aber nicht ei...
free WEBINAR
Durchführung

26	
  
free WEBINAR
Durchführung

27	
  
free WEBINAR
Durchführung
•  Ergänzende Online Methoden und Fragearten
o 
o 
o 
o 
o 

Screenshot Click Testing
Multimedia...
free WEBINAR
Durchführung

29	
  
free WEBINAR
Durchführung

30	
  
free WEBINAR
Ergebnisse & Auswertung

31	
  
free WEBINAR
Ergebnisse & Auswertung
•  Ergebnisse & Auswertung – typische Metriken
o  Completion Rate (Success Rate)
• 
E...
free WEBINAR
Ergebnisse & Auswertung
Aufgabe	
  

Erfolg	
  
BuJon	
  

Abbrechen	
  
BuJon	
  

Timeout	
  

Validierung	...
free WEBINAR
Ergebnisse & Auswertung

34	
  
free WEBINAR
Ergebnisse & Auswertung
Die Website ist…

35	
  
free WEBINAR
Ergebnisse & Auswertung

36	
  
free WEBINAR
Ergebnisse & Auswertung
Videos
•  Pro Aufgabe pro Nutzer
•  Selektiv auswerten:
o  Non-Success
o  Sehr lange ...
free WEBINAR
Ergebnisse & Auswertung
• 
• 
• 
• 
• 

Quantitative UX Messdaten
Quantitative “Self-reported” Daten
Qualitat...
free WEBINAR
Fazit
URUT löst drei Herausforderungen für UX Researcher heute:
•  Quantitative Messdaten komplettieren rein ...
free WEBINAR
Tools
•  http://www.measuringusability.com/blog/right-tool.php
•  http://johnnyholland.org/2010/08/how-to-sho...
free WEBINAR
Buchtipps

41	
  
free WEBINAR

Vielen Dank!

Jakob Biesterfeldt
Managing Director, UserZoom GmbH
München
jbiesterfeldt@userzoom.com
@jbiest...
Haben Sie Fragen?
Sprechen Sie uns gerne an:
München (DE)
Ainmillerstr. 11
80801 München

@UserZoom_DE

www.linkedin.com/c...
Nächste SlideShare
Wird geladen in …5
×

[Webinar] So geht UX Research heute

1.052 Aufrufe

Veröffentlicht am

Zur Video-Aufzeichnung des Webinars:
http://info.userzoom.de/webinar-on-demand-so-geht-ux-research-heute.html

Im umkämpften Online-Markt haben Unternehmen Bedarf:
- Usability und User Experience zu evaluieren und zu verbessern,
- Feedback und Bewertungen von Kunden zu sammeln und zu nutzen,
- Conversion Rates und Markenwarnehmung zu optimieren,
Websites von Wettbewerbern und Design-Varianten zu vergleichen.

Das ist nicht immer einfach, insbesondere mit traditionellen, eher qualitativ ausgelegten UX Research Methoden wie dem Usability Testing. UX Research heute geht hingegen einfach und schnell, agil und flexibel, kostengünstig und gewinnbringend.

Remote Usability Testing und quantitative Methoden sind dabei das Mittel der Wahl für viele UX Professionals – allen voran das unmoderierte quantitative Usability Testing.

Welche Vorteile bringen Ihnen die neuen Tools und Methoden? Wie funktionieren sie?

Diese Fragen beantwortet das Webinar “So geht UX Research heute” u.a. anhand von Fallstudien.

Inhalt:

- Funktionsweise von quantitativen Online UX Research Tools
- Stärken und Schwächen von Online UX Research Tools und Methoden
- Fallstudien
- Planung und Design von Online UX Research Studien
- Rekrutierung von Teilnehmern
- Ergebnisse und Erkenntnisse aus Online UX Research Studien
- Messwerte und Metriken

Veröffentlicht in: Technologie
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.052
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
219
Aktionen
Geteilt
0
Downloads
16
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

[Webinar] So geht UX Research heute

  1. 1. So geht UX Research heute 19. November 2013 Jakob Biesterfeldt Managing Director, UserZoom GmbH #uxwebinar @jbiest
  2. 2. free WEBINAR So geht UX Research heute Unmoderated Remote Usability Testing 2  
  3. 3. free WEBINAR Inhalt •  Überblick und Kontext •  Stärken und Schwächen von Unmoderated Remote Usability Testing (URUT) •  Funktionsweise von URUT Tools (mit Beispielen) o  Planung & Vorbereitung o  Messwerte & Metriken o  Rekrutierung o  Durchführung o  Ergebnisse und Auswertung •  Fragen & Antworten 3  
  4. 4. free WEBINAR Überblick & Kontext Usability  Labor   Moderiert   Remote   Unmoderiert   Qualita/v   Usability  Tes/ng   Quan/ta/v   4  
  5. 5. free WEBINAR Überblick & Kontext Unmoderated Remote Usability Testing (URUT, ARUT) 5  
  6. 6. free WEBINAR Überblick & Kontext 1. Studie konzipieren und implementieren, testen 2. Teilnehmer einladen 3. Hunderte Nutzer nehmen vom eigenen Endgerät aus teil 4. Daten werden im Tool aggregiert und zur Auswertung vorbereitet 6  
  7. 7. free WEBINAR Stärken & Schwächen ü  Kosten, Ressourcen, Skalierbarkeit, Agilität ü  „Wir haben keine Zeit / kein Budget für Usability Testing“ ü  „Dafür lohnt es sich nicht, eine Usability Testing Studie durchzuführen“ ü  Quantitativ & qualitativ ü  „Wir müssen Designentscheidungen absichern” ü  „Uns interessieren auch Meinungen, subjektive und emotionale UX Faktoren“ ü  „Wir wollen vergleichen – sind wir besser geworden? Besser als Wettbewerber? ü  „Wir brauchen überzeugende Daten für die interne Kommunikation“ ü  Globale Reichweite, realer Kontext ü  „Unsere Nutzer sind weltweit verteilt / haben keine Zeit in ein Usability Labor zu kommen“ ü  „Im Usability Labor fehlt den Nutzern doch der natürliche Kontext“ 7  
  8. 8. free WEBINAR Stärken & Schwächen •  •  •  •  •  •  •  •  •  Spart Zeit Spart Geld Skalierbar Flexibel & agil Statistisch nutzbare Messwerte Vergleich (Zeit, Länder, Wettbewerb…) Verfügbarkeit von Teilnehmern Natürlicher Kontext Kommunikation •  Keine Nachfragen möglich •  Weniger geeignet für rein explorative Beobachtung oder extrem lange Tasks •  Nur Web- und mobile Uis •  Keine Vertraulichkeit 8  
  9. 9. free WEBINAR Überblick & Kontext •  Warum “heute”? o  o  o  o  o  o  Websites und Web komplexer – Testing Bedarf steigt Kosten- und Zeitdruck Wettbewerbsdruck “Big Data” Trend – UX, MaFo und Web Analytics integrieren Technische Möglichkeiten Komplettierung traditioneller Methoden 9  
  10. 10. free WEBINAR Funktionsweise URUT •  Planung & Vorbereitung o  o  o  o  Studienziele festlegen Geschäftsziele – Web KPIs – UX Metriken verknüpfen Teilnehmerprofile definieren und Rekrutierung planen Zeit- und Budget planen •  Durchführung o  o  o  Studienkonzeption Implementierung der Studie im Tool Monitoring •  Ergebnisse & Auswertung 10  
  11. 11. free WEBINAR Planung & Vorbereitung Geschäftsziele UX Zahlen, Daten, Fakten Web Analytics KPIs Foto: kevinzim http://www.flickr.com/photos/86624586@N00/ 11  
  12. 12. free WEBINAR Planung & Vorbereitung •  Studienziele, z.B. o  o  o  o  o  o  o  Usability Probleme identifizieren User Experience messen Vergleich von Design-Varianten (A/B) Benchmarking mit dem Wettbewerb Navigationsstruktur optimieren (“Findability”) Emotionale Ansprache / Markenwahrnehmung der Nutzer messen Iterativ und agil den Designprozess begleiten 12  
  13. 13. free WEBINAR Planung & Vorbereitung •  Studienziele, z.B. o  o  o  o  o  o  o  Usability Probleme identifizieren User Experience messen Vergleich von Design-Varianten (A/B) Benchmarking mit dem Wettbewerb Navigationsstruktur optimieren (“Findability”) Emotionale Ansprache / Markenwahrnehmung der Nutzer messen Iterativ und agil den Designprozess begleiten •  von Geschäftszielen ableiten, z.B. o  Mehr Registrierungen App-Downloads +30% Conversion Rate Optimierung o  No.1 in Kundenzufriedenheit o  o  o  o  o  Warenkorbgrößen maximieren, Abbruchraten senken Überzeugen durch Vertrauenswürdigkeit Risiko von Designänderungen managen 13  
  14. 14. free WEBINAR Planung & Vorbereitung •  Studienziele, z.B. o  o  o  o  o  o  o  Usability Probleme identifizieren User Experience messen Vergleich von Design-Varianten (A/B) Benchmarking mit dem Wettbewerb Navigationsstruktur optimieren (“Findability”) Emotionale Ansprache / Markenwahrnehmung der Nutzer messen Iterativ und agil den Designprozess begleiten •  mit UX Zielen verknüpfen o  Success Rate Zufriedenheits-Ratings Time on Task, Success Rate o  UX Messwerte im Vergleich o  Findability Rate o  NPS o  UX Messwerte über die Zeit o  o  14  
  15. 15. free WEBINAR Planung & Vorbereitung •  Studienziele, z.B. o  o  o  o  o  o  o  Usability Probleme identifizieren Vergleich von Design-Varianten (A/B) Benchmarking mit dem Wettbewerb Navigationsstruktur optimieren (“Findability”) Emotionale Ansprache / Markenwahrnehmung der Nutzer messen User Experience messen Iterativ und agil den Designprozess begleiten •  Methode/Tool auswählen Remote aufgabenbasiert (+ Lab) Card Sorting / Tree Testing Voice of Customer (VoC) VoC + Remote aufgabenbasiert 15  
  16. 16. free WEBINAR Rekrutierung von Teilnehmern •  •  •  •  Internationale Online Panel Anbieter On-Site Rekrutierung E-Mail Social Networks •  Datenschutz beachten 16  
  17. 17. free WEBINAR Rekrutierung von Teilnehmern •  Teilnehmerprofile hängen von der Fragestellung/Zielsetzung der Studie ab. o  Soziodemographische Daten o  Zielgruppe o  Relevantes Fachwissen o  Verhaltensdaten •  Sind Profildaten relevant für Auswertung/Design? •  Gewünschtes Konfidenzintervall definiert Anzahl der Testpersonen •  Kosten: 6-10 € / Person bei Panelanbietern, nur “Completes” 17  
  18. 18. free WEBINAR Planung & Vorbereitung Zeit- und Budgetplanung Laborstudie URUT Studie 2 - 3 Tage 0,5 – 3 Tage Zeitaufwand Moderation 2 Tage 0 Tage Anzahl Teilnehmer 5 - 10 5 – 10.000 1-2 Wochen 1-5 Tage €€€ € - €€€ Vorbereitung Zeitaufwand Auswertung & Doku Kosten Außerdem: Laborkosten, Toolkosten, Rekrutierungskosten (und –zeit!), No-Show-Kosten, Kommunikationskosten… Durchschnittlich 50% Zeit- und Kostenersparnis 18  
  19. 19. free WEBINAR Planung & Vorbereitung Wann was testen? •  •  •  •  •  •  Iterativ im gesamten Entwicklungs- und Releasezyklus Bestehendes Produkt testen Wettbewerber testen Wireframes / Interaktive Prototypen testen, iterativ, von Lo-Fi zu Hi-Fi Informationsarchitektur / Struktur / Produktkategorien Neues Produkt •  Früh und häufig 19  
  20. 20. free WEBINAR Durchführung Studienkonzeption & Implementierung •  •  •  •  •  Testskript Aufgaben (standardisierte) Fragebögen Logik & Konditionen Anleitung, Welcome Page •  Look & Feel •  Qualitätskontrolle •  Sprache(n) •  Der Teufel steckt im Detail – Formulierungen, Tonfall, Erwartungsmanagement •  Testen und auf Plausibilität prüfen 20  
  21. 21. free WEBINAR Durchführung •  Fragen und Fragebögen o  o  o  o  o  o  Vorerfahrung mit Website (à Logik zur Verzweigung einsetzen) Filter-Fragen (z.B. Demographie, Nutzungskontext) Hypothetische Fragen vermeiden (“Würden Sie, …, wenn…?”) So konkret wie möglich (“täglich” statt “häufig”) Doppelfragen vermeiden (“Wie einfach und schnell war das…?”) Standard-Fragebögen: •  SUS, SUMI, ISONORM… •  NPS •  Eigene Standard-Fragebögen 21  
  22. 22. free WEBINAR Durchführung 22  
  23. 23. free WEBINAR Durchführung 23  
  24. 24. free WEBINAR Durchführung •  Testaufgaben o  o  o  o  o  “Core Tasks” – Typische Aufgaben, “New Tasks” “High cost of failure” Aufgaben, die direkten Bezug zu Geschäftszielen haben Input aus Usability Labor, VoC Studien, Marktforschung oder Call Center Validierbare Ziele (wenn nötig) 24  
  25. 25. free WEBINAR Durchführung •  Testaufgaben – Tipps o  o  o  o  o  o  Aufgaben sollten einfach zu verstehen, aber nicht einfach zu erraten sein Randomisierung der Aufgabenreihenfolge vermeidet Reihenfolgeneffekte Wie ist die erfolgreiche Aufgabenlösung validiert? •  Frage – auf Eindeutigkeit achten •  URL Keine führenden Fragen, keine führenden Begriffe Website und Aufgabeninhalte während der Datensammlung nicht ändern Mit Fragen ergänzen 25  
  26. 26. free WEBINAR Durchführung 26  
  27. 27. free WEBINAR Durchführung 27  
  28. 28. free WEBINAR Durchführung •  Ergänzende Online Methoden und Fragearten o  o  o  o  o  Screenshot Click Testing Multimedia-Fragen Tree Testing Skalen, Semantische Differentiale, NPS Sortieraufgaben 28  
  29. 29. free WEBINAR Durchführung 29  
  30. 30. free WEBINAR Durchführung 30  
  31. 31. free WEBINAR Ergebnisse & Auswertung 31  
  32. 32. free WEBINAR Ergebnisse & Auswertung •  Ergebnisse & Auswertung – typische Metriken o  Completion Rate (Success Rate) •  Error Rate •  Abandon Rate •  Timeout Rate o  Time on Task (auch subjektiv) o  Bewertungen (Usability, Content, Zufriedenheit – pro Aufgabe und insgesamt) o  Usability Probleme (Anzahl, Schwere) 32  
  33. 33. free WEBINAR Ergebnisse & Auswertung Aufgabe   Erfolg   BuJon   Abbrechen   BuJon   Timeout   Validierung   Success   Ques/ons   Error   Ques/ons   Abandon   Ques/ons   Timeout   Ques/ons   33  
  34. 34. free WEBINAR Ergebnisse & Auswertung 34  
  35. 35. free WEBINAR Ergebnisse & Auswertung Die Website ist… 35  
  36. 36. free WEBINAR Ergebnisse & Auswertung 36  
  37. 37. free WEBINAR Ergebnisse & Auswertung Videos •  Pro Aufgabe pro Nutzer •  Selektiv auswerten: o  Non-Success o  Sehr lange Bearbeitungsdauer o  Schlechte Bewertungen o  Interessante Kommentare… •  Clips generieren, Marker setzen 37  
  38. 38. free WEBINAR Ergebnisse & Auswertung •  •  •  •  •  Quantitative UX Messdaten Quantitative “Self-reported” Daten Qualitatives Nutzerfeedback Verhaltensdaten (Clickstreams, Heatmaps) Qualitative, quantifizierbare Video Screen Recordings 38  
  39. 39. free WEBINAR Fazit URUT löst drei Herausforderungen für UX Researcher heute: •  Quantitative Messdaten komplettieren rein qualitative Daten: Risikomanagement, Vergleich, Kommunikation •  URUT ist vergleichsweise kostengünstig, agil und skalierbar und ermöglicht eine höhere Testfrequenz •  URUT erreicht Nutzer in ihrem natürlichen Kontext 39  
  40. 40. free WEBINAR Tools •  http://www.measuringusability.com/blog/right-tool.php •  http://johnnyholland.org/2010/08/how-to-shop-for-unmoderated-usability-testingtools/ •  http://remoteresear.ch/tools/ 40  
  41. 41. free WEBINAR Buchtipps 41  
  42. 42. free WEBINAR Vielen Dank! Jakob Biesterfeldt Managing Director, UserZoom GmbH München jbiesterfeldt@userzoom.com @jbiest 42  
  43. 43. Haben Sie Fragen? Sprechen Sie uns gerne an: München (DE) Ainmillerstr. 11 80801 München @UserZoom_DE www.linkedin.com/company/userzoom www.userzoom.de

×